ИИтог

Dharma-AI опубликовала в блоге на Hugging Face описание Dharma Field Extractor: модели на 2 млрд параметров, которая принимает изображение документа и возвращает структурированный JSON с типизированными и, где нужно, вложенными полями. Идея в том, что обычное распознавание текста (OCR) отдаёт всё напечатанное на странице построчно и не говорит, какая строка является датой, типом обследования или итоговой суммой; сопоставлять значения с полями должен чей-то код. Универсальная большая нейросеть с этим...

Агенты, которые управляют веб-интерфейсом (GUI web agents), нуждаются в реалистичных и интерактивных средах, остающихся стабильными и при оценке, и при обучении. Авторы работы указывают на две проблемы. Оценка на живых сайтах страдает от меняющегося содержимого, ограничений доступа и слабого покрытия сценариев, требующих входа в аккаунт. А существующие синтетические среды для обучения, по их словам, часто не дотягивают по функциональной глубине и визуальной достоверности. В ответ они предлагают WebHarbor, набор из 153 исполняемых сайтов-сред в Docker-контейнерах...

Исследование Route Anything исходит из идеи, что путь к универсальному ИИ (AGI) лежит не через одну модель, которая умеет всё, а через объединение разнородных специализированных моделей, инструментов и политик (в работе они называются кандидатами) в единую систему. Ключевой вопрос: как системе динамически выбирать и координировать наиболее подходящего кандидата для каждой задачи, балансируя качество и вычислительные затраты. Авторы предлагают единый фреймворк для изучения маршрутизации моделей и политик в ИИ-системах общего назначения...

В препринте представлен MoLRSI, ИИ-агент для поиска молекул. Он сочетает систематическую оптимизацию рабочих процессов (workflow) и архитектур моделей с постоянной памятью, общей для разных задач, и за счёт этого рекурсивно улучшает собственную политику поиска. Результаты работы процессов, итоги доработок и обратная связь от выполнения направляют следующие поиски, поэтому агент совершенствует и сами рабочие процессы, и стратегию их разработки. Исходная проблема, как её формулируют авторы: поиск молекул...

В препринте представлен DreamX, подход, который переиспользует предобученную видеодиффузионную модель как универсальный «обучатель» латентных действий. Задача, которую решают авторы: научиться представлению действия по видео так, чтобы оно было устойчивым для разных исполнений одного и того же действия и при этом не зависело от смены воплощения (человек или робот) и внешнего вида сцены. По утверждению авторов, существующие модели латентных действий выводят действие из визуальных переходов между кадрами, но их представления часто смешивают само действие с посторонними визуальными вариациями...