Привет. Вот так всегда: сидишь, ремонтируешь что-то, а тут звонит приятель и просит объяснить что-нибудь "на пальцах". Ну, давайте попробуем. Сегодняшний пациент, это GUI Overlay. Сразу говорю, это не болезнь, а очень полезная штука. Если перевести дословно, это "наложение графического интерфейса". Звучит мудрёно, но на самом деле всё просто. Представьте, что вы смотрите кино на телевизоре или играете в игру на мониторе. И вдруг на экране появляется что-то, что не является частью фильма или игры...

Графические интерфейсы выглядят простыми для человека, но остаются настоящим испытанием для мультимодальных языковых моделей. Попроси агента нажать кнопку «Export» в профессиональном редакторе — и он с равной вероятностью попадёт в соседний дропдаун, потому что пиксельно различить цель от окружения сложнее, чем кажется. Ирония в том, что последние MLLM отлично понимают запрос, видят скриншот, но теряют точность именно в локализации — самой важной способности для GUI-агента. Исследование BAMI (Training-Free...