Разработан бенчмарк для выявления слабых мест ИИ-моделей для дизайна белковых молекул

Ученые из AIRI, НИУ ВШЭ и Constructor University представили бенчмарк GeomMotif для оценки способности ИИ-моделей работать с геометрией белковых структур. Он включает 57 задач и позволяет выявлять, на каком этапе модели допускают ошибки. Работа представлена на конференции ICLR в Рио-де-Жанейро.

Задача бенчмарка — проверить способность модели достраивать белок вокруг заданного структурного фрагмента с сохранением его точной 3D-геометрии. Ранее отдельного инструмента для такой оценки не существовало. В GeomMotif фрагменты отбираются по геометрическим и физико-химическим свойствам, а не по функции, что критично, поскольку даже отклонение на один ангстрем может резко снизить вероятность успешного проектирования.

Для создания бенчмарка использованы высококачественные структуры из Protein Data Bank, очищенные от дубликатов и проверенные на воспроизводимость. Это гарантирует, что задачи реалистичны и принципиально решаемы.

Набор задач охватывает разные сценарии проектирования с учетом формы, размера, вторичной структуры, заглубленности, заряда и гидрофобности. Задачи усложняются по мере увеличения числа фрагментов и их пространственного разнесения, что требует учета дальних взаимосвязей.

В тестировании участвовали 10 моделей двух типов: работающие напрямую со структурой (RFdiffusion, Genie2, La-Proteina, Protpardelle-1c, FrameFlow, RFdiffusion2) и генерирующие последовательности (ESM3 и DPLM). Лидерами стали структурные модели Genie2, La-Proteina и RFdiffusion, тогда как последовательностные модели уступили более чем на порядок.

Результаты показали, что при почти полном прохождении функциональных бенчмарков лучшая модель набирает лишь 40 из 100 на GeomMotif. Наиболее сложными оказались задачи с несколькими фрагментами и двумя мотивами. Также выявлена зависимость результатов от биофизических свойств мотивов, из-за чего у моделей различаются сильные и слабые стороны.

«В дальнейшем мы планируем ускорить систему проверки результатов и расширить бенчмарк на новые классы генеративных белковых моделей. В первую очередь речь идет о полноатомных моделях, которые учитывают все атомы белка, а не только его остов», — отметил Павел Страшнов, ведущий научный сотрудник группы дизайна белков Центра ИИ-разработки новых лекарственных препаратов Института AIRI

Данные для бенчмаркинга, скрипты для построения задач и код для оценки доступны на GitHub и HuggingFace.

MAX — https://max.ru/id771377261033_biz
Telegram — https://t.me/divannyi_it