Поговорили с учёным о достижениях 2022 года в области искусственного интеллекта и выяснили, какие открытия ждут мир IT в наступающем году.
Наш эксперт Михаил Бурцев — директор по поисковым исследованиям AIRI, заведующий лабораторией нейронных систем и глубокого обучения МФТИ.
Генеративные модели — это что?
В 2022 году основные достижения в области искусственного интеллекта были связаны с генеративными моделями. Генеративные модели — это алгоритмы, способные создавать новые последовательности или объекты. Наиболее впечатляющие результаты показали разработки на основе больших языковых моделей, которые обучаются предсказывать следующее слово в тексте. Кажется, что это узкая задача, которая не очень востребована, но оказывается, что если модель очень большая, а данные для обучения представляют весь интернет, то модель начинает демонстрировать поразительное поведение. Получая на входе вопрос или текст, который надо продолжить, языковая модель дописывает его неотличимо от человека. Например, нейросеть LaMDA 2 от Google генерирует настолько правдоподобные ответы в диалоге, что инженер, который её тестировал, решил, что она обладает сознанием.
И научный текст напишет, и на вопросы ответит
Если дообучить языковую модель на программном коде, то она сможет имплементировать алгоритмы по описанию на естественном языке. И такой инструмент уже превращён в коммерческий продукт для разработчиков под названием CoPilot. Если использовать в качестве исходных данных 58 миллионов научных статей, то нейросеть сможет писать отрывки научного текста и даже делать математические преобразования, что демонстрирует проект под названием Galactica. И наконец, в декабре вышла модель ChatGPT, способная отвечать на вопросы, объяснять и давать инструкции, как что-то сделать.
Как генеративные модели помогают биологии
Способность генерировать необходима не только для обработки естественного языка, но и в биологических науках. В прошлом году были разработаны модели, способные по последовательности аминокислот предсказывать трёхмерную структуру белка. Раньше структура белка предсказывалась только экспериментально, что требовало года времени и больших материальных затрат. Теперь за несколько минут компьютер предскажет трёхмерную структуру с точностью, неотличимой от эксперимента. В этом году компания DeepMind рассчитала и опубликовала трёхмерные последовательности для 200 миллионов белков известных организмов, а позже Meta* (организация признана экстремистской, и её деятельность запрещена на территории России) опубликовала предсказания для 617 миллионов белков из метагеномной базы данных. Это огромные объёмы новой ценной информации, которая должна привести к новым открытиям в биологии и медицине.
Из текста сделает картинку, и наоборот
В интернете много изображений, сопровождаемых текстом. Это даёт возможность натренировать модель генерировать изображение по тексту и, наоборот, текст по изображению. Примером такой модели является Stable Diffusion, способная создавать ультрареалистично выглядящие изображения по текстовому описанию. Эта технология настолько быстро становится доступной, что уже сегодня можно ей воспользоваться при помощи таких приложений, как Lensa.
Какие открытия ждут нас в 2023 году?
В ближайшем будущем будет усиливаться тренд на объединение разных модальностей, таких как код, изображения и видео с естественным языком. Это позволит будущим системам искусственного интеллекта объединять разностороннюю информацию об окружающем мире и рассуждать о нём. Как результат, появятся более универсальные алгоритмы, способные решать широкий круг задач во взаимодействии с пользователем.
Также применение нейросетевых моделей в материаловедении, хемоинформатике, биоинформатике и молекулярной биологии позволит получить новые научные результаты в этих и смежных областях. В AIRI тоже ведутся исследования в проектах по сбору данных для квантовой химии nablaDFT и по языковому моделированию ДНК.
Подписывайтесь на наш телеграм-канал — там больше интересного.