Исследователи Массачусетского технологического института (MIT) запустили стартап Themis AI, который учит искусственный интеллект (ИИ) выявлять свои пробелы в знаниях и исправлять ненадежные результаты. Их платформа Capsa, представленная 3 июня 2025 года в MIT News, оценивает неопределенность моделей ИИ за секунды, предотвращая ошибки в таких областях, как разработка лекарств, автономное вождение и телекоммуникации. Это открытие может сделать ИИ безопаснее и прозрачнее, укрепляя доверие к технологиям будущего.
Что создали ученые и как это работает
Themis AI разработала Capsa — платформу, которая работает с любыми моделями машинного обучения, включая большие языковые модели (LLM), такие как ChatGPT. Capsa анализирует данные, которые обрабатывает ИИ, и выявляет признаки неуверенности, предвзятости или неполноты. Например, если модель выдает прогноз, основанный на недостаточных данных, Capsa помечает его как ненадежный и предлагает корректировки. Например, в фармацевтике Capsa проверяет, подкреплен ли прогноз данными или это «догадка». Время обработки — доли секунды, что делает ее подходящей для периферийных устройств, таких как чипы в телефонах.
Это похоже на добавление «второго мозга» к ИИ, который проверяет его выводы.
Платформа уже помогает: телекоммуникационные компании используют Capsa для автоматизации сетей, нефтегазовые фирмы — для анализа сейсмических изображений, а фармацевты — для прогнозирования свойств лекарств.
В 2018 году команда MIT применила схожий подход для устранения расовых и гендерных предубеждений в системах распознавания лиц, создав алгоритм, который перестраивал данные обучения, снижая предвзятость на 20–30 %. В 2021 году они показали, что Capsa ускоряет разработку лекарств, сокращая затраты на 15–25 %.
«Мы хотим внедрить ИИ в самые значимые приложения каждой отрасли», — говорит соучредитель Themis AI Александр Амини.
Capsa также позволяет моделям на чипах (например, в смартфонах) работать с низкой задержкой, передавая сложные задачи на серверы, если ИИ не уверен в результате.
Это важно в опоху растущих ИИ
ИИ часто выдает правдоподобные, но ошибочные ответы — так называемые «галлюцинации». В критических сферах, таких как медицина, автомобилестроение, космическая инженерия, это может привести к катастрофам. Например, ошибка в прогнозе свойств лекарства может стоить миллионы долларов или задержать испытания на годы. Capsa решает эту проблему, делая ИИ прозрачным: модели сообщают, насколько они уверены в своих выводах.
«Мы помогаем LLM самостоятельно сообщать о своей уверенности», — объясняет Стюарт Джеймисон, технический директор Themis AI.
Технология также поддерживает «цепочку рассуждений» — метод, при котором ИИ объясняет свои шаги.
«Мы увидели признаки того, что Capsa может направлять эти процессы рассуждений», — добавляет Амини.
Это сокращает вычислительные затраты на 10–20 % и повышает точность на 15 %, что важно для энергоэффективных устройств. Фармацевтические компании могут сократить время разработки лекарств на 1–2 года. В будущем Capsa может стать стандартом для всех ИИ-систем, требующих надежности
«Мои студенты и я стремимся сделать нашу работу значимой для мира», — говорит соучредитель Даниэла Рус.
Нейросеть GPT учится как человек и даже испытывает когнитивный диссонанс: ученые
Чат-боты искажают результаты научных исследований — показал анализ