Разговоров про энергопотребление ИИ становится больше: модели дорожают в эксплуатации, а компании обсуждают, чем их питать, вплоть до сценариев с собственной атомной энергетикой. На этом фоне ценность получают не только новые чипы и дата-центры, но и «умная» остановка работы нейросети, чтобы она не делала работу, которая почти не улучшает результат. Напоминает перенесённый в цифровую плоскость механизм работы мозга, который базово пользуется интуитивной системой принятия решений и нуждается в серьёзных стимулах, чтобы начать активно работать над задачей.
Российская команда Smart Engines, например, рассказала про такую технологию. Вместо того чтобы бесконечно обрабатывать данные в погоне за идеалом, которого добиться не получится, алгоритм компьютерного зрения сам определяет момент, когда результат уже достаточно хорош, и отключается, переставая тратить электричество и ресурсы. Они получили патент на эту разработку в США. Раннее они придумали алгоритм для томографов, который прекращает облучение пациента, как только собирает достаточно данных, а теперь применили этот принцип к распознаванию документов в видеопотоке. Нейросеть оценивает динамику и прогнозирует, даст ли следующий кадр ощутимый прирост качества.
Инженеры по всему миру учат нейросети «лениться» разными способами способами:
✦ Закончить раньше – если нейросеть уже на первых слоях вычислений уверена в ответе, она не пропускает данные через все параметры.
✦ Не думать всей моделью сразу – обычные модели часто активируют все свои параметры ради любой задачи. Более современные архитектуры (например, Mixture of Experts) работают иначе: для простого запроса они активируют только небольшую часть нейронов в рамках нужной темы.
✦ Использовать черновики – маленькая и быстрая модель набрасывает «черновой» вариант ответа, а большая и более затратная только бегло проверяет его и утверждает. Это быстрее, чем заставлять «умного» писать каждое слово с нуля.
В этот же тренд укладывается и адаптивное время рассуждений и интеграция решений типа роутера у ChatGPT, который автоматически подбирает модель под запрос пользователя.
В условиях дефицита чипов и роста цен на железо такая «лень» моделей конвертируется в снижение затрат. Способность нейросети делать меньше работы без потери качества – кажется, один из немногих способов сделать ИИ рентабельным.
Каждый ваш лайк и подписка помогают нам увеличить аудиторию и создавать еще больше достоверного и интересного контента.