Исследователи из DeepMind, подразделения Google, разработали инновационную методику обучения ИИ под названием "Обучение выбору совместных примеров" (JEST). Этот метод значительно ускоряет процесс обучения и делает его более энергоэффективным, сокращая требуемые итерации до 13 раз и снижая потребление вычислительной мощности в 10 раз. В условиях, когда индустрия искусственного интеллекта славится своим высоким потреблением энергии, подобные улучшения могут существенно снизить экологическую нагрузку, схожую с проблемами майнинга криптовалют.
Как работает JEST
JEST повышает эффективность обучения ИИ за счет выбора дополнительных пакетов данных, которые оптимально способствуют обучению модели. В отличие от традиционных методов, которые отбирают отдельные примеры, JEST акцентирует внимание на составе всего набора данных. Такой мультимодальный подход к контрастивному обучению выявляет зависимости между данными, обеспечивая более быстрое и эффективное обучение с меньшими вычислительными затратами.
Google продемонстрировал, что использование предварительно обученных эталонных моделей для управления процессом отбора данных позволяет получать высококачественные, тщательно подобранные наборы данных, что оптимизирует процесс обучения. Эксперименты с общим набором данных WebLI показали значительное повышение производительности, доказывая эффективность JEST.
Преимущества и перспективы
Метод "загрузки качества данных" в JEST приоритетизирует качество данных над их количеством, быстро выявляя легкообучаемые подпакеты для ускорения процесса обучения. При масштабировании JEST может позволить разработчикам ИИ создавать более мощные модели с использованием тех же ресурсов или сокращать их потребление для новых моделей, что важно для снижения энергетических затрат и воздействия на окружающую среду.
Еще больше интересной и полезной информации на нашем телеграм канале: Ai Сознание
Заключение
JEST представляет собой значительный шаг вперед в обучении ИИ, делая этот процесс более быстрым и экологически устойчивым. Внедрение таких методов может помочь справиться с растущими требованиями к вычислительным ресурсам и энергопотреблению в индустрии искусственного интеллекта.
Обсуждение: Как вы думаете, сможет ли JEST изменить подход к обучению ИИ и какие еще аспекты разработки ИИ требуют улучшения для снижения экологической нагрузки? Поделитесь своим мнением в комментариях!
