Выдержка из из отчета: https://ai.gov.ru/ncpii/ (На основе отчета США)
Тема: Инфраструктура генеративного ИИ
1. Увеличивается число энергоемких центров обработки данных ИИ
• По оценкам, в ближайшие 15 лет 80% энергии в центрах обработки данных будет потребляться искусственным интеллектом. В 2024 году чипы Nvidia будут потреблять столько же энергии, сколько небольшая страна (13 797 ГВт-ч). Таким образом, доступ к электроэнергии станет ключевым фактором, определяющим работу с ИИ, а значит, возникнет огромный спрос на мощные центры обработки данных.
Уже сейчас значительные деньги вкладываются в такие технологии, как жидкостное охлаждение, что связано с распространением мощных и высоко-нагреваемых центров обработки данных ИИ. Так, KKR приобрела CoolIT Systems за $270 млн во II квартале 2023 года.
Одновременно с этим, растет спрос на возобновляемые источники энергии. Ядерная энергия может стать будущим для ИИ-разработок, а компании, занимающиеся термоядерными технологиями, такие как Helion, уже получают финансирование в размере 500 млн долл. США от рукодителя OpenAI Сэма Альтмана.
2. Нехватка высококачественных данных.
Нехватка высококачественных данных стимулирует поиск альтернативных источников информации, а также создание синтетических данных.
По оценкам исследователей, к 2026 году человечество исчерпает объем высококачественных текстовых данных для обучения LLM ( LLM- это большая языковая модель типа GPT-4). Тенденция, которая может замедлить прогресс ИИ. В связи с этим, вырастет важность и рыночная стоимость платформ с оригинальным контентом (например, Reddit, Quora, Tripadvisor).
Подробнее о том как устроена LLM (большая языковая модель) можно почитать статью: Введение в LLM.
С другой стороны, дефицит данных будет способствовать росту спроса на синтетические наборы данных. В 2023 году Microsoft обучила небольшие языковые модели phi-1 и 2 на синтетических учебниках, созданных GPT, а Stability.ai выпустила языковые модели Beluga 1 и Beluga 2, также отлаженные на синтетических данных.
Примечание автора: Интересно они там в США знают, что в России есть водка Белуга? Не поверите только вчера смотрел на Ютубе видео где мужичек тестирует (пьет на камеру) как раз водку Белуга. Забавно.
3. Конкуренция между производителей чипов растет на фоне нехватки графических процессоров.
Дефицит графических процессоров создает значительные риски для ИИ-индустрии. Графические процессоры Nvidia H100 продаются с огромной наценкой: при стоимости производства в 3 320 долл. США средняя цена на рынке достигает 30 000 долларов США. Крупные технологические компании также являются крупнейшими покупателями: в 2023 году Microsoft приобрела 150 000 H100, Google, Amazon и Tencent – по 50 000.
В условиях растущего спроса крупнейшие клиенты Nvidia начали выпускать свои собственные чипы: Amazon выпустила два GPU Trainium и Inferentia, Google – процессор Tensor, а Microsoft – Maia 100. Это может стать угрозой для дальнейшего роста Nvidia.
4. Повышается важность обеспечения кибербезопасности при работе с языковыми моделями
Даже лучшие LLMs, возможно, никогда не будут полностью безопасными. Последние 10 лет кибератаки остаются большой проблемой для ИИ-разработчиков. Руководители компаний уже тратят до 600 тыс долл. США на обеспечение безопасности LLM, и в 2024 году эта цифра будет только расти.
Существует ряд рисков, связанных с LLM, особенно при использовании в корпоративных системах. Уже были примеры, когда данные поступали в большие языковые модели без понимания того, как они будут использоваться, и оказывались в открытом доступе, хотя были конфиденциальными. Кроме того, существует такая опасность, как отравление данных – влияние на обучающую выборку с целью получения смещенной (некорректной) модели.
5. Происходит консолидация MLOps.
MLOps – набор практик, автоматизирующих и упрощающих рабочими процессами и развертывание машинного обучения.
В настоящее время разработка инструментов машинного обучения (MLOps) разрознена. Больше 130 компаний в 12 различных категориях помогают предприятиям реализовывать LLM-проекты от начала до конца. Однако покупатели хотят иметь универсального поставщика для всех своих потребностей в области ИИ.
В 2024 году будут доминировать сквозные платформы, которые являются многофункциональными и могут использоваться во всех отраслях экономики. Компания Databricks начала активно приобретать новые продукты, чтобы расширить собственные возможности, а такие облачные компании, как Google Cloud, AWS и Microsoft Azure, уже предлагают комплексные платформы MLOps.
Подробнее об MLOps читайте статью на Википедии: Wiki MLOps
Анонс следующей статьи:
Тренды ИИ 2024. Базовые модели
- Увеличивается ценность мультимодального ИИ
- Компании добиваются большего с помощью локальных ИИ-моделей (моделей с небольшим количестом параметров)
- ИИ-модели с открытым исходным кодом становятся более популярным, чем закрытые языковые модели
- Компании создают новые архитектуры данных, важные для удовлетворения растущих потребностей потребителей