1016 подписчиков
Цены на токены для LLM падают и это влияет на разработку ИИ-приложений
Эндрю Нг написал пост в своем блоге о том, как инновации в сфере оборудования, а также выпуск моделей с открытыми весами, таких как Llama 3.1 влияют на цену токенов для LLM.
Вот, на что обращает внимание Эндрю:
- OpenAI снизила цены на GPT-4: с $36 за миллион токенов при запуске в марте 2023 до $4 сейчас. Это ~79% снижение цены в год.
Причины снижения цен:
- Выпуск моделей с открытыми весами (например, Llama 3.1).
- Конкуренция между провайдерами API (Anyscale, Fireworks, Together AI и др.).
- Инновации в аппаратном обеспечении от компаний: Groq, Samba Nova, Cerebras и других.
Какие он делает прогнозы:
- Ожидается дальнейшее быстрое снижение цен на токены.
- Это сделает экономически выгодными даже те ИИ-приложения, которые сейчас кажутся слишком дорогими.
Рекомендации для ИИ-компаний:
1. Фокусироваться на создании полезных приложений, а не на оптимизации затрат на LLM.
2. Рассмотреть возможность развертывания приложений, ожидая снижения цен в будущем.
3. Периодически пересматривать выбор модели, чтобы воспользоваться снижением цен или улучшенными возможностями.
Курс о том, как мастерить AI приложения уже в разработке, и скоро появится на edu.futuremind.club
Следить за развитием событий можно на наших площадках:
1 минута
31 августа 2024