Создатели искусственного интеллекта столкнулись с проблемой: им не хватает данных для обучения новых моделей нейросети, таких как будущий GPT-5. Это вызывает беспокойство среди ученых, которые опасаются, что это может замедлить прогресс в этой области. Одной из основных проблем является то, что многие источники информации ограничивают доступ к своим данным для ИИ, что ограничивает возможности обучения.
Особенно это становится заметно, когда речь заходит о необходимости собрать от 60 до 100 триллионов токенов данных для обучения GPT-5. Ученые предупреждают, что уже к середине 2024 года могут возникнуть серьезные проблемы с поиском достаточного количества информации, ведь интернет может предложить на 10-20 триллионов токенов данных меньше, чем нужно.
И вот тут на помощь приходит нестандартное решение: использовать транскрипции с YouTube. Да, можно представить, какое огромное количество информации хранится в видео на этой платформе.
К тому же, большая часть данных в интернете сейчас непригодна для обучения ИИ из-за различных ограничений, включая вопросы конфиденциальности при использовании личной переписки людей. Это создает дополнительные трудности для ученых.
Но не все так плохо, как кажется. Компании, занимающиеся развитием нейросетей, ищут новые подходы к обучению. Например, OpenAI и Anthropic экспериментируют с созданием «высококачественных синтетических данных», которые могли бы стать отличной альтернативой. Эти данные уже показали свою эффективность и были использованы в последних моделях Anthropic.
Несмотря на все трудности и неопределенность, связанную с будущим искусственного интеллекта, ученые остаются оптимистами. Они верят, что найдут новые способы анализа и обработки данных, которые позволят совершить прорыв в обучении ИИ. Это дает надежду на то, что мы сможем продолжать развивать умные программы, которые делают нашу жизнь лучше и интереснее.