Количество представленных ИИ-моделей в 2023 году увеличилось более чем вдвое по сравнению с 2022 годом. Из 149 недавно представленных моделей 65,7% имели открытый исходный код, что является значительным увеличением по сравнению с 44,4% в 2022 году и с 33,3% в 2021 году. Это следует из нового исследования сферы искусственного интеллекта, опубликованного Стэнфордским университетом.
Изображение из открытых источников По оценкам, стоимость обучения современных моделей ИИ достигла беспрецедентного уровня. Сообщается, что для обучения GPT-4 от OpenAI потребовалась вычислительная мощность, на которую потратили $78 млн, а Gemini Ultra от Google потратила на обучение $191 млн.
Для сравнения, в 2017 году обучение на оригинальной модели Transformer, представившей архитектуру, на которой базируется практически каждая современная LLM, стоило около $900. RoBERTa Large 2019 года, получивший высшие баллы во многих тестах на понимание, таких как SQuAD и GLUE, потратила около $160 000 на обучение. В 2023 году затраты на обучение OpenAI GPT-4 и Google Gemini Ultra составили около $78 млн и $191 млн соответственно.
США являются мировым лидером в разработке лучших моделей искусственного интеллекта, опережая Китай, ЕС и Великобританию. В 2023 году стартапами США была разработана 61 известная модель ИИ, что намного больше, чем в Европейском Союзе (21) и в Китае (15 моделей). Однако, когда дело доходит до патентов на ИИ, Китай значительно опережает США.
Исследования в области ИИ-инструментов с открытым исходным кодом процветают. С 2011 года количество проектов ИИ на GitHub неуклонно росло: с 845 в 2011 году до примерно 1,8 миллиона в 2023 году. Только в прошлом году количество проектов ИИ на GitHub резко возросло на 59,3%.
Закрытые LLM работают значительно лучше, чем открытые (большие языковые модели с открытым исходным кодом). По 10 тестам искусственного интеллекта закрытые модели превзошли открытые модели со средним преимуществом в производительности на 24,2%. Различия в производительности между закрытыми и открытыми моделями имеют важные последствия для дебатов об искусственном интеллекте.
Следует отметить, что спонсорами отчета выступили Google и OpenAI, поставщики двух ведущих моделей искусственного интеллекта.