Google в очередной раз обновила свой рейтинг Android Bench, в котором собраны лучшие модели искусственного интеллекта для разработки приложений под Android. В списке появилось множество моделей с открытыми весами; приводится подробная информация об использованных токенах и стоимости работы с этими моделями.
Одна из областей, в которой большие языковые модели по-настоящему преуспели, — это написание программного кода, их способность оказывать помощь в разработке приложений и других проектов ПО. В первом рейтинге Android Bench победителем была Google Gemini 3.1 Pro, впоследствии на уровне с ней стала выступать OpenAI GPT 5.4, а по состоянию на 18 мая в лидеры выбилась GPT 5.5, которая почти на 2 % обошла и Gemini 3.1 Pro, и GPT 5.4.
Результаты тестирования стали прозрачнее, потому что Google привела некоторые подробности. Теперь в рейтинге указываются средняя задержка — время, затраченное на решение ста задач за десять прогонов; среднее общее количество токенов — потребление токенов за один прогон по итогам десяти; и средняя стоимость — расходы на запуск одного бенчмарка в американских долларах.
Это помогло понять, что хотя GPT 5.5 и несколько мощнее, выполнение тех же задач на Gemini 3.1 Pro обходится более чем вдвое дешевле. Из открытых моделей лучший результат показала GLM 5.1. Недавно Google выпустила мощную Gemini 3.5 Flash, а вскоре дебютирует и более мощная Gemini 3.5 Pro — будет интересно посмотреть, как они выступят против теперешнего лидера OpenAI GPT 5.5.
Array