Аналитическая компания Semi Analysis опубликовала любопытный отчёт о неочевидной «характеристике» ИИ-бота ChatGPT. Эксперты выяснили, какую сумму приходится тратить OpenAI для поддержания его ежедневной работы — цифра оказалась весьма впечатляющей.
По данным исследования, компания тратит более $694 000 в день, чтобы поддерживать ИИ в рабочем состоянии. Сообщается, что система включает в себя около 3617 платформ HGX A100, содержащих 28 936 графических процессоров, а себестоимость одного запроса составляет около $0,36. При этом вскоре затраты могут вырасти, поскольку GPT-4, вероятно, окажется дороже в эксплуатации, чем GPT-3.
Одна из главных причин столь внушительных затрат на содержание нейросети — высокое энергопотребление железа. По слухам, Microsoft (один из акционеров OpenAI) уже работает над созданием собственного ИИ-чипа под названием Athena. Предполагается, что он сможет заменить решения NVIDIA и значительно снизить эксплуатационные расходы.
Аналитики также отметили, что высокая популярность ChatGPT не делает его незаменимым рабочим инструментом. В частности, ИИ-бот до сих пор не научился писать безопасный код, поэтому преждевременно говорить о том, что вскоре он сможет заменить программистов.