20 ватт против гигаватт-часов.
Мы называем GPT «искусственным интеллектом» и спорим, когда он нас превзойдёт. Давайте честно сравним масштабы, причём не с Библией даже, а с «железом», на котором работает её читатель.
Фронтирная языковая модель: у крупнейших открытых моделей от сотен миллиардов до нескольких триллионов параметров, у закрытых цифры просто не раскрываются. Обучение это месяцы работы датацентра, а счёт идёт на сотни миллионов долларов: Gemini Ultra оценивают примерно в 191 миллион, Llama 3.1 на 405 миллиардов параметров примерно в 170 миллионов. Инференс это тысячи видеокарт, каждая до 700 ватт в серверном исполнении. Результат: система, которая блестяще предсказывает следующее слово, не понимая, зачем.
Мозг читателя: около 86 миллиардов нейронов (это оценка, добросовестный диапазон от 61 до 99 миллиардов) и порядка ста триллионов синапсов, по некоторым методикам счёта до тысячи триллионов. То есть связей на два порядка больше, чем параметров у самой большой модели. Потребление около 20 ватт, как лампочка. Обучается на несопоставимо меньших данных: ребёнку не нужен весь интернет, чтобы выучить язык, хватает нескольких тысяч часов речи. Дообучается всю жизнь, не забывая катастрофически старое. Работает 80 лет без замены комплектующих.
И это ещё не всё https://solaris-club.one/blog/biblia-pervaya-neyroset-drevniy-kod.html
