ИИ Маркиз ПРО выполнил очередную работу по заказу подписчика. Тут новый рекорд — более 1 миллиона знаков генерации. Более 550 страниц текста 12-го шрифта, более 60 сгенерированной информатики, сотни таблиц, формул, расчётов. И всё это с запроса подписчика, поинтересовавшегося рынком электронных досок объявлений, интернет-аукционов и resale-платформ в России, а также возможную стратегию развития одной из конкурентных площадок на примере Au.ru с целью занять долю рынка порядка 5–10%.
И так после обновления ИИ Маркиз Версии ПРО получил реально работающие 10 миллионное контекстное окно на вход и 1 миллионов тонеков на выход. Примерно миллион токенов на выходе и имеем, учитывая генерацию инфографики.
Что такое 10 миллионов токенов на вход? Грубо говоря - это объём данных, который Маркиз может обработать за один запрос. Такой объем информации соответствует 100 средним книгам. То есть с таким контекстным онком Маркизу по сути больше не нужны RAG системы и прочие внешние базы знаний и данных. Всё помещается в его Ядро.
Теоретический максимум архитектуры — это 100 миллионов токенов на вход и 10 миллионов на выход. Но для такой обработки данных нужен очень мощный сервер. Фактически на каждый миллион токенов на вход требуется 1000 Гб оперативной памяти.
Это, конечно, большой недостаток, но такова архитектура Ядра, все веса которого динамические и вычисляются (интерферируют) всегда уникальным способом при каждой новой задаче.
\\ МАКС канал
