🧩 Экономия на токенах с помощью изображений: гениальный хак или бессмысленный трюк?

Идея превратить текст в картинку, чтобы “обмануть” API LLM и потратить меньше токенов, звучит как типичная находка из мира инженерного безумия. Но исследование от PageWatch.ai показало, что в этом безумии действительно есть доля разума — хотя, возможно, не выгоды.

🧠 Суть эксперимента

Автор решил проверить, можно ли сэкономить на токенах, если не отправлять текст напрямую в модель, а рендерить его в виде изображения 768×768 и прикладывать к prompt как image_url.

Результат оказался неожиданным:

• 🪄 при gpt-5 количество prompt-токенов снизилось примерно на 40 %;
• ⚖️ но при этом выросло число completion-токенов — тех, что оплачиваются дороже;
• ⏳ время обработки увеличилось почти вдвое, ведь модель фактически делает OCR и анализирует изображение.

Вывод: экономия есть только в модели gpt-5-chat, а у остальных (включая обычный gpt-5) перерасход выходных токенов нивелирует весь эффект.

⚙️ Как это устроено технически

🧩 Конвертация текста в изображение
Автор использовал Puppeteer для генерации PNG-файлов размером 768×768, строго соответствующих спецификациям OpenAI. Если размер не совпадает — изображение ресайзится, и модель “теряет” текстовую часть.

📦 Передача в API
Формат запроса выглядел примерно так:

model = "gpt-5"
messages = [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://.../1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://.../2.png", "detail": "high"}}
]
}]

Таким образом, модель не получает текст напрямую — она видит текст глазами своего внутреннего OCR-модуля, а значит, “не считает” его обычными токенами.

🧪 Почему это работает (и почему не стоит так делать)

💡 LLM-модели вроде GPT-5 уже давно обучаются на мультимодальных данных, где текст и изображение интерпретируются совместно.
Когда вы подаёте текст в виде картинки, модель использует визуальный энкодер (CLIP-подобный), который кодирует информацию не посимвольно, а по пиксельным паттернам.
Это действительно снижает количество “логических токенов”, ведь входная последовательность становится короче.

Но затем вступает в игру второй этап — декодирование. Модель тратит больше ресурсов и токенов, чтобы воспроизвести текстовый ответ.

📉 В итоге:

• ✅ экономия prompt-токенов;
• ❌ рост completion-токенов и времени отклика;
• ⚙️ повышение нагрузки на визуальный энкодер и память.

🔍 Моё мнение

Идея с “текстом как картинкой” — отличный пример того, как инженеры ищут лазейки в экономике LLM.
Но на практике это напоминает попытку ехать быстрее, сняв спидометр: формально расход меньше, но мотор работает сильнее.

⚡ Более перспективно было бы не кодировать текст в изображение, а использовать сжатые текстовые embedding’и или бинарные представления, адаптированные под конкретную модель.
Такие подходы уже тестируются в open-source-сообществе (см. LlamaIndex Binary Loader и DeepSeek Compression), где можно добиться реальной оптимизации, не превращая текст в пиксели.

🔭 Будущее оптимизации LLM-ввода

Если OpenAI и другие разработчики пойдут дальше, можно ожидать появление:

• 🧱 Token-сжатия на уровне API — где клиент сам передаёт “предвекторизованный” ввод;
• 🧠 Моделей с гибридным энкодером (текст + изображение), которые сами выбирают, как кодировать вход;
• 💡 Экономичных “vision-only” подсистем, анализирующих диаграммы, PDF и рукописные тексты без необходимости OCR.

🧩 Заключение

Можно ли сэкономить на токенах, превратив текст в картинку?
Да, но это как платить меньше за бензин, потому что заправляешь трактор дизелем: формально экономия есть, но ехать будешь медленнее.

Тем не менее сам эксперимент — отличный пример инженерного креатива и любопытного пересечения визуального и текстового ввода.
Он показывает, насколько гибко современное поколение моделей GPT-5 обрабатывает разные типы данных — и насколько легко мы, разработчики, можем искать обходные пути даже в самых формализованных системах тарификации.

🔗 Источники

📄 Оригинальная статья: Can you save on LLM tokens using images instead of text?
🧠 См. также:

• DeepSeek OCR Paper
• OpenAI API Docs — Image Input
• CLIP: Connecting Text and Images