Оказалось, что нецензурная лексика работает как лингвистический архиватор: одно ёмкое слово заменяет целую фразу, экономя токены при сохранении смысла. Работу представили на AAAI — одной из топовых мировых конференций по AI. Решили использовать этот эффект для сжатия текстов. Тестировали на двух моделях: Qwen освоила компрессию, а Llama упёрлась — встроенные фильтры безопасности не давали ей генерировать обсценную лексику даже после дообучения. Подписывайтесь на Контекст 360
👾Российские учёные научили нейросеть сжимать текст с помощью мата — и это работает.
Оказалось, что нецензурная лексика работает как лингвистический архиватор: одно ёмкое слово заменяет целую фразу, экономя токены при сохранении смысла. Работу представили на AAAI — одной из топовых мировых конференций по AI. Решили использовать этот эффект для сжатия текстов.
Тестировали на двух моделях: Qwen освоила компрессию, а Llama упёрлась — встроенные фильтры безопасности не давали ей генерировать обсценную лексику даже после дообучения.
Подписывайтесь на Контекст 360
