» Google запустил новый AI Overview в поиске, а он уже уверенно заявляет, что в слове «poop» ровно один «r», и что в «journalism» два «d», хотя их там нет. Это не первый фейл: при первом релизе AI Overview он подсовывал советы из The Onion и Reddit, типа «ешь камни». Сейчас компания признала, что «подсчёт букв — известная проблема LLM», и обещает работать над исправлением. Причина проста – трансформеры разбивают текст на токены, а не на отдельные буквы, так что они «не читают» слово как человек. Учёные уверяют, что идеального токенизатора не будет. Словарь у ИИ пока в детском саду. @rutechspot
⚡️ Google AI Overview считает, что в слове «poop» один «r»
Google запустил новый AI Overview в поиске, а он уже уверенно заявляет, что в слове «poop» ровно один «r», и что в «journalism» два «d», хотя их там нет.
Это не первый фейл: при первом релизе AI Overview он подсовывал советы из The Onion и Reddit, типа «ешь камни». Сейчас компания признала, что «подсчёт букв — известная проблема LLM», и обещает работать над исправлением.
Причина проста – трансформеры разбивают текст на токены, а не на отдельные буквы, так что они «не читают» слово как человек. Учёные уверяют, что идеального токенизатора не будет.
Словарь у ИИ пока в детском саду.
