10,2 тыс подписчиков
🖥 Одна из самых глубоких статей объяняющих LLM.
Автор, показывает что понимание и сжатие данных для llm- это две стороны одной медали.🪙
И что интересно, когда мы имеем дело с предсказанием слов, cжатие данных с потерями, выглядит умнее, чем сжатие без потерь! 💡
Ниже приводится объяснение того, почему ChatGPT дает нам иллюзию понимания:
"Тот факт, что ChatGPT перефразирует материал из Сети, а не цитирует его слово в слово... создает иллюзию, что ChatGPT понимает материал".
У людей заучивание не является показателем подлинного обучения, поэтому неспособность ChatGPT выдавать точные цитаты сайтов, как раз и заставляет нас думать, что он чему-то научился.
Когда мы имеем дело с последовательностями слов, сжатие с потерями выглядит умнее, чем сжатие без потерь".
Полный текст статьи читайте здесь: https://newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
Около минуты
12 декабря 2023