Первые месяцы я писала одинаковые промты для всех моделей. Логично же: задача одна, значит и инструкция должна работать везде. Не работала. Потом наткнулась на исследование из Вашингтонского университета. Ученые проверили, как модели реагируют на мелкие изменения в оформлении промта: пробелы, регистр, порядок слов. Разница в точности доходила до 76 процентных пунктов. Семьдесят шесть. На одной и той же задаче. Причина глубже, чем кажется: ✨ ChatGPT построен на decoder-only архитектуре: он предсказывает следующее слово на основе предыдущих. ✨ Gemini использует encoder-decoder: сначала "понимает" весь запрос целиком, потом генерирует ответ. Это разные способы обработки информации. На практике это означает, что порядок элементов в промте критически важен для одних моделей и почти не влияет на другие. Исследователи из европейских вузов показали, что простое повторение промта улучшает результаты GPT, Claude и Gemini, но по-разному. А в задачах генерации кода Gemini с детальным промтом в
🔟 Почему GPT, Claude и Gemini требуют разных подходов к промптингу
5 февраля5 фев
1 мин