457 читали · 11 месяцев назад
🧠💻 Температура в языковых моделях: от физики к ИИ
Сегодня мы погрузимся в захватывающий мир языковых моделей (LLM) и разберемся, как концепция из статистической физики помогает нам понять и настроить их работу. Речь пойдет о температуре и ее связи с распределением Больцмана.🚀 В контексте языковых моделей температура - это гиперпараметр, который влияет на разнообразие и предсказуемость генерируемого текста. Представьте, что это ручка настройки "креативности" модели. Математически температура (обозначим ее как T) применяется к логитам модели (необработанным...