Геометрия неэргодических данных: как трансформеры строят байесовский вывод в виде телескопических конусов https://simplex.pub/nonergodic-geometry/ Исследователи из Simplex и института Astera опубликовали фундаментальную работу по интерпретируемости нейросетей. Они доказали и визуализировали форму активаций трансформера при обучении на разнородных текстах. 🎲 Датасеты LLM неэргодичны: Корпус модели состоит из разнородных источников: посты на форумах, мануалы, договоры и статьи. В теории вероятностей...