1. 159 реакций: @lovedeathtransformers опубликовал пост https://t.me/lovedeathtransformers/8375 со ссылкой на статью https://arxiv.org/abs/2409.15997
Если ваша ресерч лаба без аниме даже не зовите меня....
2. 138 реакций: @seeallochnaya опубликовал пост https://t.me/seeallochnaya/1805 со ссылкой на статью https://arxiv.org/abs/2409.13373
На днях авторы перезапустили бенчмарк, сделав новые задачки, и протестировали свежие o1 от OpenAI, которые «умеют рассуждать» — и написали новую статью «[LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench](https://arxiv.org/abs/2409.13373)». Эти новые LLM охарактеризовали как «квантовое улучшение, опережающее конкурентов» — по картинке вы можете понять почему.
Синяя линия — результат o1-preview (o1 не превью будет ещё круче!), красная — o1-mini. По горизонтал...
3. 127 реакций: @abstractDL опубликовал пост https://t.me/abstractDL/292 со ссылкой на статью https://arxiv.org/abs/2409.03752
**Attention Heads of LLM — A survey**
Трансформеры это всё ещё чёрный ящик или уже нет? За последние несколько лет мы сильно приблизились к пониманию функций отдельных компонент языковых моделей, лучше понимаем, как они приходят к тому или иному выводу, и главное — как можно [влиять](https://www.anthropic.com/news/mapping-mind-language-model) на процес их "размышений", [редактировать отдельные факты](https://t.me/abstractDL/225) в памяти и многое другое.
В этой статье собрали в кучку всё, что ...
4. 117 реакций: @gonzo_ML опубликовал пост https://t.me/gonzo_ML/2928 со ссылкой на статью https://arxiv.org/abs/2409.10594
Не забыли ещё про [KAN'ы](https://t.me/gonzo_ML/2684)? А тут уже KAT'ы подвезли!
**Kolmogorov-Arnold Transformer**
__Xingyi Yang, Xinchao Wang__
https://arxiv.org/abs/2409.10594...
5. 94 реакций: @data_secrets опубликовал пост https://t.me/data_secrets/4995 со ссылкой на статью https://arxiv.org/abs/2409.12640
**Google представили новую систему оценивания способности LLM работать с длинным контекстом **
Спойлер: лучшей моделью в этом тесте оказалась (ни за что не поверите)… Gemini 1.5 😁
**А теперь к сути метода**. Основным тестом на длинный контекст сейчас считается задача «иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Google этот метод [предлага...
6. 75 реакций: @senior_augur опубликовал пост https://t.me/senior_augur/278 со ссылкой на статью https://arxiv.org/abs/2409.06820
Ура! Я опубликовал [препринт](https://arxiv.org/abs/2409.06820) ПингПонга!
Версия, очевидно, не финальная, я пока ещё даже не понял, куда я буду его подавать. Проблем с точки зрения ревьювера №2 там хватает, Соннет его хорошо отыграл, напихал полную панамку.
Статью закинул в Daily Papers, поддержать можно [тут](https://huggingface.co/papers/2409.06820)....
7. 74 реакций: @data_secrets опубликовал пост https://t.me/data_secrets/4966 со ссылкой на статью https://arxiv.org/abs/2409.11402
**Nvidia выпустила NVLM 1.0 – собственную мультимодальную LLM, которая на некоторых тестах опережает GPT-4o**
NVLM 1.0 (NVIDIA Vision Language Model) – это семейство открытых мультимодальных LLM, состоящее из моделей **NVLM-D** (Decoder-only Model), **NVLM-X** (X-attention Model) и **NVLM-H** (Hybrid Model) на 34B и 72B.
Модели особенно хорошо показывают себя на визуальных задачах. Например, на OCRBench NVLM-D обогнала даже GPT-4o. На вопросах по математике модель тоже выделяется: обгоняет Ge...
8. 62 реакций: @data_secrets опубликовал пост https://t.me/data_secrets/4866 со ссылкой на статью https://arxiv.org/abs/2409.02668
**Сентябрьский книгопад продолжается **
Вот и еще одна книжка первой свежести заехала. Называется Introduction to Machine Learning, **появилась на архиве сегодня**.
Хоть и называется «Введение», но содержит достаточно много глубокого материала. Например, 50 страниц посвящено оптимизации в ML (со всей серьезной математикой), а еще 50 – PCA, тоже со всеми тонкостями. Ну и базовая база типа линейных моделей и деревьев тоже присутствует. Сами посмотрите оглавление 👆
[**Читать тут**](https://arxi...
9. 55 реакций: @ai_machinelearning_big_data опубликовал пост https://t.me/ai_machinelearning_big_data/5527 со ссылкой на статью https://arxiv.org/abs/2409.02729
**👩⚕️**** Большой Медицинский дайджест самых интересных проектов 1.09-07.09
**
**🟩 CancerLLM: LLM для онкологии.**
CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).
🔸[Arxiv](https://arxiv.or...
10. 55 реакций: @ai_machinelearning_big_data опубликовал пост https://t.me/ai_machinelearning_big_data/5527 со ссылкой на статью https://arxiv.org/abs/2409.02885
**👩⚕️**** Большой Медицинский дайджест самых интересных проектов 1.09-07.09
**
**🟩 CancerLLM: LLM для онкологии.**
CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).
🔸[Arxiv](https://arxiv.or...
На этом пока все. Этот дайджест и многое другое интересное публикуется в телеграм канале https://t.me/SpeechAIPro - канал про голосовой мл(распознавание и синтез речи), разработку, управление командами и карьеру от руководителя центра компетенций голосового мл.