Пришло время разобраться с оконными функциями и кратко зафиксировать основные моменты. Всем рекомендую курс на степике. Всё последовательно и доступно! общий порядок такой: Ранжирование Сравнение со смещением — это когда мы смотрим, в чем разница между соседними значениями. Оконные функции смещения Чтобы границы фрейма совпадали с границами секции (или всего окна, если секция одна) — используют конструкцию rows between unbounded preceding and unbounded following в определении окна. Агрегация — это когда мы считаем суммарные или средние показатели...

Что произошло: Исследование Mechanistic Interpretability показало — увеличение context window не линейно улучшает качество. Модели «теряют» информацию из середины длинных контекстов (middle missing problem). Attention механизм неравномерно распределяет веса — начало и конец окна запоминаются хорошо, середина — нет. Если просто: LRUs (Long Rotation Units) как в холодильнике — свежие продукты видны, а что лежит в середине — забывается. Большой холодильник не значит лучший. Что это значит для тебя: • ML Engineers: при проектировании pipeline важно класть critical info в start/end...

Первая часть (про времена) Если кто не в курсе, это глаголы типа "надо", "могу", "должен", "возможно" и т.п. В том числе и shall и даже, отчасти, will. Не используйте shall, даже для we (а о себе-любимом в первом лице вообще не пишите в научных статьях!). Shall — это немного архаично, и несет оттенок вынужденности. You shall not pass — это годно. You shall not commit adultery — тоже. А вот "We shall consider Einstein's equation" переводится "Да будет нами рассмотрено уравнение Эйнштейна!" We shall follow the rules of logic — подчеркивает необходимость, причем такую эпичную...