Подробный учебный курс по линейной алгебре для практиков машинного обучения Насколько хороша ваша линейная алгебра как специалист по анализу данных или специалист по машинному обучению? Независимо от того,...

Sinong Wang, Belinda Z. Li, Madian Khabsa, Han Fang, Hao Ma Статья: https://arxiv.org/abs/2006.04768  Хочется написать про свежий Performer, но пожалуй стоит перед ним написать про Linformer. Это всё из серии про уменьшить квадратичную сложность полного механизма внимания в трансформере. Линформер, очевидно по названию, уменьшает сложность до линейной и по времени и по месту. За последние полгода таких работ уже несколько, недавний Big Bird (https://t.me/gonzo_ML/381) из свежего, или чуть более ранняя работа с многообещающим названием “Transformers are RNNs” (https://arxiv...