Русскоязычный практический разбор того, как собрать и предобучить собственную языковую модель с нуля, от токенизатора до запуска, появляется редко: обычно такие гайды существуют только на английском и без привязки к конкретному датасету. Владимир, автор цикла на Хабре, опубликовал третью часть пошагового руководства по созданию небольшой языковой модели с нуля, и на этот раз перешёл от теории к сборке и предобучению модели на текстах вселенной Warhammer 40K. В первых двух частях он обучил токенизатор...