Одна из главных проблем современных языковых моделей заключается в том, что после завершения обучения их знания фактически замораживаются. Мир меняется каждый день. Появляются новые документы, исследования, события и данные. Но обученная LLM продолжает опираться только на ту информацию, которая была доступна на момент её обучения. Казалось бы, решение очевидно — просто переобучить модель. Но на практике это может стоить миллионы долларов вычислительных ресурсов. Дообучение тоже не является идеальным вариантом: новые знания часто начинают вытеснять старые...