История из медсервиса про то, как правильно нарезать данные — и зачем это вообще нужно. Когда человек пишет в чат: «Ферритин 12 — это плохо?», он ждёт не лекцию по биохимии, а короткий, точный и лично для него безопасный ответ. Парадокс в том, что чтобы дать такой ответ, нам приходится сделать ровно противоположное — превратить огромные тексты в множество небольших, аккуратно подписанных «кусочков» знаний. В нашей кухне эти кусочки называются чанками. Проблема длинных текстов Медицинские документы тяжёлые: клинические рекомендации бывают на сотни страниц, а популярные статьи — на тысячи слов...