Диагностика заболеваний пищеварительного тракта у свиней — очень сложный процесс, требующий не только определения характеристик поражения кишечника по анатомическим изображениям, но и интеграции текстовой информации о случаях заболевания для комплексного анализа, включающего совместную обработку мультимодальных изображений и текстовых данных.
В статье предложен мультимодальный метод диагностики на основе искусственного интеллекта (ИИ) и большой языковой модели для шести распространённых типов инфекционных болезней ЖКТ.
Традиционные методы клинической диагностики инфекционных заболеваний ЖКТ основаны на наблюдении за клиническими симптомами, патологическими изменениями и эпидемиологическими данными.
Эти методы в значительной степени зависят от знаний и опыта практикующих ветеринарных врачей и отличаются высокой субъективностью, низкой эффективностью и точностью. Кроме того, специализированные навыки и опыт ветеринарных специалистов сложно быстро воспроизвести.
Лабораторные методы диагностики используют передовые технологии обнаружения и сложное оборудование, что позволяет проводить раннюю диагностику с высокой точностью и надёжностью. Это делает их одним из наиболее распространённых и эффективных подходов к диагностике заболеваний свиней. Среди них широко применяются мультиплексная количественная ПЦР (кПЦР) и иммуноферментный анализ (ИФА).
В последние годы, с быстрым развитием искусственного интеллекта и технологий обработки изображений, методы распознавания изображений, основанные на глубоком обучении, получили широкое применение в диагностике заболеваний животных.
В исследовании использованы: LLMS и методы увеличения изображений для улучшения данных выборки случаев, MS-TextCNN для извлечения текстовых признаков из отчетов о случаях и улучшенная маска R-CNN в сочетании с моделью классификации CNN для выявления признаков поражения, модель машинного обучения ChatGPT для выполнения классификации заболеваний и диагностики на основе мультимодальных текстовых и графических признаков.
Экспериментальный процесс диагностики
Шаг 1. Создание текстового набора данных с информацией о случаях заболеваний. Для этого использовались текстовые описания начала случаев болезни, включая возраст на момент начала заболевания, время года, в которое началось заболевание, его прогрессирование, клинические признаки, состояние аппетита и характеристики кала.
Шаг 2. Создание и аннотирование набора данных с анатомическими изображениями свиней. Эксперты в предметной области вручную аннотировали области поражения тонкого кишечника на анатомических изображениях и присваивали классификационные метки на основе восьми различных характеристик поражения тонкого кишечника.
Шаг 3. Расширение текстового набора данных с информацией о случаях болезни. С помощью ChatGPT-4 каждое текстовое описание было дополнено пятью новыми текстовыми примерами, которые были семантически согласованы, но различались по стилю изложения.
Шаг 4. Расширение набора данных анатомических изображений свиней. Новые анатомические изображения свиней были созданы с помощью поворота (на 90°, 180° и 270°) и зеркального отображения. В результате чего на каждое исходное изображение приходилось по пять новых.
Шаг 5. Реализация прогнозирования заболеваний на основе мультимодального объединения признаков. Расширенные наборы данных по тексту и изображениям были объединены в многоисточник данных, и каждому случаю был присвоен тег заболевания на основе результатов лабораторного исследования.
Данные о заболеваниях свиней, использованные в исследовании, были получены из Научно-исследовательского института болезней животных при Университете Хэцзэ в период с июля по декабрь 2023 года. Набор данных включал 106 подтверждённых случаев заболеваний свиней, относящихся к 6 распространённым типам: эпидемическая диарея свиней (ЭДС), трансмиссивный гастроэнтерит свиней (ТГЭ), пролиферативная энтеропатия свиней (ПЭС), жёлтая диарея новорождённых поросят (ЖДНП), белая диарея поросят (БДПП) и клостридиальный энтерит поросят (КЭП).
На анатомических изображениях свиней были отмечены области поражения тонкого кишечника, при этом характеристики поражений были разделены на 8 категорий: застойные явления в серозной оболочке тонкого кишечника (SISMC), кровотечение в стенке тонкого кишечника (SIWB), кровоизлияние и истончение стенки тонкого кишечника (HTSIW), истончение стенки тонкого кишечника (TSIW), гиперплазия стенки тонкого кишечника (SIWH), гиперплазия слизистой оболочки тонкого кишечника (SIMHp), кровоизлияние и гиперплазия слизистой оболочки тонкого кишечника (HHSIM) и кровоизлияние в слизистой оболочке тонкого кишечника (SIMHh).
Преимущества объединения мультимодальной информации
Традиционные одномодальные методы диагностики, основанные либо на эмпирическом наблюдении за клиническими симптомами, либо на отдельных лабораторных исследованиях, имеют существенные ограничения.
В отличие от них, в этом исследовании анатомические изображения тонкого кишечника свиней сопоставляются с информацией о случаях заболевания для создания мультимодальной диагностической модели, которая эффективно устраняет эти недостатки.
Мультимодальная интеграция информации объединяет данные из нескольких источников для достижения взаимодополняемости и улучшения качества, тем самым получая более полную, всеобъемлющую и точную информацию, что, в свою очередь, повышает эффективность обнаружения.
В этом исследовании данные изображений наглядно демонстрируют визуальные особенности, такие как морфология и расположение поражений в тонком кишечнике, а информация о случаях включает контекстуальные и симптоматические данные, такие как возраст на момент начала заболевания, время года и прогрессирование болезни.
В животноводстве ранняя диагностика заболеваний сопряжена со значительными трудностями, в то время как лабораторные методы, такие как ПЦР, хоть и являются высокоточными, требуют много времени, затратны, сложны в исполнении и зависят от специализированного оборудования и обученного персонала.
Эти проблемы особенно остро стоят на крупных фермах, что часто приводит к распространению эпидемий и увеличению экономических потерь. Таким образом, использование искусственного интеллекта для выявления заболеваний у свиней может эффективно преодолеть ограничения традиционных подходов и, обеспечивая точность, повысить эффективность выявления и сократить расходы.
Несмотря на то, что предложенная в этом исследовании мультимодальная диагностическая система демонстрирует высокую эффективность в выявлении инфекций ЖКТ, у неё всё же есть некоторые ограничения.
Источник: Frontiers Media S.A.