В последние годы технологии искусственного интеллекта (ИИ) стремительно развиваются и находят применение в различных сферах. Одним из новых направлений стало использование ИИ для анализа питания. Ученые Нью-Йоркского университета создали систему, которая, используя фотографии еды, предоставляет информацию о ее калорийности и пищевой ценности.
Работа над этой системой началась в рамках исследований, посвященных проблемам здоровья пожарных. Ученые обнаружили, что значительная часть профессиональных и добровольных пожарных страдает от избыточного веса и ожирения.
Исследования показали, что традиционные методы отслеживания питания часто неэффективны. Люди забывают записывать свои приемы пищи, а оценка калорийности требует времени и усилий. Поэтому команда ученых решила создать систему, которая автоматизирует этот процесс. Однако разработка надежного ИИ для распознавания продуктов питания оказалась непростой задачей.
Одной из главных проблем стало визуальное разнообразие еды. Одна и та же еда может выглядеть совершенно иначе в зависимости от способа приготовления и подачи. Например, бургер из одного ресторана и домашний бургер могут сильно отличаться по внешнему виду.
Кроме того, предыдущие системы сталкивались с трудностями в определении размеров порций. Для точного расчета питательных веществ важно знать, сколько именно еды находится на тарелке. В итоге разработали функцию объемного вычисления, которая позволяет измерять площадь, занимаемую каждым продуктом.
Важным аспектом работы системы стала ее вычислительная эффективность. Ранее модели требовали значительных ресурсов. Команда использовала технологию распознавания изображений YOLOv8 и ONNX Runtime и создала веб-приложение, доступное через мобильные устройства.
При тестировании система показала хорошие результаты. Например, анализируя кусок пиццы, она определила 317 калорий, 10 граммов белка, 40 граммов углеводов и 13 граммов жира. Эти данные совпали с эталонными стандартами. При анализе более сложных блюд, таких как идли самбхар, система также продемонстрировала высокую точность.
Ученые уделили внимание тому, чтобы система работала с различными национальными кухнями и типами еды. Они решили объединить похожие категории продуктов и исключить те, для которых было недостаточно данных. Это позволило значительно улучшить набор данных для обучения: с первоначальных изображений команда сократила его до 95 000 экземпляров по 214 категориям.
Средний показатель точности (mAP) составил 0,7941 при пороге пересечения по объединению (IoU) 0,5, что означает, что ИИ может точно идентифицировать продукты питания примерно в 80% случаев, даже если они частично перекрыты.