Найти тему
Техно Колибри

Нейросеть уже распознает почерк врачей: теперь ИИ сможет читать рецепты или нет?

С аккуратным почерком нейросеть GPT справлялась уже давно, а вот распознать запутанный почерк врачей – это новая фишка GPT-4o. Неужели ИИ реально может понять список лекарств в рецепте и насколько он окажется правильным? Давайте разбираться вместе.

Почему распознать почерк человека – это проблема для ИИ

Распознавание рукописного текста (или почерка) является сложной задачей для нейросетей, так как она требует анализа изображений и интерпретации символов.

Основная проблема заключается в том, что существует огромное количество вариаций написания одного и того же символа разными людьми. Кроме того, люди могут менять свой почерк в зависимости от настроения, условий написания и других факторов. У некоторых почерк меняется даже из-за того, чем он пишет: ручкой, карандашом или фломастером.

Однако ИИ способен обучаться на больших объемах данных и адаптироваться к новым условиям. Чтобы он смог распознавать почерк, слова разбиваются на отдельные символы или буквы, чтобы сеть могла научиться различать их.

Как нейросеть распознает подчерки людей

Вот несколько способов, которыми нейросеть может распознавать такие непохожие друг на друга почерки людей:

  • Обучение с человеком-программистом. Это безумно нудный способ обучения нейросети, ведь данные маркируются вручную, то есть каждый образец рукописного текста сопровождается правильным ответом. Затем нейросеть обучается на этих данных, чтобы предсказывать правильный ответ для новых образцов. Этот подход обычно используется для обучения классификаторов, которые могут различать разные символы или слова.
  • Сегментация и классификация. Сначала нейросеть может разделить изображение на отдельные символы, используя методы сегментации изображений. Затем каждый символ может быть классифицирован как определенный символ или буква. Это может быть достигнуто с помощью сверточных нейронных сетей (CNN), обученных на больших наборах данных рукописного текста.
  • Обучение без человека. В этом подходе нейросеть обучается на неразмеченных данных, пытаясь найти скрытые структуры или паттерны самостоятельно. Например, она может использовать методы кластеризации для группировки похожих символов вместе. Однако этот подход часто требует большого количества данных и может быть менее точным, чем обучение с человеком.
  • Рекуррентные нейронные сети (RNN). RNN могут быть использованы для обработки последовательностей символов, таких как строки рукописного текста. Они могут учитывать контекст предыдущих символов при прогнозировании следующего символа. Это особенно полезно для распознавания слов или предложений.

Важно отметить, что чат GPT использует огромный массив данных для распознавания рукописного текста. ИИ способен обрабатывать последовательности символов и учитывать контекст вокруг каждого символа, что делает их мощным инструментом для этой задачи.

Однако, качество распознавания может сильно зависеть от качества исходных изображений и разнообразия почерков.

Новая фишка ChatGPT-4o может распознать почерк врачей

Итак, почерк нормальных людей чат мог распознавать еще на своей 2 версии GPT-2, но вот запутанный почерк врачей ему никак понять не удавалось.

На фото: скриншот чата с ChatGPT, где в запросе просили распознать рукописный почерк врача. Нейросеть написала: "Извините за размытость текста, некоторые части неразборчивы".
На фото: скриншот чата с ChatGPT, где в запросе просили распознать рукописный почерк врача. Нейросеть написала: "Извините за размытость текста, некоторые части неразборчивы".

Совсем недавно появилась 4 версия нейросети ДжиПиТи в Telegram и его подверсия GPT-4o, которая действительно может распознаваться даже самые запутанные и сложные почерки врачей.

Однако, сразу оговорюсь – эта возможность есть только в платной версии.

На фото: скриншот диалога с ChatGPT-4o в Telegram, который может распознать почерк врача, но только на платной основе.
На фото: скриншот диалога с ChatGPT-4o в Telegram, который может распознать почерк врача, но только на платной основе.

Как ChatGPT-4o распознает почерк врачей

Внимание! Скриншоты, представленные ниже, не мои, так как мне эта функция не нужна и поэтому нет смысла покупать подписку для новой модели ChatGPT-4o.

Вариант 1. Нейросеть довольно правильно распознала почерк и написала текст. Конечно, есть ошибки, но они некритичны.

На фото: скриншот диалога с ChatGPT-4o в Telegram, который довольно хорошо распознал аккуратный почерк врача.
На фото: скриншот диалога с ChatGPT-4o в Telegram, который довольно хорошо распознал аккуратный почерк врача.

Вариант 2. Усложняем задачу и предоставляем нейросети более запутанный врачебный почерк и смотрим как он справится с поставленной задачей. Листайте галерею из картинок:

Вариант 3. Если в первых двух вариантах мы сами можем довольно легко прочитать то, что написал врач, то в этом случае, уже более сложно. Листайте галерею из картинок:

Так как у меня есть дети, то я знаю эту запись и поняла, что здесь написано: "На приеме. Обращение по беременности. Температура 36,3, артериальное давление 100/60. Жалоб нет. Назначен витамин "Д" принимать. Состояние удовлетворительное и т.д.".

Но для других людей, этот почерк может быть реально нечитабельным. Как оказалось, что и для ИИ тоже.

Вариант 4. Предлагаем нейросети распознать почерк врача в рецепте лекарств. Листайте галерею из картинок:

Как видите, когда почерк врача стал действительно неразборчив, то и нейросеть не смогла с ним справиться. Совпадений с реально написанным довольно мало и поэтому, пока доверять своё здоровье нейросети не стоит.

Но, про петрушку и капусту – реально насмешило)

Вместо заключения

Да, развитие нейросетей идет семимильными шагами, и то, что было недоступно еще 3 месяца назад, уже работает. И совсем скоро ChatGPT сможет хорошо распознавать даже самые запутанные почерки врачей и рукописные тексты написанные «курицей лапой».

Ну, а пока, пока это только развлечение. Хотя генерировать картинки, писать статьи и коды ИИ уже может на довольно высоком уровне, что реально помогает для рутинной монотонной работы.

Благодарю, что дочитали до конца. Лайк – лучшее спасибо мне! А как Вы думаете, нужно ли развивать такую функцию у нейросетей, как распознавание почерка врачей?