К сожалению, в природе существует такое явление, как «Корявая База Данных». Приведение её в порядок способно значительно удлинить и усложнить путь исследователя к заветной статье или диссертации. А статистик-профессионал, получив такую базу для работы, обливается горючими слезами, понимая, что впереди его ждёт много потерянного времени.
Причины возникновения КБД могут быть разными:
- незнание принципов формирования хорошей базы,
- небрежность исследователя («и так сойдет!» или «пока так запишу, а потом исправлю»),
- выгрузка базы из информационной системы, куда пользователи вносили данные, не заморачиваясь.
Иногда на доработку корявой базы до приемлемого качества могут уходить дни и даже недели!
А сможет ли искусственный интеллект (ИИ) превратить корявую базу данных в хорошую, сэкономив время и нервы (а иногда и деньги) исследователям?
Мы решили проверить это.
Входные условия:
ИИ - DeepSeek, бесплатный аккаунт.
- Корявая база - специально подготовленная таблица в .xlsx, где мы постарались создать все возможные проблемы:
- Разместили данные двух групп на разных листах.
- Расположили колонки на каждом листе в своём порядке, причем часть показателей создали только для одной группы, а для другой - нет.
- Пропустили некоторые значения, которые можно определить из других значений. Например, пол пациентов в некоторых случаях можно определить из ФИО.
- Закодировали значения одного и того же показателя максимально по-разному: текстом, буквами, цифрами, датами, с единицами измерения, без них и т.д.
- В текстовых значениях сделали ошибки, опечатки («мужкй», «кнтроль»)
- Сделали многоэтажные заголовки у колонок (например, сверху - Антропометрия, ниже - Масса, Рост).
Промпт придумали простенький:
Проанализируй набор данных, исправь в нем ошибки и подготовь базу данных для анализа в статистической программе. Выведи результат в табличной форме.
ИИ работал на протяжении нескольких минут (я успел неспеша выпить чашку чая) и выдал результат, который представлен на картинке к этому посту. Сразу отмечу, что формат был, как и заказано, табличный, поэтому новые данные без проблем скопипастились в новую базу.
Для удобства мы перенесли в новую базу и исходные данные (красные), которые сопоставили с обработанными ИИ (зеленые).
Что получилось?
- Данные объединены на одном листе.
- Названия колонок размещены в одной верхней строке.
- ИИ разобрался, какие колонки соответствуют одному и тому же показателю, даже если их названия были разными и сокращенными (например, «САД» и «АД до лечения»), и правильно их объединил.
- Все колонки переназваны по-английски, попутно исправлены некоторые ошибки. Например, в колонке САД было указано как САД, так и ДАД, через косую черту. В итоге сформированы 2 столбика: SBP и DBP с корректным переносом значений.
- Правильно закодированы значения категориальных данных - единообразно, с сохранением смысла. Текстовые значения и символы в переменной «Факт курения» заменены числами 0 и 1. Переменная «Пол» закодирована значениями «муж» и «жен».
- Значения количественных переменных приведены к одной шкале измерения (Рост 1,75 превратился в 175), убраны единицы измерения.
- Пропущенные значения переменной «Пол» были восстановлены по ФИО.
- Даты в переменной «Возраст» переведены в значения возраста на сегодняшний день.
- ИИ создал новую переменную «Group», где разделил пациентов на гипертоников (AG+) и нормотоников (AG-) по исходному САД.
Что НЕ получилось?
- Категориальная мультиномиальная переменная с текстовыми значениями «Профессия, место работы» осталась без изменений. ИИ не стал перекодировать текст в числа или собирать отдельные профессии в группы.
- У одной пациентки в колонке «Пол» мы продублировали её возраст. В итоге ИИ значение «39» убрал, но пол почему-то по фамилии определять не захотел (хотя это было возможно) и написал просто «N/A».
- В сложной переменной «Сопутствующие заболевания» с сочетаниями категорий, которые хорошо было бы разбинарить по разным столбикам, ИИ только заменил 0 на пустые ячейки, что само по себе может быть неверным действием (0 и пустота могли означать разные признаки, например, 0 - отсутствие в анамнезе сопутствующих заболеваний, пустота - отсутствие информации о сопутствующих заболеваний).
- Колонки «АД после лечения» и «Лечение», определенные только в одной группе, вообще не были добавлены в новую базу. Несмотря не небольшие недоделки, работой ИИ я остался доволен! За короткое время, бесплатно и без моего непосредственного участия были решены важные и сложные задачи:
- объединены и переназваны данные,
- перекодированы значения,
- восстановлены пропущенные данные.
- Разбинаривание и кодировку мультиномиальных переменных с текстовыми значениями придётся делать самому. Либо нужно доработать промпт, чтобы ИИ понял, как решать и эти проблемы.
- И будьте внимательны с теми показателями, которые есть только в одной группе. ИИ может не переносить их в общую базу.
Ну а лучше всего - сразу оформлять свою базу с соблюдением всех правил.