Ученые из Московского физико-технического института (МФТИ) разработали инновационную систему, позволяющую автоматизировать подготовку текстовых данных для обучения искусственного интеллекта.
Эта технология, основанная на использовании больших языковых моделей, позволяет значительно сократить время и снизить затраты на этот процесс. Ранее подготовку данных для обучения машинного обучения проводили аннотаторы или специально подобранные краудсорсеры, что требовало значительных временных и финансовых затрат. Теперь с помощью разработанной системы этот процесс можно завершить в три раза быстрее и в два раза дешевле, чем раньше.
Использование искусственного интеллекта для разметки текстов позволяет добиться высокого качества обработки информации. При этом специалистам удалось создать многоступенчатую иерархическую схему для разметки, которая минимизирует необходимость в привлечении человеческих экспертов. Теперь большие языковые модели, такие как ChatGPT, могут имитировать человеческую разметку лингвистических данных для обучения моделей искусственного интеллекта.
Эта новая технология открывает широкие перспективы для применения в различных областях, где требуется обработка текстовых данных. Она может быть использована для обучения моделей искусственного интеллекта в различных отраслях, таких как медицина, финансы, образование и другие. Ученые надеются, что их разработка поможет значительно ускорить развитие и применение искусственного интеллекта во многих сферах человеческой деятельности.