Робот сдает вступительный экзамен в Токийский университет
Это наш Todai-робот. Конечно, мозг робота находится на удалённом сервере. Сейчас он пишет сочинение в 600 слов о морской торговле XVII века. Неплохо звучит?
Почему я взяла вступительный экзамен в качестве ориентира? Потому что я подумала, что нам нужно изучить производительность ИИ в сравнении с человеком, особенно в тех областях, где, кажется, лишь люди могут преуспеть и только благодаря обучению. Чтобы поступить в Todai, Токийский университет, необходимо сдать два различных вида экзаменов. Первый — национальный стандартизированный тест с вариантами ответов на выбор. Необходимо получить высшие баллы по семи дисциплинам, я бы сказала, приблизительно 84% и более, чтобы быть допущенным ко второму этапу — письменному тесту, подготовленному Todai.
Как работает современный ИИ на примере игры в угадывание
Позвольте, я сначала объясню, как работает современный ИИ, и для примера возьму телевизионную игру-викторину «Jeopardy!». Вот обычный вопрос «Jeopardy!»: «Название последней симфонии Моцарта совпадает с названием этой планеты». Примечательно, что вопрос викторины всегда содержит слово «этот, эта», например, «эта» планета, «эта» страна, «этот» рок-музыкант и так далее. Другими словами, «Jeopardy!» задаёт вопросы не разных типов, а только одного типа — так называемые «фактологические вопросы».
Кстати, а вы знаете ответ? Если не знаете, но хотите узнать, что вы сделаете? Погуглите, верно? Конечно. Почему бы нет? Но вам нужно выбрать подходящее ключевое слово, например, «Моцарт», «последняя», «симфония», чтобы вписать в строку поиска. Компьютер в основном делает то же самое. Страница Википедии будет на первом месте в рейтинге поиска. Затем компьютер считывает страницу. Нет.
Зоопарк искусственных интеллектов
К сожалению, ни один из современных ИИ, включая Watson, Siri и Todai Robot, не умеет читать. Но они хорошо справляются с поиском и оптимизацией. Он распознаёт, что ключевые слова «Моцарт», «последняя» и «симфония» появляются здесь чаще всего. Если он сможет найти слово, означающее планету в сочетании с этими ключевыми словами, это и должно оказаться ответом. Именно таким образом Watson находит ответ «Юпитер» .
Наш Todai-робот работает так же, но он немного сообразительнее в ответах на исторические вопросы, требующих ответа «да» или «нет», например: «Карл Великий победил венгров. Правда или вымысел?» Наш робот самостоятельно формулирует фактологический вопрос: «Карл Великий победил [таких-то людей]». Затем первыми в поиске оказываются «аварцы», а не «венгры». Получается, что это утверждение неверно. Наш робот не читает и не понимает, но по статистике во многих случаях он оказывается прав.
Робот пишет сочинение на экзаменах
На следующем этапе письменного теста требуется написать сочинение объёмом в 600 слов, как вот это:
[Обсудите взлёты и падения морской торговли в Восточной и Юго-Восточной Азии XVII века...]
Как я уже ранее упомянула, наш робот берёт предложения из учебников и Википедии, комбинирует их и оптимизирует, создавая сочинение, ничего при этом не понимая. Но, что удивительно, его сочинение лучше, чем у большинства студентов!
А как насчёт математики?
Полностью автоматизированная машина по решению математических задач была мечтой с момента появления термина «искусственный интеллект», но она очень долгое время оставалась на уровне арифметики. В прошлом году мы наконец смогли успешно разработать систему, которая решала задачи доуниверситетского уровня, как вот эта.
Исходная задача записана на японском, нам понадобилось научить робота 2 000 математических аксиом и 8 000 тысячам японских слов, чтобы он смог воспринимать задачи, написанные на естественном языке.
Абитуриентам стоит задуматься
И сейчас он переводит такие задачи в формулы, считываемые компьютером. Странно, но, думаю, сейчас он уже может их решать. Иди и реши. Да! В данный момент он производит символьные вычисления. Ещё более странно, но, наверное, для компьютера это самая забавная часть.
Теперь он выдаёт правильный ответ, хотя в его решении не под силу разобраться даже математикам. Как бы то ни было, в прошлом году наш робот попал в один процент лучших после письменного экзамена по математике на втором этапе.
Поступил ли он в Todai?
Нет, вопреки моим ожиданиям. Почему? Потому что он не понимает смыла того, что выдаёт. Сейчас я покажу его типичную ошибку при выполнении теста по английскому языку.
[Нейт: Мы почти в книжном магазине. Ещё несколько минут.
Сунил: Подожди. ______. Нейт:
Спасибо. Вечно такое случается... ]
Разговаривают двое. Для нас, кто понимает, о чём идёт речь...
(выберите вариант ответа для заданной выше ситуации в магазине)
[1. «Мы долго шли».
2. «Мы почти пришли».
3. «У тебя явно дорогие ботинки».
4. «У тебя развязался шнурок».]
Очевидно, что правильный ответ — под номером 4, так? Но Todai-робот выбирает ответ под номером 2, даже выучив 15 миллиардов английских предложений с применением технологий глубокого обучения. Хорошо. Теперь вам понятно, что я имела в виду, когда говорила: «Современный ИИ не читает и не понимает». Он только притворяется, что он это делает.
Он смог бы поступить в более чем 60% японских университетов
На этом графике представлено распределение полумиллиона студентов, сдававших такой же экзамен, как и Todai-робот. Сегодня наш Todai-робот входит в первые 20 процентов, и он смог бы поступить в более чем 60 процентов японских университетов, но не в Todai.
Но посмотрите, как он выделяется из обширной зоны будущих служащих, так называемых «белых воротничков».