Надо менять стратегию в разработках ИИ, иначе в них снова наступит «ИИ-зима»
ИИ-зима — это период с 1969 по 1990, когда из-за несоотвествия обещаний теории ИИ результатам ее практических применений:
- высохло финансирование ИИ
- и кардинально упал интерес к новым исследованиям.
Два известных профессора (Гари Маркус — психология и нейронаука) и Эрнест Дэвис (компьютерная наука) имели смелось перед аудиторией в 130 млн. читателей назвать вещи своими именами
— недавняя презентация возможностей новинки Google Duplex окончательно дискредитировала перспективы мейнстрима технологий ИИ
«Эта презентация лишь показала сколь далеки сегодняшние технологии ИИ от истинного интеллекта, даже если эти технологии, разрабатывает компания, обладающая самым большим пулом специалистов по ИИ в мире, гигантской вычислительной мощностью и колоссальными объемами данных»
Все эти ресурсы, стоящие десятки миллиардов долларов, были потрачены на то, чтобы путем человекоподобного разговора по телефону, решить 3 примитивные задачи:
- зарезервировать стол в ресторане,
- записаться к парикмахеру
- и узнать часы работы заведения в праздники.
Анализируя причины этого, авторы констатируют:
«Современный подход к ИИ не оправдал себя. Да, на его основе были созданы замечательные приложения, в том числе Google Translate и Google Duplex. Однако, пределы возможностей этих приложений, как формы интеллекта, должны быть сигналом пробуждения. Если стратегия машинного обучения на больших данных не может обеспечить решение более осмысленных задач, чем резервирование ресторана (даже в руках самой сильной в мире в области ИИ компании), пришло время пересмотреть эту стратегию»
Не буду дальше цитировать, а лишь порекомендую самим прочесть этот отличный текст, который Стивен Пинкер назвал «проницательным экспертным анализом, выделяющимся на фоне всеобщего восторженного хайпа».
Я же, продолжая мысли авторов этого текста, проиллюстрирую их тремя исключительно интересными и, как у меня водится, малоизвестными фактами.
Факт №1 (и это плохая новость)
Объем вычислительных ресурсов, которые тратятся на машинное обучение ИИ только в самых крупных проектах, растет немыслимым темпом (вот график).
И это только самые крупные проекты, а сколько еще других.
Такой рост прекратится в ближайшие 5 лет, поскольку просто закончатся вычислительные ресурсы.
Дело в том, что Закон Мура с его удвоением за 18 мес. отдыхает.
Вычислительные ресурсы на машинное обучение удваиваются каждые 3.5 месяца!
Т.е. с 2012 года число транзисторов на кристалле увеличилось в 12 раз, а объем вычислений на машинное обучение вырос в 300 тыс. раз!
Факт №2 (и это хорошая новость)
Для решения проблемы нехватки ресурсов на тренинги ИИ нужна новая компьютерная архитектура (программно это не решить).
Законодатель в этом вопросе, компания Intel, исключительно под задачу тяжелых вычислений для ИИ, уже создал новое направление — Нейроморфный процессор Intel Loihi.
Он ориентирован на имитацию основного механизма работы мозга, делая машинное обучение более быстрым и эффективным и при этом требуя меньших вычислительных мощностей
Loihi уже продемонстрировал машинное обучение со скоростью в 1 миллион раз превышающей скорость типичных пиковых нейронных сетей.
Факт №3 (и это снова плохая новость)
Неделю назад Intel опубликовал дорожную карту развития процессора Loihi.
- прошлогодняя первая версия чипа Loihi содержит 130 тысяч искусственных нейронов и 130 млн. искусственных синапсов;
- а в 2019 планируется выпустить процессор, содержащий более 100 млрд синапсов.
Но вот график из выдающейся, но мало кому известной работы 2х мощнейших научных структур в области вычислительной науки: IBM Almaden Research Center и Lawrence Berkeley National Laboratory.
Обе оси графика логарифмические, и, глядя на них, можно увидеть, что для моделирования на суперкомпьютере Blue Gene:
- уровня мыши (0,125 трлн синапсов) потребовалось 512 процессоров («всего» полшкафа),
- а для пока даже не включенного в дорожную карту компании Intel уровня кота (6,1 трлн синапсов) потребовалось 24 шкафа с 24756 процессорами, — т.е. в 48 раз больше.
Для справки, как видно из графика:
✔️ Только 4,5% коры человеческого мозга содержат 9 трлн синапсов, а полностью в коре больших полушарий человека около 125 трлнсинапсов
— в 1500 раз больше, чем звёзд в нашей галактике.
Как это прокомментировал Марк Хачман:
«Теперь у нас есть представление о том, насколько быстро развивается новая архитектура Intel, и как далеко ей до потенциала, достигнутого природой»
Резюме
Из названных 3х фактов следует, что даже с переходом на кардинально новую аппаратную архитекруру Intel Loihi, в ближайшие годы проблему крайне низкого КПД машинного обучения на больших данных не решить.
И следовательно:
А) либо индустрия ИИ очнется и поменяет стратегию развития,
Б) либо растущая пропасть между затратами на вычислительные ресурсы для машинного обучения и получаемой от ИИ экономической выгодой кардинально затормозит развитие отрасли, и снова, как уже было, на десятки лет воцарит «ИИ-зима» (AI winter)
Для полноты картины, можете считать статью Маркуса и Дэвиса заключительной частью трилогии, первыми 2мя частями которой могли бы служить 2 моих недавних поста:
_________________________
Хотите читать подобные публикации? Подписывайтесь на мой канал в Телеграме, Medium, Яндекс-Дзене
Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”
