Погружаемся в истоки захватывающей истории больших языковых моделей — в середину XX века, когда зародились первые концепции, вдохновленные человеческим мозгом.
Идея обучаемой машины
В середине XX века мысль о том, что можно создать обучаемую машину, казалась чем-то из области фантастики. Американский ученый Фрэнк Розенблатт, изучая работу человеческого мозга, захотел создать систему, способную обучаться. Он задумал разработать устройство, которое могло бы узнавать образы и накапливать опыт.
1957: Появление перцептрона
В 1957 году Розенблатт представил первую модель искусственной нейронной сети — перцептрон. Эта система должна была имитировать работу человеческого восприятия.
В 1960 году он показал «Марк-1», первую нейронную машину с фоточувствительными элементами, которые действовали как глаза. Она могла распознавать простые формы и буквы, адаптируясь к задачам с помощью изменения весов в сети.
Значение «Марк-1» в развитии нейросетей
Хотя «Марк-1» мог справляться лишь с простыми заданиями и ограниченными условиями, он стал важной вехой. Это была первая машина, способная учиться и корректировать свою работу на основе ошибок — принцип, который лег в основу более поздних нейросетевых моделей.
1965: Джозеф Вайценбаум и Элиза
Примерно в это же время Джозеф Вайценбаум создал Элизу — простой чат-бот, который умел анализировать текст, вводимый пользователем. Элиза распознавала ключевые слова и формировала ответы по шаблонам. Наибольшую известность приобрел ее сценарий психотерапевта (DOCTOR), в котором Элиза отвечала на вопросы, словно задавая их пациенту.
Эмоциональный отклик на Элизу
Элиза, хоть и была простой программой, вызвала у людей интерес и даже привязанность. Вайценбаум считал, что она не обладала настоящим интеллектом, но ее способность поддерживать диалог показала, что машины могут вести беседы, похожие на человеческие. Это открытие подготовило почву для развития более сложных языковых моделей.
1970: Критика и «зима искусственного интеллекта»
К 1970 году стало ясно, что перцептроны в своем простом виде не могут решать сложные задачи, такие как распознавание перенесенных символов.
Ученые Марвин Мински и Сеймур Паперт доказали, что однослойные перцептроны не справляются с этим, и их работа привела к падению интереса к нейросетям. Этот период 1970-х годов даже назвали «зимой искусственного интеллекта», так как исследования почти прекратились.
История больших языковых моделей — это долгий путь от простых идей и экспериментов до мощных нейросетей. Что было дальше, расскажем в следующей статье. Если было интересно, вам понравится заметка «Как работают генеративно-состязательные и другие нейросети».