Найти в Дзене
Робототехника

Почему из всего многообразия нейронок большинство знают только о GPT и не имеют представления о нейросетях в целом

Оглавление

Но мы не будем вдаваться в детали его устройства, а просто рассмотри его реакцию на внешние входы и формирование выходного сигнала.

История возникновения искусственного интеллекта уходит своими корнями еще в середину прошлого века. Но тогда это была просто математическая модель, которая умела "адаптироваться" под входные параметры и "выстраивать" свои веса (весовые коэффициенты) в нужном соотношении.

Само понятие нейронной сети взято по аналогии с устройством нейронной сети живых организмов.

Изображение модели нейронной сети живого организма. Взято из яндекс картинок
Изображение модели нейронной сети живого организма. Взято из яндекс картинок

В основе нейросети лежит ключевой элемент - нейрон. На кажущуюся простоту он имеет сложнее устройство. Но мы не будем вдаваться в детали его устройства, а просто рассмотри его реакцию на внешние входы и формирование выходного сигнала.

Пример устройства одного нейрона. Взято из Яндекс картинок.
Пример устройства одного нейрона. Взято из Яндекс картинок.

Если рассмотреть одно лишь ядро, то мы увидим объект по сложности превосходящий любой современный завод. К тому же там еще происходит масса различных реакций некоторые из которых всё еще недоступны для человечества.

Но сейчас нам важен принцип работы нейрона и его "подстройка" под ситуацию.

Данный процесс называется взвешенным суммированием.

Обратите внимание, что у клетки нейрона есть, так называемые, дендриты по которым клетка получает сигнал от рядом стоящих клеток. Сигналы от соседних клеток могут различаться в зависимости от входа. В математической модели это будет определено как весовой коэффициент или просто вес.

Математическая модель нейрона может быть представлена так:

Пример модели нейрона.Взято из Яндекс картинок.
Пример модели нейрона.Взято из Яндекс картинок.

На некоторое количество входов X или можно сказать входной вектор Х{x1, x2, x3, ... xn} подается некоторое значение входных сигналов от других нейронов или сенсоров. Каждый из этих входов имеет свой весовой коэффициент w или мы просто умножаем входной вектор на матрицу коэффициентов W{w1, w2, ... wn}, а затем суммируем результат. Данный процесс называется взвешенным суммированием.

После этого полученная сумма преобразуется в выходной сигнал с помощью выходной функции Y = F(S).

И здесь есть еще один важный момент, состоящий в том, что это функция может принимать различный вид, но есть несколько общепринятых вариантов. Эту функцию называют еще функцией активации.

Варианты функций активации. Взято из Яндекс картинок.
Варианты функций активации. Взято из Яндекс картинок.

Более широкая вариация таблицы функций представлена ниже:

Взято из Яндекс картинок
Взято из Яндекс картинок

Но стоит заметить, что данные модели работают без обратной связи, то есть отсутствует гибкость реализации и подстройки.

А теперь немного истории. В 1957 году Розенблат построил простейший персептрон, в нашем случае он представлен как мат. модель нейрона. Но в его модели все коэффициенты были жестко прописаны и модель не могла обучаться. Но она уже тогда вызвала большой интерес. Позднее на базе этого персептрона были собраны структуры, состоящие из нескольких нейронов.

Пример однослойного, трехнейронного персептрона. Взято из яндекс картинок.
Пример однослойного, трехнейронного персептрона. Взято из яндекс картинок.

Но стоит заметить, что данные модели работают без обратной связи, то есть отсутствует гибкость реализации и подстройки. Но самая сложная здесь задача - это правильно подобрать веса.

Для этой задачи как раз и был придуман процесс машинного обучения. Где с помощью большого количества накопленных статистических данных мы можем "обучать" модель. Подобный пример я уже рассматривал в видеоматериале:

Получается, что мы можем взять любую модель (для начала простую), и с помощью набора собранных данных адаптировать под неё свою сеть. А далее взять полученные коэффициенты и просто передавать их в новую реализацию. Тут есть огромный плюс - это нахождение устойчивой мат. модели без погружения в математику за счет статистики.

На моей специальности это процесс назывался идентификацией процесса. Но в то время когда я учился, процесс обучения весовой матрицы занимал достаточно длительное время (связано с ограничением вычислительных мощностей). Плюс в том, что количество входных параметров могло быть достаточно большим. Начиная от необходимых (основных параметров), заканчивая второстепенными (те которые в принципе могут нет использоваться).

С ростом технических возможностей выросли и возможности реализации нейросетей. Так появились многослойные сети.

-7

В таких сетях появляются, скрытые слой. Каждый слой и количество нейронов резко расширяют возможности сети и её гибкость.

А далее уже по мере развития искусственного интеллекта и работы с ним стали появляться сети значительных размеров, где персептроны как таковые являются просто небольшими элементами.

Самые простые из них - это рекуррентные сети.

-8

В них уже появляются обратные связи и они предназначены для исследования однонаправленного потока -текст, звук.

Следующим этапом развития нейросетей стало появления "свёрточного" типа. Их структура намного "веселее".

-9

Такие нейросети используются для глубокого машинного обучения и имеют несколько слоев, позволяющих одновременно обрабатывать несколько потоков. Хорошо зарекомендовали себя в анализе изображений.

Ну и один из последних типов нейросетей, так называемых "трансформеров" появился в 2017 году. Это пример небезызвестной GPT (Generative Pre‑trained Transformer) сети. О них можно говорить очень много. Их структура намного сложнее первых моделей.

-10

И их основная задача - это генерация данных по заданным условиям.

Сегодня уже на слуху сеть версии GPT-4, масштабы и объемы данных с которыми она работает просто впечатляют. Но об этом постараюсь написать в другой статье.

Итак, данная публикация носит ознакомительный характер и лишь немного раскрывает возможности ИИ и нейросетей.

Сегодня для того чтобы пользоваться услугами нейросетей или даже создавать их, не нужно знать так глубоко математику, так как большую часть работы уже проделали разработчики модулей для Python'a. Но для правильного понимания процессов, стоит и ей уделять внимание.

У меня всё, благодарю за внимание.

-----------------------------------------------------------------------------

Для тех кому интересно детское инженерное творчество, создаю бесплатный курс на Stepik по Scratch. А с начала учебного года будем работать в школе с детьми в области техники, электроники и использование ИИ для управления процессами.

Наука
7 млн интересуются