Поддержать:
Коротко: алгоритмы ИИ одновременно очень простые и очень сложные, в зависимости от уровня, на который смотришь.
На самом нижнем уровне - поразительно простые
Если опуститься до «атомов», то всё выглядит почти тривиально:
- сложение чисел
- умножение
- функция активации
- корректировка веса на маленькую величину
Типовая формула нейрона, это буквально:
y = f(w₁x₁ + w₂x₂ + ... + b)
Где:
- w — веса
- x — входы
- f — простая нелинейная функция
Математика уровня старших классов / первых курсов.
Никакой магии.
На уровне одного алгоритма - они уже умеренно сложные
Если взять отдельные компоненты:
- градиентный спуск
- backpropagation
- attention
- softmax
- layer normalization
Каждый из них:
- формально описывается на нескольких страницах
- понятен одному человеку
- реализуем программистом за дни / недели
Каждый элемент — не запредельно сложен.
На уровне архитектуры - это уже сложно
Когда ты соединяешь:
- миллиарды параметров
- десятки слоёв
- сложные схемы внимания
- обучение на триллионах токенов
Появляется:
- нелинейность
- взаимное влияние компонентов
- эффекты, которые НЕЛЬЗЯ вывести «на бумаге»
Система становится сложнее суммы частей.
Это уже:
- не просчитывается аналитически
- не объясняется полностью
- не предсказуема на уровне деталей
На уровне поведения - очень сложно
Вот здесь ключевой момент.
Мы не можем точно объяснить, почему модель:
- дала именно этот ответ
- выбрала эту формулировку
- ошиблась здесь, но не там
- вдруг «научилась» рассуждать
Это называется:
эмерджентное поведение (как я уже говорил)
Оно возникает не потому что алгоритм «сложный», а потому что масштаб тут соединяется с нелинейностью
Пример:
- правила движения воды просты
- уравнения просты
- но предсказать форму каждой волны — невозможно
ИИ не сложен логически — он сложен системно.
То есть:
- правила простые
- комбинаций астрономически много
- поведение — непрозрачное
Сравнение с человеческим мозгом
. Базовые операции и там и там простые
. Число элементов в обоих случаях - огромное
. Нелинейность присутствует и там и здесь.
Эмерджентность - важнейшее свойство, есть и тут и там.
. Полная объяснимость - её нет.
Разница:
- мозг самообучается и живёт
- ИИ статичен после обучения
Алгоритмы ИИ просты по правилам, но сложны по последствиям.
Или...
ИИ — это простые идеи, доведённые до безумного масштаба.
Ещё можно порассуждать в новых статьях о следующем:
- можно ли сделать ИИ объяснимым
- где проходит граница между сложностью и разумом
- почему эмерджентность пугает учёных
Чего-то из этого мы обязательно коснёмся.
Поддержать в один клик:
Мои 6-секундные Ai сны:
Все подборки: