Машинное обучение / Подраздел искусственного интеллекта, который использует алгоритмы для автоматического “обучения” или повышения производительности других алгоритмов. В одном популярном подходе математическая функция сначала измеряет, насколько хорошо алгоритм справляется с некоторой задачей прогнозирования (например, с классификацией изображений), сравнивая предсказания алгоритма с набором примеров, называемых "обучающими данными”. Затем алгоритм настраивается для улучшения своих прогнозов. Затем этот процесс повторяется много раз, пока алгоритм не сможет делать достаточно точные прогнозы при получении новых данных. Алгоритмы, обученные таким образом, например нейронные сети, как правило, лучше работают с входными данными, похожими на обучающие.
Умножение матриц / Базовая арифметика, лежащая в основе современного ИИ, — и основной источник его огромных энергозатрат(открывает новую вкладку). Большинство вычислений, происходящих в нейронных сетях, включают в себя многократное умножение огромных таблиц чисел, известных как матрицы. Исследователи десятилетиями пытались оптимизировать этот процесс, в том числе используя для этого ИИ. Полное исключение(открывает новую вкладку) этого процесса могло бы радикально повысить энергоэффективность ИИ.
Механистическая интерпретируемость / Новое направление исследований в области ИИ, которое фокусируется на понимании того, как нейронные сети обрабатывают данные, путём эмпирического изучения, определения и проверки внутренних механизмов, которые генерируют выходные данные. Эксперименты, иногда вдохновлённые нейробиологией(открывает новую вкладку), могут включать в себя обратный инжиниринг определённых функций(открывает новую вкладку), которые сеть изучила на основе обучающих данных (например, фраза «Мост Золотые Ворота(открывает новую вкладку)»), вычислительных схем(открывает новую вкладку) и отдельных нейронов(открывает новую вкладку).
Модель / Математическое представление задачи, созданное путём применения алгоритма машинного обучения к набору обучающих данных. Например, большая языковая модель, такая как GPT-3.5 (которая использовалась в оригинальной версии ChatGPT(откроется в новой вкладке)), пытается предсказать следующий фрагмент текста в заданной последовательности, включая последовательности, на которых она не обучалась. Модель ИИ автоматически кодирует (или «встраивает») в данные любые признаки, которые повышают эффективность выполнения задачи, независимо от того, являются ли эти признаки интерпретируемыми, правильными или даже соответствующими(открывает новую вкладку) цели самой задачи.
Нейронная сеть / Рабочая модель современного ИИ, которая примерно имитирует связи в мозге млекопитающих, объединяя математические функции, называемые «нейронами», в слои, которые обрабатывают и передают данные другим слоям. Каждый нейрон содержит «параметры» — числовые значения, заданные алгоритмом машинного обучения во время обучения. Первый слой нейронов кодирует необработанные входные данные, в то время как сотни или тысячи «скрытых» слоёв, которые могут содержать миллиарды или даже триллионы параметров, выполняют вычисления (обычно умножение матриц), которые в конечном итоге дают прогноз на выходном слое. [Ознакомьтесь с нашим захватывающим объяснением того, как работают нейронные сети.]
Предварительное обучение / Обучение модели ИИ на большом наборе разнообразных, часто немаркированных данных (например, необработанного текста, скопированного из интернета) для повышения её способности хорошо реагировать на новые входные данные(откроется в новой вкладке). Предварительно обученную модель обычно «дообучают» с помощью дополнительного обучения, определяемого её назначением. Например, чтобы создать ChatGPT, OpenAI предварительно обучила модель на сотнях миллиардов слов, собранных из интернета, а затем использовала метод, называемый обучением с подкреплением, с обратной связью от человека, чтобы оптимизировать эту модель для создания диалогов в стиле чата.
Рассуждение / Последовательность внутренних подсказок (называемая “цепочкой размышлений”), самостоятельно генерируемая некоторыми моделями искусственного интеллекта во время вывода, используемая для разбиения сложных запросов на более простые этапы и (иногда) получения более точных ответов. Поскольку они состоят из читаемого человеком текста, эти “цепочки” могут выглядеть удивительно похожими на процесс добросовестного рассуждения - но не(открывает новую вкладку) все(открывает новую вкладку) убеждены.
Обучение с подкреплением / Метод машинного обучения, при котором система ИИ улучшает свои показатели, максимизируя сигнал «вознаграждения» методом проб и ошибок. Обучение с подкреплением, которое часто используется для обучения роботов и игровых агентов(открывает новую вкладку), теперь помогает моделям избегать(открывает новую вкладку) галлюцинаций и обеспечивать(открывает новую вкладку) поведение, напоминающее рассуждение.
Синтетические данные / Данные, созданные генеративным ИИ, которые затем используются в качестве обучающих данных для других моделей. Исследователи обращаются к синтетическим данным, когда возникают проблемы с качеством или количеством доступных обучающих данных. Например, модель ИИ Стэнфорда(откроется в новой вкладке) может генерировать рентгенограммы грудной клетки с медицинской точностью, чтобы скорректировать погрешности в существующих наборах данных (например, нехватку данных о пациентках). Однако чрезмерное обучение на синтетических данных может привести к тому, что модели ИИ «перестанут работать(откроется в новой вкладке)» из-за снижения производительности.
Трансформатор / Тип нейронной сети, которая разбивает последовательности входных данных на небольшие фрагменты и изучает контекстные связи между ними, чтобы делать прогнозы. Эти сети можно применять для решения различных задач, включая перевод документов, генерацию текста и видео, распознавание речи, игры, компьютерное зрение и сворачивание белков. Изобретённые компанией Google в 2017 году(открывает новую вкладку) трансформеры стали основой для создания первых больших языковых моделей и вскоре стали доминирующей архитектурой(открывает новую вкладку) для современных систем искусственного интеллекта.
Подпишитесь на канал "Жизнь Дурова: ЗОЖ, деньги, ИТ" - все самое главное о здоровье, технологиях и деньгах