00:00 Введение в большие языковые модели
• Обзор больших языковых моделей, таких как ChatGPT.
• Обсуждение их возможностей и нюансов.
• Цель видео: объяснить, как работает ChatGPT и его когнитивные аспекты.
01:00 Предварительное обучение
• Процесс создания ChatGPT включает несколько этапов.
• Первый этап: загрузка и обработка данных из интернета.
• Пример: набор данных Fine Web от компании Hacker News.
01:27 Сбор данных
• Цель: получить массу высококачественных документов из интернета.
• Процесс включает несколько этапов фильтрации и обработки данных.
• Пример: набор данных Fine Web занимает около 44 терабайт.
02:47 Данные из Common Crawl
• Common Crawl индексирует 2.7 миллиарда веб-страниц.
• Процесс фильтрации данных: исключение вредоносных и спам-сайтов.
• Извлечение текста и фильтрация по языку.
04:49 Фильтрация и дедупликация
• Фильтрация по языку: исключение веб-страниц на неанглийских языках.
• Дедупликация и удаление персональных данных.
• Пример набора данных: статьи о торнадо и медицинских фактах.
06:47 Подготовка данных для нейронных сетей
• Объединение текста из 200 веб-страниц в массив данных.
• Представление текста в виде одномерной последовательности символов.
• Кодирование ASCII и использование байтов для сжатия данных.
10:20 Кодирование пар байтов
• Преобразование последовательности байтов в последовательность эмодзи.
• Кодирование пар байтов: объединение часто встречающихся последовательностей в новые символы.
• Оптимальный размер словаря около 100 символов.
12:00 Токенизация
• Процесс преобразования текста в токены.
• Пример токенизации в GPT-4.
• Использование сайта для демонстрации токенизации.
12:25 Введение в токенизацию
• Переход к разделу с выпадающим списком и выбор базовой модели GPT-4.
• Токенизатор разбивает текст на токены, например, "привет, мир" на два токена.
• Токены чувствительны к регистру и могут изменяться при добавлении пробелов.
13:41 Пример токенизации
• Текст состоит из 62 символов, которые соответствуют токенам.
• В наборе данных Fine Web 44 терабайта дискового пространства и 15 триллионов токенов.
• Токены представляют собой уникальные идентификаторы, не имеющие значения.
15:15 Обучение нейронной сети
• Моделирование статистических взаимосвязей между токенами.
• Использование окон токенов для предсказания следующего токена.
• Входные данные для нейронной сети - последовательность токенов переменной длины.
17:19 Инициализация и обновление нейронной сети
• Нейронная сеть инициализируется случайным образом.
• Вероятности токенов в начале обучения случайны.
• Процесс обновления нейронной сети для повышения вероятности правильного ответа.
20:17 Внутреннее устройство нейронной сети
• Входные данные смешиваются с параметрами нейронной сети.
• Параметры задаются случайным образом, что делает прогнозы случайными.
• Обучение нейросети улучшает прогнозы, соответствуя статистике обучающей выборки.
23:03 Пример работы нейронной сети
• Пример нейронной сети трансформер, используемой в производственных условиях.
• Последовательность токенов преобразуется в распределенное представление.
• Промежуточные значения используются в математическом выражении для предсказания следующего токена.
24:47 Нейронные сети и их параметры
• Нейронные сети в искусственных системах проще, чем биологические нейроны.
• Они преобразуют входные данные в выходные без сохранения информации.
• Параметры сети фиксированы и влияют на прогнозы.
25:46 Логический вывод в нейросетях
• Логический вывод генерирует новые данные на основе модели.
• Модель выбирает токены на основе вероятностей, предоставляемых сетью.
• Процесс повторяется для создания новых последовательностей.
26:44 Примеры логического вывода
• Пример с токенами 91, 860 и 287.
• Модель может генерировать последовательности, не идентичные обучающим данным.
• Вывод основан на вероятностных распределениях, выбранных случайным образом.
29:44 Процесс обучения и вывода
• Загрузка и токенизация данных - предварительная обработка.
• Обучение множества нейросетей с разными настройками.
• Вывод данных с помощью готовой нейросети.
31:01 Пример обучения GPT-2
• GPT-2 - вторая итерация серии GPT.
• Модель имеет 1.6 миллиарда параметров и 124000 токенов в контексте.
• Обучение на 100 миллиардах токенов, что меньше современных наборов данных.
33:42 Стоимость и качество обучения
• Стоимость обучения GPT-2 снизилась благодаря улучшению данных и оборудования.
• Современные компьютеры и программное обеспечение позволяют быстрее обучать модели.
• Обучение модели включает обновление параметров для улучшения предсказаний.
35:07 Процесс обновления параметров
• Каждая строка обновления улучшает предсказания для одного миллиона элементов.
• Потеря - показатель эффективности нейронной сети, уменьшающийся с каждым обновлением.
• Исследователи следят за уменьшением потери для улучшения модели.
36:33 Оптимизация модели
• Обработка одного миллиона элементов за одно обновление.
• Выполнение 32 шагов оптимизации, что составляет около 33 миллиардов элементов.
• Текущий прогресс: 420 шагов из 32, что составляет чуть больше 1%.
37:12 Логический вывод модели
• Модель предсказывает следующий токен в последовательности.
• Текущий прогресс: 1% пройденного пути обучения.
• Модель пока не очень хорошо предсказывает следующий символ.
38:06 Улучшение модели
• После 20 шагов оптимизации модель начинает работать лучше.
• Ожидается улучшение до 32 шагов, что приведет к генерации связанного английского языка.
• Оптимизация продолжается еще день или два.
38:47 Вычислительные ресурсы
• Оптимизация выполняется на облачном компьютере.
• Использование графических процессоров для обучения нейронных сетей.
• Графические процессоры обеспечивают высокий уровень параллелизма в вычислениях.
40:22 Центры обработки данных
• Объединение графических процессоров в узлы и центры обработки данных.
• Крупные технологические компании используют графические процессоры для обучения языковых моделей.
• Это привело к росту акций NVIDIA и других компаний.
42:47 Базовые модели
• Базовые модели не способны задавать вопросы и получать ответы.
• Они создают ремиксы интернет-текстов.
• Примеры базовых моделей: GPT-2 и LLaMA.
44:11 Выпуск моделей
• Для выпуска модели нужны код на Python и параметры.
• Параметры модели включают около 1,5 миллиарда чисел.
• Пример: GPT-2 и LLaMA, обученные на миллиарды и триллионы токенов соответственно.
46:11 Введение в модель LLaMA
• Компания Meta выпустила версию LLaMA 3.1 с 4,5 миллиардами параметров.
• Модель LLaMA 3.1 используется для генерации токенов и предсказания следующего токена.
• Модель не является помощником, а скорее символическим автозаполнением.
47:09 Ограничения и возможности модели
• Модель не может отвечать на вопросы, такие как "сколько будет два плюс два".
• Модель использует статистику из обучающих документов для предсказания следующего токена.
• Система стахастическая, что приводит к разным ответам при одном и том же наборе токенов.
49:41 Применение модели и её ограничения
• Модель полезна для прогнозирования следующего символа в последовательности действий.
• Параметры модели можно рассматривать как сжатие интернета, но с потерями.
• Модель может генерировать идеи, но информация в ней носит вероятностный и статистический характер.
51:48 Примеры использования модели
• Модель может воспроизводить статьи из Википедии наизусть.
• Модель запоминает часто встречающиеся данные, что может привести к репродукции.
• Модель может делать предположения на основе знаний, которых она не видела во время обучения.
56:10 Применение модели в практических целях
• Модель может выполнять роль переводчика, используя контекстное обучение.
• Модель может создавать приложения, используя подсказки с несколькими примерами.
• Модель можно использовать для создания помощников, задавая ей вопросы и создавая диалоги.
58:17 Введение в базовую модель
• Базовая модель используется для создания ассистента.
• Ассистент отвечает на вопросы, продолжая последовательность.
• Базовая модель генерирует последовательности токенов, имитирующие интернет-документы.
59:01 Предварительное обучение
• Предварительное обучение разбивает интернет-документы на токены.
• Нейронные сети предсказывают последовательности токенов.
• Базовая модель служит симулятором интернет-документов.
59:54 Пост-обучение
• Пост-обучение превращает базовую модель в помощника.
• Модель учится вести диалоги и давать ответы на вопросы.
• Ассистент может иметь характер и реагировать на разные ситуации.
01:02:01 Программирование ассистента
• Ассистент программируется через обучение на наборах данных.
• Люди оценивают ответы и создают идеальные ответы для модели.
• Модель обучается на диалогах, имитируя поведение людей.
01:05:00 Токенизация разговоров
• Разговоры преобразуются в последовательности токенов.
• Разрабатываются правила для кодирования и декодирования разговоров.
• Пример: диалог пользователя и ассистента сводится к 49 символам.
01:08:41 Тестирование модели
• Модель обучается на наборах данных с разговорами.
• Во время тестирования модель предсказывает следующий токен.
• Пример: чат GPT использует модель для создания ответов на вопросы.
01:10:11 Введение в наборы данных для языковых моделей
• Первая статья о настройке языковых моделей была опубликована в 2022 году.
• В статье описывается методика использования языковых моделей для создания диалогов.
• Люди-подрядчики создают подсказки и идеальные ответы для диалогов.
01:11:34 Инструкции по маркировке
• Компании разрабатывают инструкции по маркировке для создания идеальных ответов.
• Инструкции требуют от людей быть полезными, честными и не причинять вреда.
• Процесс создания идеальных ответов трудоемкий и требует профессионального изучения инструкций.
01:12:33 Примеры диалогов и обучение моделей
• Примеры диалогов создаются людьми в интернете.
• Модель обучается на примерах, чтобы вести себя как полезный и правдивый помощник.
• Модель понимает статистические закономерности и приобретает черты помощника.
01:15:12 Современные языковые модели и наборы данных
• Современные языковые модели помогают создавать наборы данных и диалоги.
• Люди редко пишут ответы с нуля, чаще используют существующие модели.
• Примеры наборов данных включают Altra Chat, который содержит миллионы диалогов.
01:16:29 Магия общения с искусственным интеллектом
• Ответы в ChatGPT статистически соответствуют обучающим наборам.
• Эти наборы содержат инструкции по разметке, написанные людьми.
• Ответы имитируют работу специалистов по разметке данных, а не волшебный ИИ.
01:18:13 Пример с достопримечательностями Парижа
• Ответы в ChatGPT имитируют работу специалистов по разметке данных.
• Если вопрос есть в наборе данных, модель выдает ответ, похожий на ответ специалиста.
• Модель использует знания из интернета и данные после обучения для создания ответов.
01:20:32 Галлюцинации в моделях
• Галлюцинации - это проблема, когда модель придумывает информацию.
• Это было актуально для ранних моделей, но сейчас есть способы решения.
• Примеры из обучающего набора показывают, как модели могут давать неверные ответы.
01:21:30 Примеры галлюцинаций
• Модели могут давать неверные ответы на вопросы, если не знают ответа.
• Пример с именем Орсон Ковач показывает, как модель может придумывать ответы.
• Модель не скажет "я не знаю", даже если не знает ответа.
01:22:43 Статистические генераторы
• Модели статистически имитируют ответы из обучающего набора.
• Они не имеют доступа к интернету и не проводят исследования.
• Пример с моделью Фелкон Свен Би показывает, как она может давать неверные ответы.
01:24:21 Улучшение моделей
• Современные модели могут искать информацию в интернете.
• Они могут сказать, что не знают ответа, если действительно не знают.
• Это улучшает проблему галлюцинаций.
01:25:58 Проверка знаний модели
• Нужно добавлять примеры, где модель не знает ответа.
• Модель может иметь нейроны, которые показывают неуверенность, но не всегда говорит об этом.
• Пример с Домиником Кашики показывает, как модель может давать неверные ответы.
01:28:04 Решение проблемы
• Модель может перефразировать информацию из контекста.
• Вопросы задаются модели, и если ответ неправильный, это добавляется в обучающий набор.
• Модель учится связывать высокий уровень неопределенности с отказом от ответа.
01:31:27 Заключение
• Добавление примеров, где модель не знает ответа, снижает вероятность галлюцинаций.
• Это помогает моделям лучше понимать свои знания и границы.
• Пример с Чат ГПТ показывает, как модели могут повышать достоверность информации.
01:32:15 Меры предосторожности для борьбы с недостоверностью
• Введение меры предосторожности номер один для борьбы с недостоверностью.
• Предложение использовать интернет для поиска ответов на вопросы.
• Модели могут освежать свою память, используя инструменты для поиска информации.
01:33:08 Инструменты для моделей
• Введение новых токенов для моделей, позволяющих использовать интернет.
• Пример использования Bing и Google для поиска информации.
• Текст из поиска добавляется в контекстное окно модели для использования в генерации новых токенов.
01:35:52 Обучение моделей использованию инструментов
• Обучение моделей использованию новых токенов и инструментов.
• Использование обучающих наборов для демонстрации работы инструментов.
• Пример использования поиска в интернете для получения информации.
01:37:47 Примеры использования инструментов
• Пример использования чат-бота для поиска информации в интернете.
• Вставка найденного текста в контекстное окно для использования в генерации новых токенов.
• Возможность использования инструментов для проверки достоверности информации.
01:39:30 Психологические аспекты использования моделей
• Информация в параметрах модели как смутные воспоминания.
• Информация в контекстном окне как рабочая память.
• Пример использования подсказки для улучшения качества ответов моделей.
01:41:23 Знание о себе у моделей
• Модели не имеют постоянного "я" и не могут ответить на вопросы о себе.
• Пример модели, уклоняющейся от ответа на вопрос о своем создании.
• Модели следуют статистическим закономерностям своего обучающего набора.
01:43:50 Предварительное обучение и идентификация моделей
• На этапе предварительного обучения использовались документы из интернета.
• Чат-боты, такие как GPT-3, часто называют себя "OpenAI".
• Разработчики могут изменить это название, используя модели с открытым исходным кодом, например, модель ALMA от Alana.
01:44:51 Настройка моделей и системные сообщения
• Модель ALMA использует 240 жестко заданных диалогов для настройки.
• В начале разговора появляется системное сообщение, документирующее модель.
• Эти сообщения скрыты в окне контекста и напоминают модели о её личности.
01:46:55 Вычислительные возможности моделей
• Модели работают с одномерными последовательностями токенов слева направо.
• Нейронная сеть выдает вероятности для следующего токена на основе предыдущих.
• Ограниченное количество вычислений происходит для каждого токена, что требует распределения вычислений на множество токенов.
01:47:28 Пример с математической задачей
• Модель обучается решать простые математические задачи.
• Один из правильных ответов лучше для ассистента, чем другой.
• Важно правильно маркировать данные для обучения моделей.
01:50:22 Распределение вычислений
• Модели выполняют ограниченное количество вычислений для каждого токена.
• Ответ справа лучше, так как распределяет вычисления по нескольким токенам.
• Модель постепенно приходит к ответу, что делает его более точным.
01:53:42 Проблемы с вычислениями в моделях
• Модели могут создавать промежуточные результаты для вычислений.
• Можно попросить модель дать ответ одним токеном, что иногда работает.
• Усложнение задачи приводит к ошибкам, так как модель не может выполнить все вычисления за один проход.
01:55:35 Использование кода для вычислений
• Модели могут использовать код для выполнения арифметических вычислений.
• Код на Python более надежен, чем внутренние вычисления модели.
• Модели могут писать и запускать код для получения результатов.
01:58:01 Подсчет точек
• Модели плохо справляются с задачами на подсчет из-за ограничений одного токена.
• Использование кода позволяет модели копировать и вставлять данные, что упрощает задачу.
• Модели не видят символы, а только токены, что затрудняет выполнение задач на уровне символов.
02:01:51 Проблемы с токенизацией
• Модели обучаются на токенах, а не на отдельных буквах.
• Это приводит к трудностям в правописании и подсчете букв.
• Пример: модели часто ошибаются в подсчете букв в словах.
02:03:47 Примеры ошибок моделей
• Модели могут решать сложные задачи, но ошибаются в простых.
• Пример: сравнение чисел, где модели дают неверные ответы.
• Это связано с активацией нейронов, связанных с библейскими стихами.
02:07:13 Этапы обучения языковых моделей
• Предварительное обучение: тренировка на интернет-документах.
• Пост-обучение: создание помощника на основе разговоров.
• Обучение с подкреплением: последний этап, где модели учатся на данных и задачах.
02:10:13 Обучение с подкреплением
• Обучение с подкреплением помогает моделям приобретать знания и навыки.
• Включает три этапа: объяснения, задачи и практические задачи.
• Практические задачи помогают моделям решать задачи самостоятельно.
02:13:53 Обучение с подкреплением
• Обучение с подкреплением позволяет находить решения задач, пробуя разные варианты.
• Используются два фактора: базовая информация и имитация действий экспертов.
• Важно практиковаться и пробовать разные подходы.
02:14:42 Пример задачи
• Пример задачи: Эмили покупает три яблока и два апельсина, общая стоимость 13 долларов.
• Задача имеет четыре возможных решения, все из которых приводят к ответу 3.
• Важно понимать, что не все разговоры в обучающем наборе подходят для ИИ.
02:15:48 Цели решения
• Цель решения - правильный ответ, но также важно сделать его удобным для человека.
• ИИ может не знать, какой из вариантов решения лучше.
• Ограниченные вычислительные ресурсы ИИ могут привести к ошибкам.
02:18:17 Различия в мышлении
• ИИ имеет другое мышление, чем люди, и может находить сложные задачи простыми.
• Люди могут вкладывать в решения знания, которых нет у ИИ.
• Важно, чтобы ИИ сам находил последовательности токенов, которые работают для него.
02:20:20 Обучение с подкреплением на практике
• Обучение с подкреплением работает через пробу разных решений и проверку результатов.
• Модель генерирует решения, которые затем проверяются на правильность.
• Модель поощряет решения, которые приводят к правильным ответам.
02:22:11 Поощрение правильных решений
• Модель пробует много решений одновременно, некоторые из которых могут быть верными.
• Поощряются решения, которые приводят к правильным ответам, а не те, которые приводят к ошибкам.
• Модель обучается на последовательностях, предложенных самой моделью.
02:24:36 Процесс обучения
• Модель пробует разные решения и выбирает те, которые работают.
• Процесс обучения с подкреплением - это метод проб и ошибок.
• Модель становится лучше со временем, находя правильные решения.
02:25:39 Сравнение с обучением детей
• Обучение с подкреплением помогает найти все решения, в отличие от тонкой настройки с учителем.
• Обучение с подкреплением позволяет модели находить правильные ответы и становиться лучше.
• Процесс обучения больших языковых моделей похож на обучение детей, но с использованием разных упражнений.
02:26:38 Этапы обучения LLM
• Предварительное обучение: чтение всех пояснительных материалов.
• Этап FT: рассмотрение фиксированных решений от экспертов.
• Этап ER: решение практических задач.
02:27:37 Сравнение с обучением детей
• Процесс обучения LLM аналогичен обучению детей.
• Первые два этапа обучения стандартны, третий этап ER находится на ранней стадии развития.
02:28:05 Детали этапа ER
• Этап ER включает множество мелких деталей, таких как выбор оптимальных решений и распределение подсказок.
• Компании, такие как OpenAI, экспериментируют с тонкой настройкой обучения с подкреплением.
02:28:50 Статья DeepMind
• Статья DeepMind вызвала интерес к использованию ER для LLM.
• Статья предоставила множество мелких деталей для воспроизведения результатов.
02:29:15 Улучшение точности решения математических задач
• Модели учатся решать математические задачи с большей точностью.
• Средняя длина ответа увеличивается, что помогает достигать высокой точности.
02:30:24 Процесс мышления модели
• Модель учится перепроверять шаги и использовать разные подходы.
• Это увеличивает длину ответа, но повышает точность решения задач.
02:32:58 Пример задачи и решение
• Модель решает задачу, используя разные подходы и стратегии.
• Процесс мышления модели виден через увеличение длины ответа.
02:35:05 Доступ к моделям
• Модель DeepMind R1 доступна с открытым исходным кодом.
• Другие компании, такие как Tugger AI, предоставляют доступ к полным версиям моделей.
02:37:08 Модели рассуждений в ChatGPT
• Модели в ChatGPT, такие как GPT-4 и GPT-400, обучены с помощью методов подкрепления.
• Эти модели не думают как модели ER, но имеют элементы обучения с подкреплением.
02:38:28 Модели мышления и их ограничения
• Модели мышления, такие как DeepMind, скрывают логические цепочки мыслей в веб-интерфейсе.
• Это делается для предотвращения имитации рассуждений и повышения эффективности.
• Модели мышления и DeepMind находятся на одном уровне по производительности, но DeepMind остается надежным выбором благодаря открытому исходному коду.
02:39:27 Модели для мышления и их использование
• Модели для мышления доступны в DeepMind и других поставщиках, таких как Turing.
• Для простых задач можно использовать GPT-4, но для сложных задач лучше использовать модели для мышления.
• Google также предлагает экспериментальные модели мышления, такие как Twins.
02:41:42 Обучение с подкреплением и его применение
• Обучение с подкреплением эффективно для решения сложных задач, как в игре в го.
• AlphaGo использует обучение с подкреплением для создания ходов, которые приводят к победе.
• Обучение с подкреплением позволяет системам находить уникальные стратегии, которые превосходят человеческие возможности.
02:45:16 Уникальность и непредсказуемость в обучении с подкреплением
• Обучение с подкреплением позволяет системам отклоняться от человеческих стратегий.
• AlphaGo сделала ход, который не сделал бы ни один человек-эксперт, что подчеркивает силу обучения с подкреплением.
• В языковых моделях обучение с подкреплением может привести к созданию новых стратегий мышления и языков.
02:48:25 Обучение в непроверяемых областях
• Обучение в непроверяемых областях включает задачи, где решения не могут быть легко проверены на соответствие ответам.
• В таких задачах модели могут использовать систему судейства для оценки решений.
• Это открывает новые возможности для обучения и улучшения моделей мышления.
02:49:07 Проблемы с оценкой в непроверяемых областях
• Системы могут делать точные решения, но не в непроверяемых областях, таких как написание текстов или шуток.
• Пример: ChatGPT не всегда хорошо справляется с юмором.
• Оценка множества шуток требует много времени и ресурсов.
02:50:58 Обучение с подкреплением на основе обратной связи от человека
• Предложено решение: обучение с подкреплением на основе обратной связи от человека.
• Использование нейронной сети для имитации человеческих оценок.
• Это позволяет автоматизировать процесс и уменьшить нагрузку на людей.
02:53:30 Пример работы метода
• Пример с шутками про пеликанов: люди оценивают шутки по порядку, а модель оценки имитирует человеческие оценки.
• Модель оценки принимает подсказки и шутки и выдает оценки.
• Оценки модели корректируются на основе человеческого порядка.
02:57:35 Преимущества и недостатки метода
• Метод позволяет использовать обучение с подкреплением в непроверяемых областях.
• Улучшает производительность моделей, особенно в творческих задачах.
• Основной недостаток: обучение на симуляции, а не на реальных данных.
03:01:00 Проблемы симуляции и обучения с подкреплением
• Языковые модели могут не полностью отражать мнение реальных людей.
• Обучение с подкреплением помогает моделировать поведение, но есть способы обыграть её.
• Массивные нейронные сети могут давать бессмысленные результаты при определенных входных данных.
03:02:18 Состязательные примеры и их влияние
• Модели могут давать высокие оценки бессмысленным данным.
• Добавление таких данных в модель может привести к её оптимизации.
• Модель вознаграждения может находить способы получать высокие баллы, несмотря на бессмысленные результаты.
03:04:21 Ограничения и возможности моделей
• Модели вознаграждения могут быть оптимизированы, но не могут быть полностью надежными.
• В поддающихся проверке доменах модели могут быть улучшены, но не бесконечно.
• В играх, таких как го, модели могут быть улучшены, но не могут победить в бесконечной игре.
03:07:09 Три этапа обучения моделей
• Предварительное обучение, точная настройка с учителем и обучение с подкреплением.
• Эти этапы соответствуют процессу обучения детей.
• Модели требуют эффективного написания учебников и алгоритмов для различных дисциплин.
03:09:48 Будущие возможности моделей
• Модели станут мультимодальными, работая с текстом, аудио и изображениями.
• Токенизация аудио и изображений позволит вести естественные диалоги.
• Модели должны быть способны выполнять последовательные задачи без ошибок в течение длительного времени.
03:11:45 Долгосрочные агенты и контроль
• Агенты будут выполнять задачи в течение длительного времени, контролируемые людьми.
• В цифровом пространстве будет соотношение людей и агентов, как на заводах.
• Агенты станут более распространенными и незаметными, интегрированными в инструменты.
03:12:58 Обучение во время тестирования
• Модели не учатся на всем, что делают, как люди.
• Контекстное окно ограничено и не может быть изменено после настройки параметров.
• Для долгосрочных задач нужны новые идеи и подходы.
03:15:00 Ресурсы для отслеживания прогресса
• Эл Марина: рейтинг моделей ИИ на основе сравнения с людьми.
• Новостная рассылка от С Викс: полная и актуальная информация.
• Икс и Твиттер: подписка на доверенных людей для получения свежей информации.
03:18:22 Где найти модели и как их использовать
• Популярные модели можно найти на сайтах поставщиков.
• Модели с открытым исходным кодом доступны на различных платформах.
• Для базовых моделей можно использовать гиперболические модели.
03:20:14 Запуск моделей локально
• Маленькие версии моделей можно запускать локально.
• Элм Стьюдио: приложение для запуска моделей на компьютере.
• Интерфейс Элм Стьюдио может быть сложным, но полезным для профессионалов.
03:22:10 Заключение
• Видео объясняет, как работают модели и что из этого следует.
• Запрос принимается и разделяется на токены для обработки.
03:22:16 Введение в токенизацию
• Токенизация позволяет преобразовать пользовательский запрос в последовательность токенов.
• Чардж кэпт продолжает добавлять токены в последовательность, действуя как автозаполнение.
• Возникает вопрос, почему модель отвечает именно этими токенами и как запрограммировать систему.
03:23:16 Процесс обучения нейронной сети
• Первый этап: предварительная подготовка, получение знаний из интернета.
• Второй этап: тонкая настройка под наблюдением, сбор данных из разговоров.
• Третий этап: разметка данных людьми, создание идеальных ответов для запросов.
03:24:28 Симуляция работы человека
• Нейросеть имитирует работу разметчика данных, создавая идеальные ответы.
• Нейросети работают иначе, чем человеческий мозг, и имеют ограниченные возможности.
• Языковая модель имитирует работу человека на уровне токенов.
03:26:01 Ограничения и проблемы моделей
• Модели страдают от когнитивных различий и могут делать ошибки.
• Модели могут придумывать что-то свое, если им не хватает данных для размышлений.
• Модели мышления используют обучение с подкреплением и находят новые стратегии решения проблем.
03:27:52 Применение моделей мышления
• Модели мышления тренируются на задачах, созданных компаниями, такими как OpenAI.
• Они создают уникальные и интересные решения, не просто имитируя работу человека.
• Вопрос о переносе стратегий мышления на творческие задачи остается открытым.
03:29:45 Заключение и рекомендации
• Модели мышления способны создавать новые и захватывающие решения.
• Они особенно полезны в областях, где можно проверить достоверность, таких как математика и программирование.
• Используйте модели как инструмент в наборе инструментов, проверяйте их работу и будьте осторожны.