Задачи машинного обучения, способы его внедрения и применения в различных сферах
Машинное обучение (Machine Learning, ML)— это область искусственного интеллекта (AI), которая изучает, как решать задачи на основе данных без прямых указаний от человека.
Задачи, которые решает машинное обучение
1️⃣ Генерация и анализ текста для обработки естественного языка.
2️⃣ Машинный перевод с одного языка на другой.
3️⃣ Распознавание и синтез речи для обработки и воспроизведения естественного языка.
4️⃣ Генерация изображений.
5️⃣ Распознавание текста на изображениях для извлечения информации.
6️⃣ Поиск с применением методов машинного обучения.
Инструменты генеративного AI работают по схеме: анализ входного запроса → генерация контента на основе изученного → выдача результата.
Два режима взаимодействия с GPT
Режим запросов (промт, prompt) Это однократное обращение к системе для получения нужного результата. Выглядит как обычный вопрос и длинная инструкция. Пользователь может обратиться к системе и второй раз, но предыдущий вопрос и ответ не влияют на следующий ответ системы. Каждый запрос рассматривается изолированно.
Диалоговые режимы Позволяют формировать ответы, учитывая информацию из предыдущих обращений пользователя. Однако современные ML-модели «не помнят» контекст диалога. Поэтому приложения каждый раз посылают историю запросов и ответов дополнительно в каждом сообщении.
Интерактивные агенты — это специализированные программы и технологии, которые реализуют различные режимы взаимодействия с нейросетями. Они могут функционировать в режиме «вопрос — ответ», просто реагируя на запросы. В большинстве случаев они создаются с возможностью хранить историю беседы, работая в диалоговом режиме.
Большая часть решений в области искусственного интеллекта — это сервисы, предоставляемые крупными облачными провайдерами или продукты, разработанные на основе их инфраструктуры.
Основные инструменты машинного обучения в Yandex Cloud
gRPC — это современная технология, которая позволяет программам быстро и эффективно обмениваться данными в бинарном виде, то есть в виде единиц и нулей. Она очень удобна для разработчиков, но требует определённых знаний.
REST — это более привычный для многих способ взаимодействия с использованием простых текстовых данных, например JSON. Такой подход часто используется при создании веб-сайтов и мобильных приложений.
Основная идея REST — использование текстового протокола передачи данных HTTP 1.1. RESTful-сервисы полагаются на стандартные операции HTTP (GET, POST, PUT, DELETE) для взаимодействия между клиентами и серверами. Данные передаются в текстовом формате, таком как JSON или XML.
Основная идея gRPC — использование бинарного протокола передачи данных HTTP/2. Это означает, что данные отправляются в виде наборов 0 и 1. Это намного эффективнее текстового протокола HTTP 1.1, который использует REST. Для определения структуры данных и сервисов gRPC использует Protocol Buffers (protobuf).
.proto-файл — текстовый файл. Он содержит описание структуры данных и сервисов, которые будут использоваться Protocol Buffers. В этом файле описывается структура данных и сервисы, которые можно вызывать с использованием gRPC.
Идемпотентность означает способность выдавать единый результат при повторении запроса.
YandexGPT API
YandexGPT API — интеллектуальный сервис Yandex Cloud. Он предоставляет API для использования генеративных языковых моделей в бизнес-приложениях и веб-сервисах. Такую технологию называют text-to-text («текст в текст»).
Разбиение позволяет модели понять каждую часть предложения отдельно и в контексте. Каждая модель YandexGPT может разбивать текст на разные токены.
Когда нейросеть предсказывает следующее слово в предложении, она оценивает вероятность всех возможных вариантов. Температура используется для «разогрева» этой вероятности. Низкая температура (ближе к 0) снижает уровень случайности. Высокая температура (ближе к 1) увеличивает уровень случайности.
Эмбеддинг — это способ преобразования текста в числа, которые компьютеры могут легко обрабатывать. Процесс преобразования текста в числа называется векторизацией, а результат — эмбеддингом.
Yandex Translate API
Сервис Yandex Translate API позволяет переводить тексты более чем на 100 различных языков. Его можно интегрировать в приложения и веб-сервисы.
Глоссарий — это пользовательский словарь слов и словосочетаний, который передаётся вместе с запросом для перевода текста.
Параметр точного перевода (exact) задаёт конкретный перевод термина. Его можно использовать, если язык поддерживается. В случае неподдерживаемых языков могут возникнуть ошибки.
Если пользователь оставит один вариант перевода, тогда это будет нейроглоссарий. Если укажет два и более варианта перевода одной и той же фразы (или слова), будет мультиглоссарий.
YandexART API
YandexART API — интеллектуальный сервис Yandex Cloud. Он предоставляет API для генерации изображений по описанию. По-другому такая технология называется text-to-image (преобразование текста в изображение).
YandexART — модель для генерации изображений на основании текстового запроса.
Yandex Vision OCR
Yandex Vision OCR — это сервис, использующий компьютерное зрение для распознавания текста и его извлечения из документов и изображений с надписями.
Yandex Search API
Yandex Search API — сервис для отправки запросов к поисковой базе и получения ответов в форматах XML и HTML.
XML (Extensible Markup Language) — это формат для хранения и передачи данных. XML-документы состоят из тегов, которые определяют структуру и содержание данных. Теги группируются в элементы и подэлементы, создавая иерархическую структуру.
HTML (HyperText Markup Language) — это язык разметки, используемый для создания веб-страниц. Он описывает структуру контента с помощью тегов, таких как заголовки, абзацы, ссылки, изображения и таблицы.
Сниппет — краткое описание содержимого веб-страницы, показывающееся в результатах поиска. Пассаж — отрывок текста из документа, содержащий запрос и помогающий понять, почему документ подходит.
Релевантность — степень соответствия полученной информации запросу. Механизм релевантности учитывает ключевые слова, контекст, популярность источника и поведение пользователей.
Генеративный ответ — это автоматический ответ на запрос, созданный нейросетью YandexGPT. Он объединяет информацию из различных источников, чтобы предоставлять наиболее релевантные и понятные ответы.
Yandex SpeechKit
Yandex SpeechKit — интеллектуальный сервис, который позволяет использовать речевые технологии Яндекса, такие как распознавание речи (speech-to-text) и синтез речи (text-to-speech).
Распознавание речи (speech-to-text, STT) — это технология, которая преобразует речь в текст. Представьте, что вы говорите вслух, а программа сразу записывает и показывает ваши слова в виде текста на экране. Если вы отправите файл с записью речи, программа превратит эту запись в текст. Это и есть технология распознавания речи.
Синтез речи (text-to-speech, TTS) — это технология, которая преобразует текст в речь.
Технология SpeechKit Brand Voice позволяет создавать уникальные голоса для модели синтеза речи (голос бренда).
Yandex SpeechSense
Yandex SpeechSense — это продукт машинного обучения для детального анализа голосовых и текстовых каналов коммуникации. Предназначен для автоматизации работы различных контакт-центров.
Метаданные — это данные о данных.
Теги с это метки, которые проставляются сообщениям автоматически при помощи классификаторов. Теги участвуют в построении отчётов.
Yandex DataSphere
Yandex DataSphere — это гибкая платформа для разработки и эксплуатации моделей машинного обучения. Она автоматизирует множество процессов и позволяет командам эффективно работать вместе, управлять ресурсами и расходами.
CPU (Central Processing Unit) — центральный процессор, основной «мозг» компьютера, выполняющий большинство общих вычислительных задач.
GPU (Graphics Processing Unit) — графический процессор, изначально разработанный для обработки графики и выполнения параллельных вычислений. В последние годы его начали активно использовать для задач машинного обучения.
Spark — мощная система распределённой обработки данных. Она позволяет оркестровать работу с большими данными, разделяя задачи между множеством вычислительных узлов и добиваясь слаженной работы.