{"draftJsState":{"blocks":[{"data":{"image":{"id":"64848e929506570f870ae870"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"8psli"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":22,"offset":10}],"inlineStyleRanges":[],"text":"Источник: Nuances of Programming","type":"unstyled","key":"6fsgj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"О чем эта статья","type":"header-three","key":"l2sa"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На основе содержимого сайта компании по продаже автозапчастей Sterling Parts создадим приложение вопросов и ответов, для интеллектуальности которых используем GPT-3, для кода — Ruby.","type":"unstyled","key":"55j6q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":3,"offset":58,"style":"ITALIC"},{"length":8,"offset":63,"style":"ITALIC"},{"length":20,"offset":74,"style":"ITALIC"}],"text":"Вопросы ИИ задают пользователи, ответы берутся со страниц FAQ, About Us и Terms and Conditions.","type":"unstyled","key":"1s0ht"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Необходимые условия","type":"header-three","key":"e83e5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Средний уровень знаний Ruby.","type":"ordered-list-item","key":"b3mb0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Понимание, как интегрировать Ruby с Openai.","type":"ordered-list-item","key":"gom2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Github","type":"header-three","key":"897ji"},{"data":{},"depth":0,"entityRanges":[{"key":1,"length":3,"offset":0}],"inlineStyleRanges":[],"text":"Код доступен на Github.","type":"unstyled","key":"b40iu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Описание процесса","type":"header-three","key":"f6381"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы подготовить базу знаний для задаваемых по ней в GPT-3 вопросов, создадим два скрипта на Ruby. В отличие от ChatGPT, обучим модель ответам по конкретному содержимому сайта.","type":"unstyled","key":"4rkqi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для этого используем массивы, известные в машинном обучении как векторные вложения. Вложение — это процесс преобразования фрагмента текста в массив чисел.","type":"unstyled","key":"ega86"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вот вектор — числовое представление значения, которое содержится в тексте:","type":"unstyled","key":"1doot"},{"data":{"image":{"id":"64848eae6d418274f985730d"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример векторного вложения","type":"atomic:image","key":"bpofs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"С помощью этих векторов при проведении семантического поиска в базе знаний отыскивается наиболее релевантная информация, затем применяется GPT-3 и на вопрос пользователя дается содержательный ответ.","type":"unstyled","key":"1j4fr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Слово «семантический» относится к смысловому значению языка. Если при поиске по ключевым словам в базе данных выявляются точные или частичные совпадения, то при семантическом поиске — совпадения по смысловому значению или сути вопроса.","type":"unstyled","key":"dgoja"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример:","type":"unstyled","key":"9qpuo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":6,"offset":0,"style":"ITALIC"}],"text":"Вопрос: «Как резать яблоки?»","type":"unstyled","key":"4g104"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":20,"offset":0,"style":"ITALIC"}],"text":"Статья базы знаний 1: «Чтобы очистить апельсин, сначала нужно взять машинку для очистки апельсинов».","type":"unstyled","key":"2fib"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":20,"offset":0,"style":"ITALIC"}],"text":"Статья базы знаний 2: «Чтобы нарезать яблоко, сначала нужно взять острый нож».","type":"unstyled","key":"3co20"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"При семантическом поиске как наиболее релевантная вернется статья базы знаний 2. Такой поиск достаточно интеллектуален, чтобы «понимать», что «резать» и «нарезать» семантически близки. В основе этого понимания — довольно сложная математика.","type":"unstyled","key":"er73j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы реализовать семантический поиск в приложении, нужно преобразовать текст в векторные вложения.","type":"unstyled","key":"21dvr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В GPT-3 имеется конечная точка вложения, ею текст преобразуется в вектор из 1500 значений, каждое из которых — какой-то признак текста.","type":"unstyled","key":"dhvv0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вот признаки, которые могут быть в векторном вложении:","type":"unstyled","key":"3rh83"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Семантическое значение.","type":"ordered-list-item","key":"4q2qn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Части речи.","type":"ordered-list-item","key":"a15mf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Частота использования.","type":"ordered-list-item","key":"6kckn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ассоциации с другими словами.","type":"ordered-list-item","key":"aq8ic"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Грамматическая структура.","type":"ordered-list-item","key":"4k0l1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Тональность.","type":"ordered-list-item","key":"i4nn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Длина текста.","type":"ordered-list-item","key":"6chga"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В GPT-3 имеются ограничения по токенам, поэтому базу знаний разбиваем на фрагменты всего не более 3000 токенов или 2000 слов. Каждый фрагмент преобразуется в вектор и сохраняется в БД доступным для поиска.","type":"unstyled","key":"3gvom"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Задаваемый пользователем вопрос тоже преобразуется в вектор, который в ходе определенного математического процесса задействуется для поиска в БД фрагмента базы знаний с наиболее релевантным значением.","type":"unstyled","key":"cdcad"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этот фрагмент и вопрос отправляются в GPT-3, откуда выдается содержательный ответ.","type":"unstyled","key":"503kt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Описание процесса","type":"header-three","key":"95de6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В базе знаний вопросов и ответов будет два скрипта на Ruby: embeddings.rb для подготовки векторных вложений и скрипт ИИ questions.rb.","type":"unstyled","key":"7qh7d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вот этапы создания ИИ вопросов и ответов:","type":"unstyled","key":"4p07f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Разбиваем данные базы знаний на фрагменты по 2000 слов каждом и сохраняем в текстовом файле.","type":"ordered-list-item","key":"ealkh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Преобразуем каждый текстовый файл в векторное вложение с помощью конечной точки вложений OpenAI. [embeddings.rb]","type":"ordered-list-item","key":"4dbsf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сохраняем в БД для последующих запросов вложения и исходный текст базы знаний. Базой данных будет CSV-файл. [embeddings.rb]","type":"ordered-list-item","key":"a43he"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Получаем пользовательский вопрос и преобразуем в его векторное вложение. [questions.rb]","type":"ordered-list-item","key":"dk2b0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сравниваем вектор вопроса по базе данных и находим текст базы знаний с ближайшим к вопросу семантическим значением. [questions.rb]","type":"ordered-list-item","key":"37uvf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Специальной подсказкой передаем пользовательский вопрос и текст базы знаний в конечную точку GPT-3 completions. [questions.rb]","type":"ordered-list-item","key":"egeee"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Получаем от GPT-3 ответ и показываем его пользователю. [questions.rb]","type":"ordered-list-item","key":"cfff0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 1. Подготовка данных","type":"header-three","key":"1i9re"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В GPT-3 подсказка и ответ вместе ограничены 4096 токенами, поэтому важно преобразовать данные базы знаний на фрагменты по 2000 слов. Нужно достаточно места для токенов вопроса и ответа.","type":"unstyled","key":"9qfvg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":3,"offset":67,"style":"ITALIC"},{"length":8,"offset":72,"style":"ITALIC"},{"length":20,"offset":83,"style":"ITALIC"}],"text":"По возможности создаем фрагменты с близким значением. На страницах FAQ, About Us и Terms and Conditions сайта Sterling Parts менее 1000-2000 слов, поэтому семантически имеет смысл поместить каждую из них в отдельный текстовый файл.","type":"unstyled","key":"deksk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В приложении на Ruby создаем папку training-data, в ней будет текст базы знаний для приложения:","type":"unstyled","key":"2mc92"},{"data":{"image":{"id":"64848eaee7e228426a72acbf"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Visual Studio с папкой training-data","type":"atomic:image","key":"cp6cg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Эти страницы сайта Sterling Parts сохранятся в стандартных файлах .txt:","type":"unstyled","key":"2r54p"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":37,"offset":0}],"inlineStyleRanges":[],"text":"https://www.sterlingparts.com.au/faqs;","type":"unordered-list-item","key":"bj4hk"},{"data":{},"depth":0,"entityRanges":[{"key":3,"length":41,"offset":0}],"inlineStyleRanges":[],"text":"https://www.sterlingparts.com.au/about-us;","type":"unordered-list-item","key":"dr53m"},{"data":{},"depth":0,"entityRanges":[{"key":4,"length":53,"offset":0}],"inlineStyleRanges":[],"text":"https://www.sterlingparts.com.au/Terms-and-Conditions.","type":"unordered-list-item","key":"efj17"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":20,"offset":9,"style":"ITALIC"}],"text":"Страница Terms and Conditions — самая большая, 2008 слов. Скопируйте и вставьте свой контент в текстовые файлы папки training-data. Названия неважны, главное — чтобы файлы были .txt:","type":"unstyled","key":"66m7e"},{"data":{"image":{"id":"64848eaed7291f01e9149d3e"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Данные базы знаний в текстовых файлах","type":"atomic:image","key":"era0q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 2. Преобразование данных в векторные вложения","type":"header-three","key":"5g0cb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для работы с API OpenAI потребуется ruby-openai, устанавливаем нужные библиотеки:","type":"unstyled","key":"a7vhs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"gem install ruby-openai dotenv","type":"blockquote","key":"5ehcn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сохраняем API-ключ OpenAI в файле .env.","type":"unstyled","key":"epsa6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Импортируем библиотеку openai и API-ключом создаем новый экземпляр:","type":"unstyled","key":"8tagc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# embeddings.rb\n\nrequire 'dotenv'\nrequire 'ruby/openai'\n\nDotenv.load()\n\nopenai = OpenAI::Client.new(access_token: ENV['OPENAI_API_KEY'])","type":"blockquote","key":"6tbro"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Далее — процесс извлечения всех данных из текстовых файлов. В Ruby проходится папка training-data, данные каждого текстового файла считываются и сохраняются в массиве:","type":"unstyled","key":"dp05i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# embeddings.rb\n\n# Данные каждого файла сохраняются в массиве\ntext_array = []\n\n# В папке /training-data перебираются все файлы .txt\nDir.glob(\"training-data/*.txt\") do |file|\n # Данные каждого файла считываются и добавляются в массив\n # В методе dump пробелы преобразуются в символы новой строки \\n\n text = File.read(file).dump()\n text_array << text\nend","type":"blockquote","key":"9ndn0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Все данные для обучения сохранены в text_array, преобразуем каждое тело текста в векторное вложение конечной точкой OpenAI embeddings, которой принимается два параметра: model в виде text-embedding-ada-002 и input в виде текста каждого файла:","type":"unstyled","key":"f82ud"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# embeddings.rb\n\n# Вложения сохраняются в этом массиве\nembedding_array = []\n\n# Перебирается каждый элемент массива\ntext_array.each do |text|\n # Текст передается в API вложений, откуда возвращается вектор и\n # сохраняется в переменной response.\n response = openai.embeddings(\n parameters: {\n model: \"text-embedding-ada-002\",\n input: text\n }\n )\n \n # Из объекта response извлекается вложение\n embedding = response['data'][0]['embedding']\n\n # Создается хеш Ruby, в котором содержатся вектор и исходный текст\n embedding_hash = {embedding: embedding, text: text}\n # Хеш сохраняется в массиве.\n embedding_array << embedding_hash\nend","type":"blockquote","key":"fmbkp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Выводим переменную embedding и видим вектор из 1500 значений. Это векторное вложение.","type":"unstyled","key":"8pli7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В embedding_array сохраняются значения векторных вложений и исходного текста, впоследствии сохраняемые в БД для целей семантического поиска.","type":"unstyled","key":"f1vre"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 3. Сохранение вложений в CSV, т. е. в БД","type":"header-three","key":"9mr50"},{"data":{},"depth":0,"entityRanges":[{"key":5,"length":17,"offset":190}],"inlineStyleRanges":[],"text":"Для целей этой статьи база данных заменяется CSV-файлом. У специализированных векторных БД очень эффективные алгоритмы семантического поиска. Для Ruby оптимальный инструмент — Redis с его векторным поиском.","type":"unstyled","key":"4tnqp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На этом этапе создается CSV-файл с двумя столбцами — embedding и text — для сохранения из каждого файла исходного текста с его векторным вложением.","type":"unstyled","key":"dn58d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Импортируем библиотеку csv:","type":"unstyled","key":"edb1s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# embeddings.rb\n\nrequire 'dotenv'\nrequire 'ruby/openai'\nrequire 'csv'","type":"blockquote","key":"a8th5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вот окончательный код для скрипта embeddings.rb, в нем создается CSV-файл с заголовками embedding и text, перебирается embedding_array, а соответствующие векторные вложения и текст сохраняются в CSV:","type":"unstyled","key":"1ccvg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"embeddings.rb\n\nCSV.open(\"embeddings.csv\", \"w\") do |csv|\n # Так задаются заголовки\n csv << [:embedding, :text]\n embedding_array.each do |obj|\n # Чтобы избежать ошибок с разделением запятыми между значениями в CSV,\n # вектор вложения сохраняется в виде строки\n csv << [obj[:embedding], obj[:text]]\n end\nend","type":"blockquote","key":"6b3mv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Дальше скрипт embeddings.rb запускается, CSV-файл заполняется данными:","type":"unstyled","key":"4j9j6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"ruby embeddings.rb","type":"blockquote","key":"captn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вот файловая структура после запуска:","type":"unstyled","key":"b0o3k"},{"data":{"image":{"id":"64848eae6d418274f985730e"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Файловая структура Visual Studio Code.","type":"atomic:image","key":"fe7md"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 4. Получение вопроса пользователя","type":"header-three","key":"d15bb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Переходим к Ruby-скрипту questions.rb. Это основной файл для запроса в CSV векторов вопроса пользователя. При выполнении возвращается исходный текст с наибольшим семантическим сходством и интеллектуальный ответ от GPT-3.","type":"unstyled","key":"d6btb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Он запускается в приложении Rails, и вопрос пользователя получается из текстового поля представления. Для простоты выполним все в CLI.","type":"unstyled","key":"3r7og"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Создаем файл questions.rb и импортируем нужную библиотеку:","type":"unstyled","key":"7g94h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# questions.rb\n\nrequire 'dotenv'\nrequire 'ruby/openai'\nrequire 'csv'\n\nDotenv.load()\n\nopenai = OpenAI::Client.new(access_token: ENV['OPENAI_API_KEY'])","type":"blockquote","key":"9eo4p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вопрос пользователя будет в запросе к базе знаний, поэтому:","type":"unstyled","key":"f37e8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# questions.rb\n\nputs \"Welcome to the Sterling Parts AI Knowledge Base. How can I help you?\"\nquestion = gets","type":"blockquote","key":"51j50"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"С помощью конечной точки OpenAI embeddings преобразуем вопрос пользователя в векторное вложение, чтобы потом математической формулой найти в файле embeddings.csv ближайший по сути и значению текст:","type":"unstyled","key":"bpop2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# questions.rb\n\n# Вопрос преобразуется в векторное вложение\nresponse = openai.embeddings(\n parameters: {\n model: \"text-embedding-ada-002\",\n input: question\n }\n)\n\n# Значение вложения извлекается\nquestion_embedding = response['data'][0]['embedding']","type":"blockquote","key":"311qj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Выводя вложение, увидим массив из 1500 значений. Это векторное вложение.","type":"unstyled","key":"6gnqf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 5. Поиск в CSV текста с ближайшим к вопросу семантическим значением","type":"header-three","key":"97c27"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь применяется косинусное сходство, им в машинном обучении определяется близость двух векторов. Это легко изобразить в двух измерениях на графике, поскольку у вектора два значения:","type":"unstyled","key":"h8sh"},{"data":{"image":{"id":"64848eae6d418274f985730f"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Источник","type":"atomic:image","key":"f0oo4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Косинусным сходством определяется отношение двух векторов. Его значение варьируется между 0 и 1, где 1 — идентичные векторы.","type":"unstyled","key":"249l9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В векторных вложениях у векторов 1500 значений. Визуально представить это невозможно, тем не менее по косинусному сходству компьютером определяется, в каком текстовом файле содержатся ближайшие к вопросу пользователя смысловые значения.","type":"unstyled","key":"budks"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"С библиотекой Ruby cosine-similarity нет необходимости понимать внутренние механизмы выполняемых вычислений:","type":"unstyled","key":"8l882"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"gem install cosine-similarity","type":"blockquote","key":"3tmo2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Импортируем библиотеку вверху файла questions.rb:","type":"unstyled","key":"kgq7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# questions.rb\n\nrequire 'dotenv'\nrequire 'ruby/openai'\nrequire 'csv'\nrequire 'cosine-similarity'","type":"blockquote","key":"eaib5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Дальше перебираем все строки CSV-файла и сравниваем вектор вопроса с векторами исходного текста. В методе cosine_similarity вопрос сравнивается с каждым исходным текстом, возвращается число от 0 до 1.","type":"unstyled","key":"8j0m6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Интересует сходство с наибольшим значением. Это текст, ближайший к вопросу по сути и значению:","type":"unstyled","key":"267pe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# questions.rb\n\n# По мере прохождения CSV в коде, показатели сходства сохраняются\nsimilarity_array = []\n\n# Проходится CSV, вычисляется косинусное сходство между\n# вектором вопроса и вложением каждого текста\nCSV.foreach(\"embeddings.csv\", headers: true) do |row|\n # Вложение извлекается из столбца, выполняется его парсинг в массив\n text_embedding = JSON.parse(row['embedding'])\n\n # В массив добавляется показатель сходства\n similarity_array << cosine_similarity(question_embedding, text_embedding)\nend\n\n# Возвращается индекс наивысшего показателя сходства\nindex_of_max = similarity_array.index(similarity_array.max)","type":"blockquote","key":"524bl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В переменной index_of_max теперь содержится индекс наивысшего показателя сходства. Им из CSV извлекается текст, который с вопросом пользователя отправляется в GPT-3:","type":"unstyled","key":"egpr0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# questions.rb\n\n# Так сохраняется исходный текст\noriginal_text = \"\"\n\n# Проходится CSV, находится текст с наивысшим\n# показателем сходства\nCSV.foreach(\"embeddings.csv\", headers: true).with_index do |row, rowno|\n if rowno == index_of_max\n original_text = row['text']\n end\nend","type":"blockquote","key":"51a9e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 6. Передача пользовательского вопроса и текста базы знаний в конечную точку GPT-3 completions","type":"header-three","key":"2bmq9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Остаемся с файлом questions.rb. В скрипте теперь хранятся вопрос пользователя question и исходный текст original_text, ближайшие друг к другу по значению. Чтобы получить на вопрос пользователя интеллектуальный ответ, передадим эту информацию в конечную точку GPT-3 completions.","type":"unstyled","key":"8u82p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Специальной подсказкой GPT-3 подводится к тому, чтобы отвечать должным образом, соответственно вопросу пользователя и назначению базы знаний. Это делается в рамках структуры подсказки:","type":"unstyled","key":"5jgvl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"prompt = \n\"You are an AI assistant. You work for Sterling Parts which is a car parts \nonline store located in Australia. You will be asked questions from a \ncustomer and will answer in a helpful and friendly manner.\n\nYou will be provided company information from Sterline Parts under the \n[Article] section. The customer question will be provided unders the \n[Question] section. You will answer the customers questions based on the \narticle.\n\nIf the users question is not answered by the article you will respond with \n'I'm sorry I don't know.'\n\n[Article]\n#{original_text}\n\n[Question]\n#{question}\"","type":"blockquote","key":"a02gg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В хорошей подсказке достаточно информации для формирования шаблона ответа. В первом абзаце GPT подводится к тому, как отвечать на вопрос пользователя, а во втором — дается контекст для определения информации, используемой GPT в ответе. В нижней части из предыдущих этапов вставляются original_text и question.","type":"unstyled","key":"sdsd"},{"data":{},"depth":0,"entityRanges":[{"key":6,"length":26,"offset":97}],"inlineStyleRanges":[],"text":"Если от GPT лучшего ответа не поступает, стоит поменять подсказку и поэкспериментировать с ней в интерактивной среде OpenAI.","type":"unstyled","key":"4v3jv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Дальше, чтобы получить интеллектуальный ответ, подсказка передается в конечную точку GPT completions:","type":"unstyled","key":"48ak4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"response = openai.completions(\n parameters: {\n model: \"text-davinci-003\",\n prompt: prompt,\n temperature: 0.2,\n max_tokens: 500,\n }\n)","type":"blockquote","key":"b4iqf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Температура в коде низкая, а значит, от GPT вернется наиболее вероятный ответ. Хотите от GPT более творческого подхода к ответам? Увеличьте ее до 0,9.","type":"unstyled","key":"6qjh7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ответ в этой конечной точке сгенерируется за секунды — в зависимости от нагрузки сервера.","type":"unstyled","key":"dqjgi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этап 7. Получение ответа от GPT-3 и отображение его для пользователя","type":"header-three","key":"e42jc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В конце выводим ответ GPT для пользователя:","type":"unstyled","key":"159vm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"puts \"\\nAI response:\\n\"\nputs response['choices'][0]['text'].lstrip","type":"blockquote","key":"150p1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Скрипт завершен.","type":"unstyled","key":"fdre5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Отладка ответа","type":"header-three","key":"4kmnn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Почему от GPT возвращается неудовлетворительный ответ. Три фактора:","type":"unstyled","key":"274jv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Подготовка данных.","type":"ordered-list-item","key":"cl20p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Структура подсказки.","type":"ordered-list-item","key":"1sl0r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Параметр температуры.","type":"ordered-list-item","key":"68n3v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":17,"offset":0,"style":"ITALIC"}],"text":"Подготовка данных","type":"header-three","key":"80pph"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"По возможности создавайте каждый файл содержащим близкое значение. Если файл обрывается в середине предложения и следующий возобновляется на полпути, это чревато проблемой поиска точного текста для передачи в GPT.","type":"unstyled","key":"5vimf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы доработать поиск сходства, разбейте их на мелкие, сгруппированные по значению тексты.","type":"unstyled","key":"69go3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":19,"offset":0,"style":"ITALIC"}],"text":"Структура подсказки","type":"header-three","key":"amvln"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь нужна практика, метод проб и ошибок вне конкуренции.","type":"unstyled","key":"6gqip"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чем яснее и однозначнее подсказка, тем адекватнее вашим задачам генерируемые в GPT результаты.","type":"unstyled","key":"669qn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":20,"offset":0,"style":"ITALIC"}],"text":"Параметр температуры","type":"header-three","key":"bst6v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если вкратце, температурой определяется случайность или «креативность» модели: при низкой температуре ответы ожидаемые, при высокой к ним более творческий подход. Чтобы получить результаты под свои задачи, поэкспериментируйте с этим параметром.","type":"unstyled","key":"c1g6q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Доработка модели","type":"header-three","key":"8js67"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В специфических ситуациях, чтобы получать адекватные базе знаний и пользователям ответы, требуется дообучение модели.","type":"unstyled","key":"dh29r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Имеется ряд подходов, которые сводятся к встроенной подводке и тонкой настройке.","type":"unstyled","key":"ek0qt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Встроенная подводка заключается в приведении в подсказке примеров вопросов и ответов, например, для получения от GPT ответов в конкретном формате или определенным способом. Я часто применяю этот подход, когда нужен ответ в JSON.","type":"unstyled","key":"8ijil"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Тонкая настройка — совершенно иной подход, применяемый для обучения собственной GPT-модели задачам, которым она ранее не обучалась. Например, задавать ей вопросы, нацеленные на извлечение конкретной информации.","type":"unstyled","key":"fd5fh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Читайте также:","type":"unstyled","key":"5hfh4"},{"data":{},"depth":0,"entityRanges":[{"key":7,"length":50,"offset":0},{"key":8,"length":11,"offset":50},{"key":9,"length":50,"offset":61}],"inlineStyleRanges":[],"text":"Как я создал расширение браузера и обучил ChatGPT обращаться к внешним сайтам за информацией о текущих событиях","type":"unordered-list-item","key":"bqir8"},{"data":{},"depth":0,"entityRanges":[{"key":10,"length":17,"offset":0}],"inlineStyleRanges":[],"text":"Как работает GPT3","type":"unordered-list-item","key":"41u59"},{"data":{},"depth":0,"entityRanges":[{"key":11,"length":56,"offset":0}],"inlineStyleRanges":[],"text":"Раскройте потенциал VS Code для программирования на Ruby","type":"unordered-list-item","key":"ceapu"},{"data":{},"depth":0,"entityRanges":[{"key":12,"length":8,"offset":14},{"key":13,"length":2,"offset":24}],"inlineStyleRanges":[],"text":"Читайте нас в Telegram, VK","type":"unstyled","key":"e3f4s"},{"data":{},"depth":0,"entityRanges":[{"key":14,"length":11,"offset":15},{"key":15,"length":66,"offset":28}],"inlineStyleRanges":[{"length":15,"offset":0,"style":"ITALIC"}],"text":"Перевод статьи Kane Hooper: Creating an Intelligent Knowledge Base Q&A App with GPT-3 and Ruby","type":"unstyled","key":"bj4qp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"DHbXRxEoifWOewQZD2ZW"}],"entityMap":{"11":{"data":{"href":"https://nuancesprog.ru/p/17348/","url":"https://nuancesprog.ru/p/17348/"},"mutability":"MUTABLE","type":"LINK"},"12":{"data":{"href":"https://t.me/nuancesprog","url":"https://t.me/nuancesprog"},"mutability":"MUTABLE","type":"LINK"},"13":{"data":{"href":"https://vk.com/nuancesprog","url":"https://vk.com/nuancesprog"},"mutability":"MUTABLE","type":"LINK"},"14":{"data":{"href":"https://medium.com/@kane.hooper?source=post_page-----646744eb6e4--------------------------------","url":"https://medium.com/@kane.hooper?source=post_page-----646744eb6e4--------------------------------"},"mutability":"MUTABLE","type":"LINK"},"15":{"data":{"href":"https://ai.plainenglish.io/creating-an-intelligent-knowledge-base-q-a-app-with-gpt-3-and-ruby-646744eb6e4","url":"https://ai.plainenglish.io/creating-an-intelligent-knowledge-base-q-a-app-with-gpt-3-and-ruby-646744eb6e4"},"mutability":"MUTABLE","type":"LINK"},"0":{"data":{"url":"https://nuancesprog.ru/p/17666/"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"href":"https://github.com/reinteractive/gpt3-embeddings","url":"https://github.com/reinteractive/gpt3-embeddings"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"href":"https://www.sterlingparts.com.au/faqs","url":"https://www.sterlingparts.com.au/faqs"},"mutability":"MUTABLE","type":"LINK"},"3":{"data":{"href":"https://www.sterlingparts.com.au/about-us","url":"https://www.sterlingparts.com.au/about-us"},"mutability":"MUTABLE","type":"LINK"},"4":{"data":{"href":"https://www.sterlingparts.com.au/Terms-and-Conditions","url":"https://www.sterlingparts.com.au/Terms-and-Conditions"},"mutability":"MUTABLE","type":"LINK"},"5":{"data":{"href":"https://redis.com/blog/rediscover-redis-for-vector-similarity-search/","url":"https://redis.com/blog/rediscover-redis-for-vector-similarity-search/"},"mutability":"MUTABLE","type":"LINK"},"6":{"data":{"href":"https://platform.openai.com/playground","url":"https://platform.openai.com/playground"},"mutability":"MUTABLE","type":"LINK"},"7":{"data":{"href":"https://nuancesprog.ru/wp-admin/post.php?post=17402&action=edit","url":"https://nuancesprog.ru/wp-admin/post.php?post=17402&action=edit"},"mutability":"MUTABLE","type":"LINK"},"8":{"data":{"href":"https://nuancesprog.ru/p/17402/","url":"https://nuancesprog.ru/p/17402/"},"mutability":"MUTABLE","type":"LINK"},"9":{"data":{"href":"https://nuancesprog.ru/wp-admin/post.php?post=17402&action=edit","url":"https://nuancesprog.ru/wp-admin/post.php?post=17402&action=edit"},"mutability":"MUTABLE","type":"LINK"},"10":{"data":{"href":"https://nuancesprog.ru/p/9207/","url":"https://nuancesprog.ru/p/9207/"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}