{"draftJsState":{"blocks":[{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":23,"offset":309,"style":"ITALIC"},{"length":39,"offset":497,"style":"BOLD"}],"text":"Облачные Large Language Model (LLM) в 2025 достигли гигантских размеров - сотни миллиардов параметров, останавливаться не собираются и скоро перерастут триллионы. Они умеют больше, чем только работать с текстом. Картинки рисуют, распознают, перерисовывают, пальцы на руках научились пересчитывать, генерируют уже прям неплохие видео, отлично нарушают авторские права (а может и нет). А начиналось с каких-то лавкрафтово-кислотных галлюцинаций, но сегодня речь не о них. Сегодня мы поговорим о том, как, а главное, зачем селфхостить LLM.","type":"unstyled","key":"frajo"},{"data":{"image":{"id":"6820e1e6fa08a16bed0efa34"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Зачем? Затем.","type":"atomic:image","key":"abg5j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Использование облачных LLM сопряжено со следующими ограничениями:","type":"unstyled","key":"d4m9k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":17,"offset":0,"style":"BOLD"}],"text":"Стоимость токенов. Облачные нейронки - бизнес, а бизнес - про зарабатывание денег. Так что либо подписка, которая включает в себя N токенов генерации текста, либо... Помните фразу - \"если долго смотреть в бездну, бездна начнёт вглядываться в тебя?\". Вот с бесплатными нейронками всё то же самое. Всё что вы в неё писали - будет использовано. Не факт, что сейчас, может ещё не придумали как и зачем использовать. Данные же новая нефть, все дела. Можно рекламу точнее вбрасывать, можно на них дообучать модели.","type":"unordered-list-item","key":"dfd34"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":35,"offset":0,"style":"BOLD"}],"text":"Зависимость от чужой инфраструктуры. Сегодня можно, а завтра будет уже нельзя, причём по причинам от вас не зависящим. Или станет существенно дороже. А привычка-то уже появилась.","type":"unordered-list-item","key":"7u7sa"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Локальные LLM сохраняют способность к имитации мыслительного процесса, хоть они и в десятки или даже в сотни раз компактнее облачных гигантов. За счёт этого достигается отличие в системных требованиях: если облачные LLM используют кластеры из тысяч GPU, NPU, TPU (странно, что ТСПУ под это дело ещё не задействовали), то некоторым локальным LLM для работы достаточно одной видеокарты потребительского уровня. Качество в сравнении с облачными моделями, разумеется, хуже, но не значительно. Но мы и не собираемся науку делать и лекарства от рака открывать. Локальные модели демонстрируют 60% качества облачных решений, для повседневных сценариев, вроде структурирования заметок или подсказок по работе в тех местах, где есть пробелы в знаниях. Иногда этого достаточно.","type":"unstyled","key":"6lksc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Однако, размерность важна. Качество ответов модели растёт чуть ли экспоненциально.","type":"unstyled","key":"fidng"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Какая-то 1.5b нейронка-кодер откровенно бредила и генерировала портянки несвязанного с вопросом шлака.","type":"unordered-list-item","key":"4tst3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":14,"offset":3,"style":"ITALIC"},{"length":12,"offset":156,"style":"ITALIC"}],"text":"От deepseek-r1:8b я плевался из-за того, что он придумывал слова, периодически скатывался в другие языки и в целом больше отнимал времени, чем экономил, - opencoder:8b перепечатывал код, вообще без изменений, но иногда отжигал - отвечал что-то в духе \"Хорошо, вот исправленная версия функции, которая теперь делает XX\". И всё. Функцию он не давал.","type":"unordered-list-item","key":"1v6q7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":17,"offset":6,"style":"ITALIC"},{"length":4,"offset":80,"style":"ITALIC"}],"text":"А вот mistral-small:22b меня прям радует. Недавно узнал, что в мою видеокарту и :24b влезают, но пока толком не опробовал и значимой разницы не заметил.","type":"unordered-list-item","key":"d97ac"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сразу сделаю ремарку: сейчас я редко использую нейронки для помощи в программировании. Своими руками получается быстрее в 95% случаев. Cursor AI не трогал, Zed установил, но не разобрался. Но есть лайфхак. Если не справилась нейронка, то хорошо сочинённый промпт можно вставить в облачный сервис под названием рабочий таск-трэкер... Шутки-шутками, а формирование качественных промптов слабо отличается от качественного техзадания для людей. Вы получите больше выхлопа от работы с LLM, если у вас развиты навыки передачи информации через текст. И наоборот, повозившись с постановкой задач нейронкам, вам будет проще ставить задачи людям.","type":"unstyled","key":"a7bnv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Экономика","type":"header-two","key":"dooro"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Время","type":"header-three","key":"1pjo6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"LLM, размером в 22-24 миллиарда параметров, размещённая целиком в VRAM, генерирует около 15 токенов/сек. Этого достаточно, чтобы дождаться ответа, не переключая внимание на что-то другое.","type":"unordered-list-item","key":"b472b"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"LLM размером в 8 миллиардов параметров на моей системе выдают около 45 токенов/сек, но получается херня.","type":"unordered-list-item","key":"d5srr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":10,"offset":91,"style":"ITALIC"}],"text":"Добиться эффективной работы LLM ни целиком на CPU + RAM, ни с частичным offload на CPU мне не удалось (экспериментировал с моделями побольше). Экономически это кажется неэффективным: процессор сильно перегревается, кажется, долго не протянет, а выдаёт при этом всего 1-2 токена в секунду. Я использую Ryzen 5700X, но 5950X выглядит неплохим вариантом - 16 ядер по 3.4GHz за 35 000₽, AM4 сокет означает низкую цену на остальные компоненты, потенциально устраняет бутылочное горлышко объёма VRAM, 105Вт TDP легко охладить – в теории можно замахнуться на модели больше 32b параметров и надеяться на скорость ≈5 токенов/сек. Если метить на AM5 - AMD 9950X за 60000₽ выглядит неплохим вариантом, но подозреваю прирост от дополнительных 1.3GHz составит один токен в секунду.","type":"unordered-list-item","key":"d63oh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Скорость локальных LLM далека от идеала. Пока LLM генерирует текст, используйте время с пользой. Сделайте то, с чем компьютер не поможет - вынесите мусор, погуляйте, пообедайте, поиграйте с котом.","type":"unstyled","key":"624uk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Автоматизация рутинных задач с помощью нейронок или иначе экономит время ежедневно. Перед тем как браться что-то автоматизировать - измерьте это. Может после автоматизации вы начнёте тратить на тот же объём работы ещё больше времени, а будет казаться - \"о, круто, стало быстрее\". Скорость важна, но важна скорость выполнения вашей работы, а не генерации каких-то токенов. Вы ведь не абстрактные токены генерируете.","type":"unstyled","key":"3t544"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Капитальные вложения","type":"header-three","key":"6ntni"},{"data":{"image":{"id":"6821614f4d6fd121c15bb072"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Моя рабочая станция, на которой работает ollama, даже не является полноценным ATX: всё влезло в Node Fractal 304. Отличия от перечисленных минималок – 64гб оперативной памяти и NVMe для PCI-E 3.0, который никак не дойдут руки проапгрейдить.","type":"atomic:image","key":"662s3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"CAPEX на рабочую станцию для 24B-моделей начинается в районе 140 000 рублей:","type":"unstyled","key":"8k0r8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":10,"offset":0,"style":"BOLD"}],"text":"Видеокарта с 16Gb VRAM (RTX4060Ti 16Gb - 50 000 ₽) - для меня это показалось золотой серединой и приемлемой инвестицией,","type":"unordered-list-item","key":"8co94"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":3,"offset":0,"style":"BOLD"}],"text":"CPU с поддержкой PCI-E 4.0 (AMD Ryzen 5700X, 3.4GHz x 8 ядер, L3 32Mb, 12 000 ₽) - если видеокарта работает правильно, нагрузка на CPU будет практически нулевой и можно брать ещё более простой процессор. В режиме PCI-E 3.0 оно тоже будет работать и не сильно хуже, пропускная способность играет роль, похоже, только в момент загрузки модели в память.","type":"unordered-list-item","key":"eps56"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":3,"offset":31,"style":"BOLD"},{"length":2,"offset":116,"style":"ITALIC"}],"text":"16GB DDR4 или выше (10 000 ₽), RAM мало не бывает, но если модель целиком влезает в видеокарту - оперативная память не используется, частота тоже не имеет большого значения. Но меньше в 2025 уже как-то несолидно.","type":"unordered-list-item","key":"a2o9b"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":15,"offset":0,"style":"BOLD"}],"text":"NVMe-накопитель на 2TB с поддержкой PCI-E 4.0 (15 000 ₽). Модели весят много, при экспериментах вы запросто израсходуете 300Gb под них. Ждать пока она загрузится с диска иногда раздражает. Ollama [3] позволяет удерживать модель в памяти между запусками, то есть при повторных вызовах вас это не будет сильно напрягать, но задержка при холодном старте иногда раздражает.","type":"unordered-list-item","key":"dtibi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Остальное - монитор, клавиатура, охлаждение, корпус и блок питания имеют меньшее значение, но всё равно стоят денег. Поэтому лучшее, что можно сделать - воспользоваться уже имеющимся оборудованием (если у вас не ноутбук) и провести небольшой апгрейд, начиная с видеокарты. Ежемесячная подписка на GPT-4 с аналогичной нагрузкой обойдётся дешевле хоть в короткой, хоть в долгой перспективе (а Deepseek и вовсе бесплатен), даже с учётом оплаты через посредников, но мы покупаем конфиденциальность, которую OpenAI не продаёт.","type":"unstyled","key":"3l7tm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Итак, как и какую видеокарту выбрать? Составьте формулу из важных вам параметров. Самое простое объём VRAM на рубль. Можно вписать туда CUDA ядра (я не ощутил значимого прироста после увеличения их числа с ~3000 до ~4300), можно потребление электричества, это уж ваше дело, но основным показателем остаётся VRAM.","type":"unstyled","key":"8sr1p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пробежимся по 40й серии NVidia RTX и посмотрим, что они позволяют запустить. Я для себя вывел формулу потребления VRAM для запуска LLM-моделей в ollama: размер на диске / 0.85, но она эвристическая и неточная.","type":"unstyled","key":"cmh5l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":8,"offset":0,"style":"BOLD"}],"text":"8GB VRAM, RTX 4060 ≈35 000 ₽, модели с 8B параметров.","type":"unordered-list-item","key":"9co03"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":9,"offset":0,"style":"BOLD"},{"length":1,"offset":10,"style":"BOLD"}],"text":"12GB VRAM, RTX 4070 Ti ≈120 000 ₽, модели с 14B параметров.","type":"unordered-list-item","key":"c4jj0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":9,"offset":0,"style":"BOLD"}],"text":"16GB VRAM, RTX 4060 Ti ≈50 000 ₽, RTX 4080 ≈150 000 ₽, - модели с 24B параметров.","type":"unordered-list-item","key":"g9q4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":9,"offset":0,"style":"BOLD"}],"text":"24GB VRAM, RTX 4090 ≈250 000 ₽ - это что-то для богатых, сам не щупал, но в теории позволит загружать 32B модели.","type":"unordered-list-item","key":"ct47c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что точно не стоит покупать для запуска локальных LLM:","type":"unstyled","key":"6vi9u"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":16,"offset":0,"style":"BOLD"}],"text":"RTX4060Ti на 8Gb, разницы с обычной RTX4060 (мне её не хватило) не ощутите, а разница в цене с версией RTX4060Ti на 16Gb – незначительна.","type":"unstyled","key":"1424a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":25,"offset":0,"style":"ITALIC"}],"text":"-- вы находитесь здесь --","type":"unstyled","key":"4q1qj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":17,"offset":0,"style":"BOLD"}],"text":"RTX4070Ti на 12Gb экономически выгодна только если уже есть в наличии.","type":"unstyled","key":"ej1ui"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":15,"offset":0,"style":"BOLD"}],"text":"RTX5090 на 32Gb за 300 000 ₽ звучит как что-то недостижимое, при этом я не уверен, что она когда-либо окупится.","type":"unstyled","key":"31i89"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":2,"offset":7,"style":"ITALIC"}],"text":"Чего я не знаю:","type":"unstyled","key":"blcqd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как дела у AMD.","type":"unordered-list-item","key":"98lfv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что с 30й и 50й серией видеокарт от NVidia. 3060 на 12Gb кажется +/- привлекательной для старта, но мне 14b модели показались недостаточными.","type":"unordered-list-item","key":"edrf6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как работают системы с несколькими видеокартами (NVLink, SLI).","type":"unordered-list-item","key":"5upg1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как дела со старыми промышленными видеокартами без видеовыхода с хорошим запасом памяти и ценником в 12-13к на маркетплейсах. Но очень интересно, если пробовали собирать думающую машину из них - поделитесь опытом в комментах, мне это правда очень интересно (как и предыдущий пункт).","type":"unordered-list-item","key":"3421f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Операционные расходы","type":"header-three","key":"c9j9o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"OPEX рассчитывается исходя из энергопотребления и амортизации.","type":"unstyled","key":"ee86m"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Типовая конфигурация потребляет около 300-400 Вт под нагрузкой:","type":"unstyled","key":"ekt9u"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"GPU — 160-200W,","type":"unordered-list-item","key":"9puem"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"CPU — 65-100W,","type":"unordered-list-item","key":"388ag"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"периферия — 55W","type":"unordered-list-item","key":"1gg58"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"и значительно меньше в простое. Выйдет около 500 рублей в месяц, но у вас и так компьютер скорее всего круглосуточно включен, а ручное решение рутинных задач - тоже требует электричества. Настройка автоматического ухода в спящий режим и выключения монитора через 30 минут бездействия значительно сэкономит расход электричества.","type":"unstyled","key":"9q6i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"При сравнении энергопотребления с решением задачи без LLM сравнивать надо не отсутствие решения задачи, а реальное ручное решение – сколько бы времени занял такой же результат.","type":"unstyled","key":"74gq5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Рабочая лошадка","type":"header-two","key":"5998t"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Локальные LLM стоит рассматривать как инструмент, а не игрушку. Лучше сперва найти проблему, которую не удаётся решить другим путём, чем натягивать сову на глобус, а потом разочаровываться. Перечислю, где мне удалось добиться успехов в использовании LLM.","type":"unstyled","key":"1ec0p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Работа с диктофонными заметками","type":"header-three","key":"5u7tg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если коротко - у меня не всегда есть возможность записать важную мысль, руки могут быть заняты, втыкать в телефон может быть некогда, ручка и блокнот - тоже долго. Я откладываю это на потом, а потом перекладываю на плечи нейронки. Бубню всякое в небольшой диктофон стоимостью в 2000 рублей. Вечером подключаю его к компьютеру, запускаю скрипт, получаю в Obsidian папку с оригиналами заметок (аудио, WAV) и транскрипциями (текст, markdown), сделанными с помощью Vosk [2]. Очень удобно, особенно на встречах с ремонтниками, мебельщиками, которые говорят чуть-чуть на другом языке. От оригиналов не спешу избавляться, словаря со специфическим сленгом для него я ещё не насобирал, так что порой приходится разбираться с его галлюцинациями.","type":"unstyled","key":"2ui3f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что в этой схеме делают LLM?","type":"unstyled","key":"15mgj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Исправляют за Vosk очевидные ошибки.","type":"unordered-list-item","key":"eem6t"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Расставляют пунктуацию, рассогласование пола и времени, итд.","type":"unordered-list-item","key":"e0peo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Классифицируют заметку, придумывая для неё название. Ту же самую классификацию я применяю и к другим источникам заметок.","type":"unordered-list-item","key":"c5nba"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Обнаруживают среди текста дела, которые надо добавить в планировщик.","type":"unordered-list-item","key":"8khl3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После обработки LLM такая заметка всё равно проходит через ручную обработку, иногда приходится подглядывать на оригинал, распознанный Vosk'ом, иногда - прослушать аудиофайл, но это всё равно быстрее, чем расшифровывать их целиком вручную. В случае, когда вся заметка - это напоминание что-то сделать, иногда проще сделать и удалить.","type":"unstyled","key":"7vd3t"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":25,"offset":0,"style":"BOLD"},{"length":13,"offset":48,"style":"ITALIC"}],"text":"Зачем мне вообще всё это? Я люблю, когда у меня пустая голова. Мне так спится лучше. Когда-нибудь напишу об этом отдельную статью с краткой исторической справкой о том, как я к этому пришёл.","type":"unstyled","key":"4bfhc"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":43,"offset":34}],"inlineStyleRanges":[],"text":"Чуть подробнее о speech-to-text в моей статье про инвентаризацию холодильника.","type":"unstyled","key":"81nqr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вычитка статей","type":"header-three","key":"cc25v"},{"data":{},"depth":0,"entityRanges":[{"key":1,"length":17,"offset":11}],"inlineStyleRanges":[{"length":13,"offset":54,"style":"ITALIC"}],"text":"LLM хорошо ищут противоречия, которые другим способом автоматически не обнаружить. glvrd.ru – это очень крутой сервис для подготовки текстов, но он сфокусирован на стиле, логика ему не подвластна. Живого человека я бы задолбал по пять раз мои портянки перечитывать, а тут условно-бесплатный корректор. Обычно при подготовке статьи к публикации прохожу через промпт:","type":"unstyled","key":"3viv0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ты главный редактор цифрового издательского агентства. Прочитай статью о <тема статьи>. Она рассчитана на <целевая аудитория>. Найди пять недочётов или противоречий, которые нужно исправить.","type":"blockquote","key":"74p6q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"<текст статьи>","type":"blockquote","key":"34cnv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Два-три перечисленных противоречия исправляю, закидываю заново, исправляю, закидываю – около трёх таких итераций значительно улучшают статью.","type":"unstyled","key":"crnn9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Помощь с резюме","type":"header-three","key":"626qd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это уже я начал размахивать молотком в руках, видя по всём незабитые гвозди.","type":"unstyled","key":"dvejf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":8,"offset":249,"style":"ITALIC"}],"text":"Иногда я помогаю знакомым айтишникам причесать свои резюме или анкеты для внутренних аттестаций (грейдирований) в их компаниях перед отправкой. Я не добавляю им каких-либо достижений, не насыпаю от души баззвордов. Я вообще ничего не добавляю сам - я удаляю. Тяжело представить, насколько распространён в айти синдром самозванца. Люди, которые делают крутые вещи - не уверены в себе. Они очень неуверенно описывают свои достижения. Это заметно настолько, что нейронка хорошо справляется с первичным исправлением, а я так - косяки форматирования исправляю и изредко за нейронкой подправляю.","type":"unstyled","key":"86r2u"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":8,"offset":70,"style":"ITALIC"}],"text":"В процессе работы над резюме я придерживаюсь одного важного принципа: не врать. Враньё почти всегда вскрывается в процессе личной беседы. Я сам провожу грейдирования, через меня прошли около 15 человек за последние полгода. До этого я прособеседовал около 40 разработчиков. Враньё всегда всплывает. Говорят сейчас люди с нейронками наперевес хакают найм, их я решительно осуждаю. А помочь хорошим людям хорошо написать, какие они хорошие - на мой взгляд не зазорно. Мне, как интервьюеру очень приятно читать хорошо подготовленный текст и по нему я слагаю первое впечатление о человеке. От первого впечатления многое зависит, хорошее резюме или анкета дают +30% к успеху на мой взгляд.","type":"unstyled","key":"aaan3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Диетология","type":"header-three","key":"dt8ub"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Я скормил описание маминых болячек и рекомендации её врачей локальной LLM для контекста и теперь, когда она жалуется, что не знает, что ей поесть, потому что \"проклятые врачи всё запретили\" - сперва успокаиваю, выражаю сопереживание, а когда она успокаивается, предлагаю придумать чего-нибудь. И блин, нейронка тот ещё диетолог + повар. Оно офигенно умеет подбирать и адаптировать рецепты с учётом введённых ограничений. Живого нутрициолога я бы задолбал. У меня у самого не хватает фантазии. А mistral справляется и справляется неплохо. Приемлемо ли для меня было бы загружать эту информацию в облако? Разумеется нет. В свою видеокарту - пожалуйста.","type":"unstyled","key":"3ugqn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Развёртывание LLM дома. Техника.","type":"header-two","key":"doton"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"\"Лень\" видеокарты после пробуждения","type":"header-three","key":"f9sbf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Моя основная проблема при использовании связки Linux + NVidia RTX 4060 Ti + Ollama - выход из спящего режима. После него в адаптивном режиме энергопотребления видеокарта работает в режиме PCI-E 1.0, ollama смотрит на это и решает, что она уж лучше на CPU поработает. И начинает нещадно тормозить. Решаю так:","type":"unstyled","key":"7s7b8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"#!/bin/bash","type":"blockquote","key":"ei5b6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"set -euEx","type":"blockquote","key":"25fts"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# номер PCI-слота подсмотрел в выводе lspci.","type":"blockquote","key":"8ce1c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"read mode < /sys/bus/pci/devices/0000:09:00.0/current_link_speed","type":"blockquote","key":"588q9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"# к чему условности: бесит вводить sudo-password лишний раз, когда всё и так нормально работает","type":"blockquote","key":"eh1ch"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"if [ \"$mode\" = '2.5 GT/s PCIe' ]; then","type":"blockquote","key":"k2f3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" sudo systemctl stop ollama","type":"blockquote","key":"av5o4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" sudo rmmod nvidia_uvm","type":"blockquote","key":"d5ile"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" sudo modprobe nvidia_uvm","type":"blockquote","key":"6tns1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" nvidia-settings -a \"[gpu:0]/GpuPowerMizerMode=1\" ","type":"blockquote","key":"c36u9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" sudo systemctl start ollama","type":"blockquote","key":"vgdd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"elif ! pgrep ollama >/dev/null; then","type":"blockquote","key":"9i4nv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" sudo systemctl start ollama","type":"blockquote","key":"bvijo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"fi","type":"blockquote","key":"davoe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"exit 0","type":"blockquote","key":"fqjdf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что странно, строчки:","type":"unstyled","key":"c1tg3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"nvidia-settings -a \"[gpu:0]/GpuPowerMizerMode=1\"","type":"blockquote","key":"46vpn"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":9,"offset":298}],"inlineStyleRanges":[],"text":"недостаточно. В GUI режим стоит performance, в мониторинге ресурсов у видеокарты режим PCI-E 4.0, но ollama всё равно упорно пытается работать на CPU, до тех пор, пока не перезагружу модуль ядра nvidia_uvm. Если вам известно более аккуратное решение проблемы, напишите, если не сюда - то хотя бы в Fediverse. ","type":"unstyled","key":"5k05v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Раньше я использовал AMD Ryzen 5700G, но у него всплыл интересный нюанс - он не поддерживает PCI-E 4.0. Сперва мне показалось, что я могу что-то выиграть в производительности, скакнув с PCI-E 3.0, но перейдя на 5700X с поддержкой 4.0 – ничего не заметил. Но кажется это стоит учитывать при проектировании новой рабочей станции. Читайте спецификации выбранных видеокарт, материнских плат и CPU.","type":"unstyled","key":"afk99"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Отдельный сервер или прямо на ПК?","type":"header-three","key":"1ov7j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Я уже писал, но ещё раз повторюсь:","type":"unstyled","key":"232h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"лучшее, что можно сделать - воспользоваться уже имеющимся оборудованием (если у вас не ноутбук) и провести небольшой апгрейд, начиная с видеокарты","type":"blockquote","key":"elb6s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если у вас ноутбук - можно попробовать собрать сервер самостоятельно. Можно заказать готовый. Мне коллеги скидывали решение на базе процессора (если его ещё можно назвать процессором) AMD AI Max+ 395. Там и CPU и GPU и NPU, а в сумме обещают около 120 TFLOPS, при этом в форм-факторе мини-ПК за 200 000 рублей. Для сравнения - моя RTX 4060 Ti выжимает только 22 TFLOPS. Отдельный сервер нужно где-то держать и ему нужен воздух для охлаждения.","type":"unstyled","key":"5hr0n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Я собрал себе рабочую станцию ещё в 2023, чтобы не так сильно зависеть от ноутбука, предоставленного работодателем и обновлял видеокарту в ней. Апгрейд обошёлся в 38 000 рублей с учётом продажи старого железа на авито, в бонус я актуализировал гарантийные сроки.","type":"unstyled","key":"312k8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как заставить всё работать","type":"header-three","key":"a17c9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вам не нужен продвинутый Python, понимание принципов машинного обучения и даже статистика. Не понадобится ни линейная регрессия, ни градиентный спуск — базовых навыков работы с любым скриптовым языком будет достаточно, главное чтобы вам было удобно:","type":"unstyled","key":"fqeml"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Работать с текстом","type":"unordered-list-item","key":"a6if1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Выполнять файловые операции вроде создания, переименования и удаления файлов, а также чтения и записи в них текстовых данных.","type":"unordered-list-item","key":"19jf5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Запускать процессы.","type":"unordered-list-item","key":"am0so"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Всё, что нужно: это \"клей\" для передачи данных, который вы сможете встроить в свои бытовые процессы. Хорошие кандидаты:","type":"unstyled","key":"7p1bb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Bash + AWK + Sed или PowerShell.","type":"unordered-list-item","key":"bqc6s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Perl, Python или Ruby.","type":"unordered-list-item","key":"fviem"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"А ещё лучше их сочетание.","type":"unordered-list-item","key":"f7ig3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Мне очень повезло, в моей рабочей практике было около 10 лет использования bash, coreutils у меня всё ещё на кончиках пальцев, я помню ключи tar, не ошибаюсь в порядке параметров find, а вспомнить, как заставить xargs разделять аргументы не по пробелу, а по переносу строк я вспоминаю за минуту-две. Это прямо огромное подспорье, чтобы колхозить. Можно думать об этом плохо, но уверен, 95% вещей, которые облегчают вам жизнь были бы невозможны без костылей, а в 80% из них эти костыли всё ещё на месте.","type":"unstyled","key":"4sk5p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Но перейдём, наконец к вишенке на торте. Обратиться к нейросети можно с помощью ollama. Её можно вызвать в качестве консоли, а промпт передать либо аргументом, например:","type":"unstyled","key":"3jh4o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"ollama run mistral-small:24b \"Напиши абзац о том, как передавать многострочные аргументы через stdin\"","type":"blockquote","key":"580k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Можно передать аргументы через stdin:","type":"unstyled","key":"bv4i0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"cat файл_с_многострочным_шаблоном_промпта.md ваша_конкретная_задача.md | ollama run mistral-small:24b","type":"blockquote","key":"54ng1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Следующий трюк: динамическая генерация промпта в зависимости от содержимого обрабатываемого файла. Можно использовать m4 или jinja2, чтобы динамически исключать часть пунктов задачи, если они не требуются. В крайнем случае сойдёт и простой советский grep + группировка команд с помощью скобочек:","type":"unstyled","key":"cpun3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"words=\"$(wc -w < ваша_конкретная_задача.md)\" ","type":"blockquote","key":"f2t10"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"{","type":"blockquote","key":"9knc6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" [ \"$words\" -lt 100 ] && grep -v \"дела\" \"файл_с_многострочным_промптом.md\" || cat \"файл_с_многострочным_промптом.md\"","type":"blockquote","key":"cuphp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" cat \"ваша_конкретная_задача.md\"","type":"blockquote","key":"dd8d5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" } | ollama run mistral-small:24b","type":"blockquote","key":"dsbi9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чего я пока не освоил - это как последовательно передать цепочку вопросов, чтобы модель при этом не теряла контекст диалога и помнила свои ответы. Кажется этого не получится добиться без использования HTTP-API и curl, когда-нибудь посижу, поковыряюсь в консоли браузера, с открытым open-webui и больше никогда не буду онлайн. А может проще у нейронки и спросить - тоже неплохой трюк, если навыков программирования немного.","type":"unstyled","key":"2ph8j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Меры предосторожности","type":"header-three","key":"eess3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Будьте очень аккуратны, предоставляя LLM опосредованный доступ к вашей файловой системе. Весь текстовый вывод нейросети необходимо обрабатывать - экранировать, обрезать итд. Следите за тем, чтобы код, который вышел из под нейронки никогда не исполнялся без ревью человеком. Вырезайте из её выхлопа всё, чего не ожидали:","type":"unstyled","key":"ag0dk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":39,"offset":41,"style":"ITALIC"}],"text":"просили дать одну строку до 60 символов? x=\"$(head -n1 <<< \"$x\"); x=\"${x:0:60}\".","type":"unordered-list-item","key":"bd2nu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":50,"offset":55,"style":"ITALIC"}],"text":"алфавитных символов и пробелов должно быть достаточно: x=\"$(sed -e 's/[^А-Яа-я0-9A-Za-z -]//g' <<< \"$x\")\"","type":"unordered-list-item","key":"2u1do"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":24,"offset":63,"style":"ITALIC"}],"text":"ну и для удобства: обрезка пробелов в начале и в конце строки: x=\"${x## }\"; x=\"${x%% }\"","type":"unordered-list-item","key":"f43kp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Промпт-инжиниринг: 40% успеха","type":"header-two","key":"3jhoa"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если попробовать оценить насколько разные факторы влияют на качество ответов LLM, я бы ответил так:","type":"unstyled","key":"f3gkf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"грамотно составленный промпт - 40%,","type":"unordered-list-item","key":"6hrcd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"входные данные - 20%,","type":"unordered-list-item","key":"f8297"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"размерность модели - 20%,","type":"unordered-list-item","key":"9lu6u"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"конкретная модель - 10%,","type":"unordered-list-item","key":"ff9bj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"способ скармливания данных - 10%.","type":"unordered-list-item","key":"5irad"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как составлять промпты правильно? В каком-то роде всё как с людьми. Руководителям будет чуть проще - наверняка качество постановки задач уже становилось узким горлышком и в эту тему приходилось погружаться.","type":"unstyled","key":"4evbq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чем проще и лаконичнее ТЗ тем лучше. Без чёткого ТЗ ~~результат хз~~ модель генерирует воду или уходит в абстракции. Но есть нюанс: слишком чёткое ТЗ - тоже проблема. Модель будет постоянно заморачиваться за незначительные противоречия. Это причина, по которой я выношу части промпта в пред- или пост-обработку на python.","type":"unstyled","key":"2eg8a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Примеры. LLM - это попугай на максималках. Он хорошо владеет искусством \"повторять, не особо вникая\". Помогите ему в этом, дайте ему несколько примеров в формате:","type":"unstyled","key":"7b0fm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"пример ввода","type":"unordered-list-item","key":"9vmbv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"хороший пример вывода","type":"unordered-list-item","key":"6annc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"список того, что получилось хорошо","type":"unordered-list-item","key":"6rnlk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"плохой пример вывода","type":"unordered-list-item","key":"2sp82"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"список того, что получилось плохо","type":"unordered-list-item","key":"42utl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Указывайте, какой формат ответа вам нужен, что должно быть в структуре ответа.","type":"unstyled","key":"f39ia"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Хорошо работают нефункциональные подсказки, вроде:","type":"unstyled","key":"am8av"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"кем нужно притвориться","type":"unordered-list-item","key":"flg2l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"для кого предназначен текст.","type":"unordered-list-item","key":"6esn4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Не пытайтесь получить идеальный ответ с первого раза — корректируйте запрос пошагово. Я своего \"секретаря\" уже месяц \"взращиваю\" и постепенно он становится всё лучше и лучше. Мне по душе пришёлся фреймворк \"КОМПОЗИТОР\" [1]:","type":"unstyled","key":"dgpqh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Кого LLM будет отыгрывать в этот раз.","type":"unordered-list-item","key":"8ng1r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Обстановка, ситуация, контекст.","type":"unordered-list-item","key":"31k74"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Миссия - что должно получить в конце.","type":"unordered-list-item","key":"3de2k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Этого уже достаточно, чтобы оно \"как-то сработало\", но скорее первый блин выйдет комом. Ba-dum-tss.","type":"unstyled","key":"55iit"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Позитивный пример","type":"unordered-list-item","key":"8vhog"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Отрицательный пример","type":"unordered-list-item","key":"6o9l1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Зона работы - перечень имеющихся ограничений.","type":"unordered-list-item","key":"5dlfp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Инспекция - сюда заносим вещи, с которыми LLM раз за разом косячит и просим проверять саму себя.","type":"unordered-list-item","key":"36cfh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Тон - манера речи. В школе мы называли это \"стилем\".","type":"unordered-list-item","key":"cm9k9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Окружение - для кого мы пишем.","type":"unordered-list-item","key":"9r01f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":0,"style":"BOLD"}],"text":"Результат - формат. Все детали про оформление, заголовки, таблицы, код.","type":"unordered-list-item","key":"6dem9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Работа с ограничением контекста","type":"header-three","key":"ahc46"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"У локальных LLM есть один недостаток - малый размер контекста. Представьте что вы ставите задачу зумеру. Чем проще задача и короче кусок данных для обработки - тем лучше LLM с ней справится. В моей практике частенько вываливал в нейронку такую портянку, что она напрочь забывала про её начало, слегка обработав первые 10-15%. Чтобы такого не было - надо дробить задачу, а как дробить - это ваша забота.","type":"unstyled","key":"eui96"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кормим много данных за раз - LLM пропустит часть из них.","type":"unordered-list-item","key":"6v6kc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Просим сделать слишком много всего и сразу - LLM сделает, но хреново, а иногда сделает не всё. ","type":"unordered-list-item","key":"fv01k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Можно использовать метод скользящего окна, но наивный подход приведёт к старинной проблеме: каша на входе → каша на выходе.","type":"unordered-list-item","key":"bkm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"for chunk in (text[i:i+2048] for i in range(0, len(text), 1024)):","type":"blockquote","key":"c639v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" analysis += query_llm(f\"Суммаризируй фрагмент: {chunk}\")","type":"blockquote","key":"d744b"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Я не заморачивась и дроблю либо вручную, либо ищу какой-то семантический способ дробления, который позволит потом просто взять и автоматически склеить результаты в одно целое простым cat. Если бы я использовал наивное скользящее окно - скорее всего я бы тратил много времени на ручную постобработку результата.","type":"unstyled","key":"4i4it"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Гибридные сценарии и снова конфиденциальность","type":"header-two","key":"3dbmh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"То что вы развернули нейронку дома не означает, что вам нельзя пользоваться облачными моделями. Главная опасность — не техническая сложность, а привычка делиться избыточной информацией с облачными сервисами. То что попало в интернет - навеки в интернете. Проблема в том, что даже опытные специалисты иногда совершают неосторожности. Поэтому можно по-умолчанию использовать локальную модель и только в исключительных случаях пользоваться облачной, при этом сохраняя бдительность.","type":"unstyled","key":"qa14"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что я считаю приемлемым оставлять в облаке:","type":"unstyled","key":"dtlf2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Абстрактные технические вопросы. Например \"Поддерживает ли mastodon Ed25519 ключи шифрования для своих activitypub-пользователей?\".","type":"unordered-list-item","key":"a55ri"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Анализ текста, который не является секретным и в скором времени будет опубликован.","type":"unordered-list-item","key":"co003"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ограниченное использование в качестве поисковика. Здесь есть проблема - любой ваш поисковый запрос говорит о том, что вас интересует. Я не вижу большой разницы между тем, чтобы спросить \"какие вопросы не решает scrumban\" в google или в deepseek. Что так, что сяк меня будут преследовать рекламой курсов по управлению проектами. Или весь интернет покроется рекламой подгузников, потому что я попросил сводную таблицу по списку брендов с размерами упаковки, минимум, максимумом и медианной ценой за неё + медианной ценой за 1 подгузник. Здесь локальная модель скорее всего окажется бесполезной и можно принять это как неизбежное зло.","type":"unordered-list-item","key":"54vqe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что я считаю категорически неприемлемым для передачи в облако? То же самое, что и законодательство РФ, если поискать по слову \"тайна\":","type":"unstyled","key":"2nse5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Банковские выписки и всевозможный анализ финансов.","type":"unordered-list-item","key":"f0avo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Медицинские заключения и вообще информация о заболеваниях.","type":"unordered-list-item","key":"4s620"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сомнительные штуки, которые стрёмно обсудить даже с женой.","type":"unordered-list-item","key":"ds668"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Замена имён и дат через скрипты на псевдонимы тоже кажется сомнительной. Ну назвали вы Алексея Петровича Трансильванием Дракуловичем, суть упоминаемой ситуации всё равно утечёт. Анонимизация имеет смысл когда реально анонимны, а не пользуетесь сетью, которая работает за счёт идентификации, при этом авторизовавшись по email, который зарегистрирован на ваш сотовый телефон, пусть и в другом сервисе (данные которого утекли 34 раза, пока я писал эту статью).","type":"unordered-list-item","key":"cpk00"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Такие вещи я не только обрабатываю локально, но и чищу после этого историю (~/.ollama/history или её аналог в альтернативном интерфейсе, даже если он закрыт аутентификацией).","type":"unstyled","key":"2l1nd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Выводы","type":"header-two","key":"bpg7p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Локальные LLM перешли из категории \"технологий будущего\" в инструменты ежедневного использования. Стартовая конфигурация за $1,200 и базовые навыки работы с текстом позволяют автоматизировать 60-70% рутинных операций уже сегодня. Ключ к успеху — не погоня за максимальным размерами моделей, а сбалансированное использование локальных моделей и облачных сервисов, с чётким разделением данных.","type":"unstyled","key":"ta0q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ссылки","type":"header-two","key":"647hl"},{"data":{},"depth":0,"entityRanges":[{"key":3,"length":32,"offset":0}],"inlineStyleRanges":[],"text":"Статья о фреймворке \"КОМПОЗИТОР\" на Хабре.","type":"ordered-list-item","key":"6rspg"},{"data":{},"depth":0,"entityRanges":[{"key":4,"length":4,"offset":0}],"inlineStyleRanges":[],"text":"Vosk - система оффлайн распозавания речи.","type":"ordered-list-item","key":"7es2k"},{"data":{},"depth":0,"entityRanges":[{"key":5,"length":6,"offset":0}],"inlineStyleRanges":[],"text":"Ollama - первый попавшийся под руки инструмент для запуска LLM. Есть и другие, этот выбрал потому что он был на слуху.","type":"ordered-list-item","key":"92nk1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Другие статьи в цикле \"Нейронки дома\":","type":"unstyled","key":"64ajj"},{"data":{"embedData":{"type":"external","host":"dzen.ru","image":{"src":"https://avatars.dzeninfra.ru/get-zen_brief_embed/271828/pub_6820c7fef4c61d4ec9d2a919_6820e15e0ed6ab31c4f735df/smart_crop_600x300","width":600,"height":300,"mainColor":"#000000"},"src":"https://dzen.ru/suite/54fe2736-ea27-43b0-a360-8bda1f7645f0?share_to=link","title":"Нейронки дома | Нейронки дома | Дзен","avatarsHost":"avatars.dzeninfra.ru","lang":"ru","isMobile":true,"isNewZenVideoEmbedEnabled":true,"isPremiumEmbedInArticleEnabled":false}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:embed","key":"dbnr7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"5psb4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"u562EimahdFoXu6L0EnB"}],"entityMap":{"0":{"data":{"badSeoLink":"true","url":"https://dzen.ru/a/aBOooPV5_mqx03wu"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"url":"https://dzen.ru/a/aA5ts2O5-WIB7z3v"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"url":"https://кряхтит.онлайн/oleg"},"mutability":"MUTABLE","type":"LINK"},"3":{"data":{"url":"https://habr.com/ru/articles/904972/"},"mutability":"MUTABLE","type":"LINK"},"4":{"data":{"url":"https://alphacephei.com/vosk/"},"mutability":"MUTABLE","type":"LINK"},"5":{"data":{"url":"https://ollama.com/download"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}