Найти в Дзене
Удобный дом!

Локальный LLM на ORP RV2 утопия (пока)

Мне подогнали на тест плату Orange Pi RV2 и мне стало интересно че там с Deepseek и будет ли это вообще работать) Вот красивая реклама В сети можно много найти про установку DeepSeek на графическую Ubuntu и использование. Мне больше интересно использование ИИ в умном доме в Home Assistant через готовую интеграцию Ollama. **Можно купить с рассчетом на будущее https://ali.click/70ivzs?erid=2SDnjek38z5** Проблема кроется в RISC-V — это открытая и бесплатная архитектура набора команд (ISA) для процессоров. Железо, которое его полноценно поддерживает, стало массово доступным только к 2024–2025 годам. Считается, что это очень новая архитектура и поэтому софта мало. Я пробовал поставить докер - не вышло, тот что был работал у меня с ошибками. Podman встал нормально. VS code тоже не смог поставить … в общем, пока очень сыро. На борту есть 2 гнезда под NVMe SSD используется один ключ M.2 Key M. Вот использовать как небольшой файлообменник в сети самое то, но ! Я попробовал подключить HDD 2 штук
Оглавление

Мне подогнали на тест плату Orange Pi RV2 и мне стало интересно че там с Deepseek и будет ли это вообще работать) Вот красивая реклама

В сети можно много найти про установку DeepSeek на графическую Ubuntu и использование. Мне больше интересно использование ИИ в умном доме в Home Assistant через готовую интеграцию Ollama.

Что за плата

  • Процессор: Ky X1 (8 ядер, 64-бит RISC-V, до 1.6 ГГц).
  • ИИ-ускоритель: NPU 2 TOPS (интегрирован в ядра через RVV 1.0).
  • Память: 2 / 4 / 8 ГБ LPDDR4X.
  • Хранение: Слот M.2 (NVMe SSD), разъем eMMC, MicroSD.
  • Сеть: 2×Gigabit Ethernet, Wi-Fi 5, Bluetooth 5.0.
  • Видео: HDMI (4K@30), интерфейсы MIPI DSI и MIPI CSI.
  • Порты: USB 3.0, USB 2.0, Type-C (питание), 40-pin GPIO.

**Можно купить с рассчетом на будущее https://ali.click/70ivzs?erid=2SDnjek38z5**

Проблема кроется в RISC-V — это открытая и бесплатная архитектура набора команд (ISA) для процессоров. Железо, которое его полноценно поддерживает, стало массово доступным только к 2024–2025 годам. Считается, что это очень новая архитектура и поэтому софта мало.

Я пробовал поставить докер - не вышло, тот что был работал у меня с ошибками. Podman встал нормально.

VS code тоже не смог поставить … в общем, пока очень сыро.

На борту есть 2 гнезда под NVMe SSD используется один ключ M.2 Key M.

  • Интерфейс: PCIe 2.0 x1 Lane.
  • Поддерживаемые размеры (форм-факторы):2280 (22 мм в ширину, 80 мм в длину)
    2242 (22 мм в ширину, 42 мм в длину)

Вот использовать как небольшой файлообменник в сети самое то, но ! Я попробовал подключить HDD 2 штуки через док станцию и напрямую - работают ок, а вот после ребута плата не стартует. Я планирую добить этот вопрос, однако.

ИИ DeepSeek / Qwen через Ollama в Home Assistant.

Мне было очень интересно все же попробовать, пусть даже без ускорения NPU сами модельки через оллама. Оказалось нужно найти подходящую версию Ollama и правильно подготовить плату - на что убил хорошее количество токенов.

Скрипт установки можно забрать тут https://github.com/smirnowegor/Orange-Pi-RV2-Ollama

Удалось мне запустить, но модели как и ожилось сильно долго думают, очень глючат и грузят процессор под 146%. Я прочитал что нет отптимизации под Ollama, нужно использовать модели ONNX со своим ONNX Runtime GenAI - я посмотрел как устанавливать и забил. Подожду пока не будет нормальной установки на RV2.

!!!!!

Мой телеграм канал, там все быстрее обновляется телеграм.

не забудем про Поддержать автора

С боем и матом Ollama

-2

Попробовал несколько моделей, очень медленно но работают

-3
-4

Вот в интерфейсе Home Assistant

-5

Предложил мне помочь с топливом 0_о возвращает меня на пекинское Ябалу рынок где по русски пытались говорить китайцы.

-6

Смог в атоматизацию по датчкам в телеграм- ну как смог,как смог:

-7

Такое точно не подойдет

Мне ИИ нужен в умному доме хотя бы анализировать логи, смотреть за аномалиями и прочее. Думал что могу плату на это отдать - но проще, тем более за ее стоимсоть, подключить OpenAI за платные токены. Я посмотрел, там примерно будет выходить рублей 200 в месяц, что очень мало.

Однако, плата мощная и хочется ее правильно использовать.

Вариант А Файлообменник

Попробую решить проблему с перезагрузкой, в качестве файлообменника отличное решение. Я пользовался несколько дней и очень привык переходить между компами и все под рукой - а закидывать фото и видео сразу с телефона вообще кайф.

Вариант Б Распознавание голоса / жестов / под Frigate

Наш старый добрый NPU очень хорошо работает под задачи распознавания лиц, объектов, жестов, голоса и прочее. Весь сервер по цене 1 Google USB coral а можности больше.

Frigate - Пока официально поддержку платы я не увидел, но есть форки https://github.com/chipfoundry/frigate Тут нужно пробовать.

Распознавание голоса через Whisper - вот тут чатики говорят в один голос что плата себя раскроет :

Для вашей Orange Pi RV2 на базе чипа SpacemiT K1 (RISC-V) это отличная задача, так как архитектура RISC-V с векторными расширениями идеально подходит для ускорения таких нейросетей.

1. Как это работает технически?

В экосистеме Home Assistant Whisper запускается через дополнение Faster-Whisper или Wyoming-Whisper.

  1. Захват звука: Ваш спутник (ESP32 или микрофон на плате) ловит звук.
  2. Передача: Звук по протоколу Wyoming летит на Orange Pi.
  3. Обработка: Whisper «прогоняет» аудио через нейросеть и выдает текстовую строку.
  4. Команда: Текст идет в Home Assistant Assist, который уже включает свет.

Планирую сделать плату как сервер обработки голоса, а сами “колонки” развернуть на esp32 по дому, которые будут передавать на RV2 по кабелю/wifi.

#сделайсам #обучение #настройка

Поддержать автора (Support the author)

Способ 1 Поддержать через Яндекс Дзен

Способ 2 donate.stream

Способ 3 Telegram

или через криптокошелёк (Только USDT) TCHekdJZFndXpDrHZGuTmqFNcqhWBTTzPr

Связаться со мной. (Консультации, проектирование и обучение)

Новый подход к электрике и дизайну помещений. Некоторые провода уже не нужно тянуть, какие-то решения можно принять после ремонта. Перенести выключатель, запустить кондиционер с телефона - возможно автоматизировать любую рутину.

Мой телеграм канал, там все быстрее обновляется:

Удобный дом

Соц сети:

Шаблоны [Blueprints] для Home Assistant.

Мой гит https://github.com/smirnowegor

Сайт smart4home.ru и альтернативный Умный дом на любом этапе

Платформы специалистов: Авито / Профи.ру / Яндекс Услуги https://uslugi.yandex.ru/profile/EgorSmirnov-2294380?from=telek

Реклама. ООО "АЛИБАБА.КОМ (РУ)", ИНН 7703380158