Написал проектик для себя, на входе принимает видео файл (или онлайн ссылку на видео).
На выходе дает саммари из видео. Видео в 3,5 часа обрабатывается почти 6 минут.
- Если на входе ссылка → скачиваем видео через yt-dlp в папку videos
- Если локальный файл → используем существующий файл
- С помощью ffmpeg извлекаем аудио в MP3
- Отправляем MP3 в AssemblyAI API и получаем транскрипт с метками спикеров(диаризация) и временными метками
- Для оффлайн используем Whisper для транскрипции, и pyannote.audio для разделения по спикерам (диаризация)
- Отправляем полный текст транскрипта в OpenRouter API (используем только бесплатные модели для саммари и инсайтов) для каждой модели:
- openai/gpt-oss-20b:free
- xiaomi/mimo-v2-flash:free
- mistralai/devstral-2512:free
- Получаем саммари от каждой модели
- Отправляем все саммари от моделей в OpenRouter API, объединяем в одно финальное саммари
- Отправляем полный текст транскрипта в OpenRouter API, получаем ключевые инсайты
- Формируем итоговый файл с саммари и инсайтами
