Урок 10. Как ИИ создаёт музыку и синтезирует голос

Цель урока:

• Разобраться, как нейросети могут сочинять музыку и синтезировать речь.

• Узнать, какие технологии используются для работы со звуком.

• Научиться писать код для генерации музыки и синтеза голоса.

Как ИИ работает со звуком?

Звук – это волны, которые можно представить в виде чисел. Компьютеры работают с аудиофайлами как с наборами чисел, преобразовывая их в форму, удобную для обработки нейросетями.

Основные направления работы ИИ со звуком:

✅ Синтез речи (Text-to-Speech, TTS) – превращение текста в голос.

✅ Распознавание речи (Speech-to-Text, STT) – превращение аудио в текст.

✅ Генерация музыки – создание мелодий с помощью нейросетей.

✅ Обработка звука – улучшение качества аудио, шумоподавление.

Синтез речи: как ИИ “говорит”

ИИ-ассистенты (Siri, Алиса, Google Assistant) используют Text-to-Speech (TTS) – технологии, которые превращают текст в голос.

Популярные модели:

• Tacotron 2 – имитирует естественную речь.

• WaveNet – создаёт реалистичный голос.

• VITS и Bark – современные генеративные модели для создания речи.

Пример кода: синтез речи с gTTS (Google Text-to-Speech)

from gtts import gTTS  

import os  

# Текст для озвучки  

text = "Привет! Сегодня мы изучаем, как ИИ создаёт голос."  

# Генерация речи  

tts = gTTS(text, lang="ru")  

tts.save("output.mp3")  

# Воспроизведение  

os.system("start output.mp3")  

Этот код сгенерирует голосовой файл, который можно прослушать.

Распознавание речи: как ИИ “слушает”

ИИ может понимать аудио и переводить его в текст. Это полезно для создания голосовых помощников, транскрипции аудиофайлов, субтитров.

Популярные технологии:

• DeepSpeech – открытая нейросеть от Mozilla.

• Whisper – мощная модель от OpenAI.

• Vosk – работает даже на слабых компьютерах.

Пример кода: распознавание речи с Whisper

import whisper  

# Загружаем модель  

model = whisper.load_model("base")  

# Распознаём речь из аудиофайла  

result = model.transcribe("audio.mp3")  

print(result["text"])  

Этот код преобразует речь из MP3-файла в текст.

Генерация музыки: как ИИ “сочиняет”

ИИ может создавать новые мелодии, имитируя стиль известных композиторов.

Популярные модели:

• MuseNet (OpenAI) – создаёт музыку разных жанров.

• Magenta (Google) – использует нейросети для генерации MIDI.

• Riffusion – создаёт музыку через спектрограммы.

Пример кода: генерация музыки с Magenta

import magenta.music as mm

from magenta.models.melody_rnn import melody_rnn_sequence_generator

# Создаём простую мелодию

melody = mm.Melody([60, 62, 64, 65, 67, 69, 71, 72]) # Ноты в MIDI

sequence = mm.melody_to_sequence_proto(melody)

# Генерируем музыку

generator = melody_rnn_sequence_generator.MelodyRnnSequenceGenerator()

generated_sequence = generator.generate(sequence, 120)

# Сохраняем в MIDI

mm.sequence_proto_to_midi_file(generated_sequence, "output.mid")

Этот код создаёт простую MIDI-мелодию с помощью Magenta.

Где применяются технологии ИИ для работы со звуком?

✅ Голосовые помощники (Siri, Алиса, Google Assistant).

✅ Автоматическое создание музыки (AI DJ, генерация саундтреков).

✅ Текст в речь для блогеров и видео (например, озвучка книг).

✅ Шумоподавление и улучшение качества звука (RTX Voice, Adobe Enhance).

Заключение:

Сегодня ты узнал:

• Как ИИ генерирует голос и музыку.

• Какие технологии используются для обработки аудио.

• Как написать код для работы с речью и музыкой.

Домашнее задание:

1. Сгенерируй голосовой файл с gTTS и попробуй изменить параметры (скорость, язык).

2. Попробуй распознать речь с Whisper или Vosk.

3. Сгенерируй простую мелодию с Magenta и попробуй изменить ноты.

В следующем уроке мы разберём как ИИ создаёт и редактирует изображения!