Игорь Барсуков ИИ генерация музыки. Барсучье руководство

1.3.1.Генерация музыки

Начнём с того, что говорить в этой книге мы будем не об ИИ (искусственном интеллекте), а об НС (нейросети). Как это часто бывает в реальности, имеет место подмена понятий, и как следствие возникают заблуждения. ИИ — это сущность, способная решать задачи уровня человеческого интеллекта, в том числе в незнакомой ситуации. Первая же ассоциация с ИИ — машина, разумная как человек. Но подобное понятие неприменимо к генеративным моделям. Чаще всего, когда говорят ИИ, подразумевают программу, способную накапливать данные и автоматически обучаться на них, а в данной формулировке нет понятия «интеллект». Поэтому в данном руководстве будем старательно использовать формулировку НС (нейросеть) для обозначения программного продукта, способного расшифровать запрос пользователя, дополнить его и реализовать заданную цель.

НС генерирует треки по текстовому запросу, который может включать описание стиля желаемой композиции и текст песни. НС имитирует решение интеллектуальных задач, обучается на основе прошлых данных (запоминает стиль пользователя) и управляет технологией интерактивной композиции, при которой компьютер сочиняет музыку в ответ на живое исполнение.

Что нужно для создания песни в НС? Зависит от целей и исходных данных. В минимальном случае — ничего. Буквально, вы можете попросить НС сделать песню, задав буквально пару ключевых слов. Чем меньше входных данных, тем более свободно она поступит, а согласно предустановкам постарается выдать максимально популярный вариант.

Для экономии часов разочарований следует понимать, как НС интерпретирует инструкции, и как эффективно выстраивать с ней коммуникацию. НС не читает промпт, как человек. Не следует инструкциям в строгом иерархическом порядке. Не генерирует «чистые» изолированные жанры. Не интерпретирует слова буквально так, как вы это подразумеваете.

НС преобразует текст в вероятностную сетку стилей. Смешивает сопутствующие музыкальные концепции, усвоенные из обучающих данных. Выполняет «мягкую классификацию», разделяя управляющий текст (стиль) и исполняемый текст (лирику). По умолчанию скатывается в статистически доминирующие «колодцы», если её активно не ограничивать.

НС смешивает музыкальные стили на основе закономерностей, усвоенных в процессе обучения. Когда вы запрашиваете «рэп», НС не создаёт чистый рэп, она автоматически подмешивает такие элементы, как трэп, хип-хоп, тяжёлый бас и биты, потому что в обучающих данных эти стили постоянно встречались вместе. Именно поэтому некоторые сочетания жанров звучат естественно, в то время как другие требуют тщательной настройки для корректной работы.

Каждое используемое слово несёт «статистический багаж» — ассоциации, которые модель усвоила во время обучения. Популярные теги тянут музыку к стандартным значениям, настройкам по умолчанию. Нечёткие «литературные» описания усиливают «протечку текста», когда текст промпта пропевается как часть песни. Структурная ясность в промптах важнее, чем красноречивый слог. Самое важное: поп-музыка непрерывно тянет одеяло на себя. Почти любой жанр притягивается к поп-звучанию, если активно этому не сопротивляться.

По статистике взаимосвязей в НС Suno, у рока около 315 млрд. связей с поп-музыкой, у фанка 116 млрд., и даже эмо имеет 12 миллиардов связей. Вот почему тщательно составленный промпт «индустриальный рок» иногда звучит на выходе как синти-поп: усвоенные НС шаблоны продолжают тянуть к себе. Понимание поможет обойти проблему, используя исключения, необычные жанровые сочетания и стратегические комбинации.

1.3.2.Виды НС

Какие существуют нейросети для генерации музыки?

Их великое множество. В конечном счёте, НС может развернуть каждый, даже на своём локальном ПК (см. п.5.4.5. «ACE-Step-1.5»). Нейросеть, в большинстве случаев, это БЯМ (LLM) — большая языковая модель, обученная на каталоге музыки. LLM можно либо купить, либо взять с открытым кодом, а обучить можно на своих записях, сформировав уникальную НС, умеющую петь вашим голосом в вашем стиле.

В реальности же сформировать и обучить модель требует изрядного мастерства, а чтобы добиться вариативности, качества звучания и богатства аранжировок — обширного каталога и огромного количества времени. Поэтому лучше идти к профессионалам.

Ниже представлен список НС, в которых можно генерировать целиком музыкальный трек (инструментал или с вокалом) по категориям пользовательских прав на генерируемый контент. Актуальный список приведён на https://t.me/iimuzyka/32

Полностью легальные, права у пользователя:

— Google Flow Music https://flowmusic.app/

— ElevenMusic (ElevenLabs Music) https://elevenmusic.io/

— Songlab https://songlab.ai/

— MuxAudio https://mix.audio/

— JenMusic https://www.jenmusic.ai/

Полностью легальные, права у сервиса генерации, то есть риски на площадке:

— Boomy https://boomy.com/

— Hook AI https://hookmusic.com/

— Sonic Hub https://ampsoundbranding.com/sonic-hub

Сомнительно легальные НС, так как не покупают лицензию у правообладателей для обучения НС. Треки можно использовать в коммерческих целях:

— Suno https://suno.com/

— Soundraw https://soundraw.io/

— Mureka https://www.mureka.ai/

— Choruz https://www.choruz.ai/

— Moises AI Studio https://moises.ai/features/ai-studio-music-creation/

— Tunee https://www.tunee.ai (Tem. Polor https://www.tempolor.com/)

— DiffRhythm https://diffrhythm.ai/

— Cassette AI https://cassetteai.com/

— Loudly https://www.loudly.com/music/ai-music-generator

— Song Generator https://songgenerator.io/

— Musicful https://www.musicful.ai/

— AIVA https://www.aiva.ai/

— Minimax https://www.minimax.io/audio/music

— ACE Studio https://acestudio.ai/

— Mozart AI https://getmozart.ai/

— Greysound https://greysound.ai/

— Treblo https://treblo.com/

— Muse https://www.muse.art/

— Evoke Music https://amadeuscode.ai/en/music

— Tunesona https://www.tunesona.com/

— PureBPM https://www.purebpm.com/

— Musci https://musci.io/

— Soundful https://soundful.com/

— EasyMusic https://easymusic.ai/

— Ecrett music https://ecrettmusic.com/

— VibeMusicing https://vibemusicing.com/

— KlangKI https://kisongerstellen.com/

— Evabeat https://www.evabeat.com/

— Synthia https://www.synthia.co/

— Musc https://musci.app/

— FuturBeats https://futurbeats.com/

— GeneratorAIMusic https://www.generatoraimusic.com/

— Wondera https://www.wondera.ai/

— DeepAI https://deepai.org/music

— Сберзвук SymFormer https://studio.zvuk.com/promotion/main/symformer

— Wuble https://www.wubble.ai/

— AI Make Song https://www.aimakesong.com/

НС некоммерческого использования, нельзя выкладывать на стриминг-сервисы:

— Udio https://www.udio.com/

— Mubert https://mubert.com/

— Beatoven https://www.beatoven.ai/

— MusicGen: https://musicgen.com/

— Napster https://napster.com/

— Tiangong SkyMusic https://music.tiangong.cn/

— TopMediAI https://www.topmediai.com/app/ai-music/

— Doubao https://www.doubao.com/

— Soundful https://soundful.com/

— Soundverse https://www.soundverse.ai/

— AuTunes https://www.autunes.com/

— Donna https://www.musicdonna.com/

— Splash https://www.splashmusic.com/

— Musicstar AI https://www.musicstar.ai/

— HarmonAI https://www.harmonai.org/

— GPTIndia SongGen https://app.gptindia.pro/

— SongR https://www.songr.ai/

— Melobytes https://melobytes.com/

— Sovina https://sonivamusic.com/

— Haio https://haio.fun/

— Audio Muse https://audiomuse.ai/

— Mozart AI https://mozartai.app/

— Suede AI https://www.suedeai.xyz/

НС с открытым исходным кодом для некоммерческого использования. Можно генерировать на своём оборудовании:

— ACE-Step https://ace-step.github.io/

— HeartMula https://heartmula.github.io/

— LeVo https://github.com/tencent-ailab/SongGeneration

— YuE https://map-yue.github.io/

— Stable Audio https://stableaudio.com/

— NotaGen https://github.com/ElectricAlexis/NotaGen

— SongBloom https://github.com/Cypress-Yang/SongBloom

— DiffRhythm2 https://huggingface.co/ASLP-lab/DiffRhythm2

Здесь представлены только оригинальные НС. Их алиасы, дочерние или сторонние сервисы, использующие данные НС, не включены в списки.

1.3.3.Виды интерфейсов

На практике работа с НС реализуется в двух версиях интерфейсов: форма и диалог, либо их смешении.

Почему к нейросетям так прилипчива формулировка ИИ (искусственный интеллект)? Потому что НС в первую очередь адаптируют на взаимодействие с пользователем до такой степени, что НС вроде как понимает человеческую речь. Чаще всего, конечно, в текстовом выражении. На самом деле, первая задача, ради которой начали строить нейросети, была распознавание речи и её анализ для понимания. Задача преобразования одного документа в другой с передачей или выделением нужной информации в программировании встречается повсеместно. Большие языковые модели нейросетей позволяют выделить смысловую информацию из текста, составленного в свободной форме. Хотя по сути, это тот же парсер с глубоким уровнем сложности и большой базой взаимосвязей и весовых коэффициентов. Но для пользователя создаётся иллюзия, что НС действует как собеседник: понимает вопросы и формирует ответы.

Возникающую иллюзию собеседника разработчики стали использовать в качестве интерфейса. Зачем пользователю напрягаться, видя сложный интерфейс? Пусть задаёт вопросы, будто общается. НС отвечает и запрашивает уточнения. Всё очень просто и даже справки не требуется.

По такому принципу построены НС Producer, Tunee. Но раз вы читаете данное руководство, то очевидно, документация всё же требуется, а интерфейс не справляется с возникающими сложностями.

Проблема состоит в том, что человек зачастую не знает, что спросить. А иногда знает, но не понимает в какой форме. Ещё в подобных диалоговых интерфейсах дико раздражает льстивая манера общения НС. Её задают разработчики, видимо, в целях сокрытия проблем. А также постоянные оправдания НС, когда делает что-то противоречивое с запросом. Лучше бы уж молчала.

Интерфейс в виде формы сразу позволяет увидеть те самые рукоятки (поля ввода, селекторы и кнопки), за которые можно схватиться. Их названия подсказывают имеющиеся возможности и указывают возможные варианты. Поведение становиятся более ясным, предсказуемым и своевременным, даже если отправленная форма всё равно впоследствии слепляется в единый запрос в адрес НС.

По принципу формы построен интерфейс Suno. В нём некоторые поля требуют обязательного заполнения (всего одно), а прочие ручки/кнопки/поля можно крутить/заполнять по желанию. Не понравилась генерация, осознал, что хотел бы изменить — меняешь только требуемый параметр, а не пытаешься осознать, что в диалоге требуется уточнить НС так, чтобы она поняла.

1.3.4.Промпт

Традиционно запрос к НС называется промпт (prompt). В общем смысле под промптом понимается уточняющий запрос от системы к пользователю. В интернете промпты, как метод взаимодействия, возникли на стадии зарождения сети ещё в прошлом веке. В отношении же НС под промптом понимается запрос от пользователя, который позволит нейросети лучше понять поставленную задачу.

И тут мы можем увидеть очень интересную вещь.

Суть НС — понимать человеческую речь, а суть промпта — структурированный запрос. Явления на разных концах одной линейки. Но такова реальность. Хотите чтобы НС лучше вас понимала: изъясняйтесь чётче, механичней, эффективней — как робот.

Из-за этого меня всё время преследует мысль, что интерпретатор запроса можно отделить от собственно генератора музыки, а между ними обнаружить сложную структурную модель запроса, который уже напрямую говорит, как сформировать запись. Возможно, вручную я бы не смог набить модель из тысяч параметров. Но если бы у меня имелся доступ к ней, то получив на одной генерации годную композицию, я бы мог напрямую в ней подкрутить нужные мне элементы, доведя до идеала.

Но нет. Каждый новый запрос к НС проходит новый разбор и новое построение, получить из одного и того же запроса одинаковые результаты практически невозможно. Точнее, это зависит исключительно от разработчиков НС, насколько они выкрутили настройку случайной вариативности. К счастью, разработчики слушают пользователей и в какой-то мере стараются подстроиться. К примеру, невозможность получить идентичную композицию или скорректировать в небольшом объёме, часто ставилось в пику Suno v5 и ниже. Но в марте 2026 была выпущена Suno v5.5, которая при идентичных запросах позволяет получить очень близкие друг другу композиции. Даже у разных пользователей. Но в ответ, по общему мнению, композиции оказываются существенно беднее в звучании. А всё потому, что запрос пользователя очень слабо описывает композицию. НС по ряду признаков (структура текста, ритмика текста, хвосты стилей) в значительной степени дополняет промпт, а также наваливает типичный набор популярных решений. В принципе, по-другому быть и не может, ведь иначе составление промпта превратится в написание полноценной партитуры для всех инструментов, включая вокализацию исполнителей.

Так как же должен выглядеть промпт?

В общих чертах, это может быть прямая человеческая речь. Буквально, вы можете взять абзац текста из какой-нибудь книги, который навевает на вас некоторое впечатление и отправить в нейросеть. Точнее сформировать запрос в следующем виде: «Сделай песню, передающую впечатление, создаваемое следующим отрывком текста: <отрывок из книги>». Очень может быть, что НС его прочитает и сумеет превратить это впечатление в звуковой ряд.

Но если вы стремитесь к конкретному результату, то промпт лучше всего писать максимально структурированным. Вся вторая глава руководства посвящена правильной формулировке промпта и оттачиванию деталей.

НС могут иметь различные интерфейсы, но в целом написание промпта сводится к формированию двух частей: лирики и стилистики. Под лирикой понимается текст и структура композиции. К примеру, инструментальный трек без вокала с нужной структурой также требует заполнения раздела лирики:

[start]

[instrumental prelude]

[long instrumental intro: Staggered theme entries other instruments]

[instrumental buildup]

…

[instrumental chorus]

…

[drop]

[outro]

[instrumental interlude]

[end]

Под стилистикой понимается описание характеристик композиции, такие как: жанр, музыкальные инструменты, тип вокала и прочее.

В Suno эти части выделены в отдельные поля, в Tunee промпт формируется единым в диалоговом режиме. Но и в Suno можно переместить описание стилей в область лирики. А всё потому, что форма в итоге сводится к формированию единого промпта. В целом, хотя различные НС могли бы реализовывать разные виды структур обращения к ним, по большей части сложился стандарт в формировании промпта. Глава 2 данного руководства ориентируется в первую очередь на Suno, но с успехом может применяться и в прочих НС с некоторыми уточнениями.

1.3.5.Теги

В предыдущем разделе 1.3.4.«Промпт» демонстрируется структура промпта для построения инструментальной композиции. Почему там слова в квадратных скобках?

Как уже говорилось, промпт может быть просто текстом, в котором вы описываете свои пожелания к нейросети, но чем чётче вы формулируете, тем проще нейросети вас понять. Для повышения эффективности в промпт можно включать целый ряд специальных символов (скобки, знаки пунктуации и прочие). Большинство НС их обрабатывает одинаково. Что в целом связано с единым подходом к разметке промптов.

В прямом запросе простой текст означает текст песни. Текст в круглых скобках означает дополнительный вокал, чаще всего бэк-вокал. Текст в квадратных — инструкции, уточняющие промпт в конкретном разделе текста. В приведённом выше промпте фактически приведены инструкции по структуре композиции. Слова в инструкциях промпта чаще всего называются: теги или метатеги, в зависимости от источника. Для краткости мы будем использовать в руководстве термин «тег». Впрочем, оба варианта не являются правильными. Правильно было бы говорить «ключевое слово».

Тег или тэг от англ. tag «ярлык, этикетка, бирка, метить» — используется в языках программирования и разметки как указание характеристики объекта. Впоследствии распространился как метка в реестрах, каталогах, лентах соцсетей, упрощающая поиск. Метатег — это тег для метаданных. А метаданные — это технические, структурные данные, скрытые от пользователя, но полезные для системы.

Исходя из определения, метка должна однозначно указывать тип объекта. Но это не работает в случае НС. Нейросети, как настоящий интеллект, умеют игнорировать инструкции, если они мешают достижению цели или противоречат уже сложившейся модели. К примеру, НС может проигнорировать тег, указывающий на шёпот, если выбран жанр рок-оперы. Возникший набор характеристик вокала для оперы легко может не предусматривать переход на шёпот. Поэтому правильнее было бы использовать термины «ключевое слово» и «ключевое словосочетание», но так слишком долго.

В отношении НС, теги — это ключевые слова или фразы, указывающие как точнее реализовать заданный промпт. Значит ли это, что необходимо пользоваться только указанными ключевыми словами, но не другими? Нет. Смысл НС в том, что она может правильно интерпретировать самую вольную формулировку. А может и неправильно. Меньше сюрпризов будет, если использовать устоявшиеся термины. К примеру, лучше использовать [lush string arrangements], а не [rich string arrangements], что значит [насыщенная аранжировка струнных], хотя в общем случае НС должна их интерпретировать одинаково.

В главе 2 даются разъяснения о том, какие бывают теги и для чего применимы. В конце данного руководства вы найдёте целый справочник по тегам. А в главе 3 перечень шаблонов, который позволит быстрее и качественнее создавать промпты. Хотя бы в качестве основы или подсказок по формулировкам.

Написание тегов может быть строчными или заглавными буквами, теги могут включать двоеточие и уточнение, например [BPM: 70] и могут разделяться запятыми. Могут быть одиночными, либо составлять целые фразы.

В тексте песни теги заключаются в квадратные скобки, чтобы НС их поняла как инструкции, а не пропела, как текст. Теги в тексте касаются фрагментов композиции — это звуковые вставки, либо указания. Если произведение инструментальное, то они могут давать указания для каждой части композиции. Теги надо писать отдельной строкой. Тег внутри строки даже в скобках может быть воспринят как текст и озвучен.

Те же инструкции в поле «Styles» нужно использовать без квадратных скобок. Ключевые слова в этом случае относятся ко всей композиции в целом. Теги в поле «Styles» в квадратных скобках создают структуру для стилей, см. п.2.1.1.«Структурирование стилей».

Наибольший вес имеют теги, стоящие в начале. Каждый последующий тег будет применяться только сквозь призму непротиворечивости и бесконфликтности с уже сформированным описанием. Замечено также, что для НС первостепенное значение имеет содержание песни, ритмическая структура текста, текущий шаблон песни и музыкальный стиль, а потом уже прочие теги.

Общие рекомендации:

— размещение тегов в начале запроса усиливает их влияние на итог;

— важно не переусердствовать с количеством, лучше ограничиться 3—7 тегами, чтобы сохранить ясность замысла;

— сочетание противоречивых тегов может подарить неожиданную гармонию, хотя иногда результат удивляет своей непредсказуемостью;

— более конкретные теги, такие как [guitar], обычно доминируют над общими, вроде [happy], что стоит учитывать.

1.3.6.Язык промпта

На каком языке писать промпт?

Полностью и целиком зависит от НС. К счастью, разработчики почти всегда ориентируют продукт глобально и закладывают на начальной стадии обработки промпта его перевод. Чем? Конечно же, нейросетями.

И здесь становится очевидным, что промпт лучше всего писать на том языке, на котором «думает» НС. Таким образом, будет меньше ошибок перевода, особенно в плане оборотов речи. Большинство глобальных сетей корнями уходят в англо-американские университеты, многие иностранные стартапы также предпочитают базироваться на английском языке. Но, к примеру, русские доморощенные НС легко могут базироваться и на русских языковых моделях.

Уточним ещё момент по структуре промпта. Фактически, он состоит из трёх элементов: текст песни, описание стилей и структурной инструкции. Каждый элемент можно писать на своём языке.

Непосредственно инструкции, то есть описание стилей и теги в тексте, лучше писать на родном языке НС. В отношении Suno и большинства прочих — это английский.

Текст песни по логике надо писать на языке вокала. На самом деле не всегда. Во-первых, НС должна понять на каком языке вы пишете текст. Если с различием русский или английский вроде всё просто (латиница или кириллица), то посмотрите с точки зрения НС на текст на латинице и попытайтесь понять: а точно ли это английский? А может испанский или латынь? А ведь испанский по фонетике гораздо ближе к русскому, чем к английскому. Мало того, кто сказал, что нам не захочется выпустить песню сразу на нескольких языках?

К счастью, именно анализ текста, который стал возможен только в эпоху нейросетей, является краеугольным камнем успешной модели. НС по тексту пытается понять язык и тем самым подобрать правильную вокализацию (методику произнесения звуков). Плюс тегами можно указать язык произнесения в нужном блоке текста. А дальше: либо умеет, либо нет. К примеру, НС Minimax на осень 2025 выдавала хороший звук по музыкальным инструментам и генерировала песни хорошего уровня, но только на английском. На русском языке вокал болел жёстким латышским акцентом. Но даже в этом случае можно попытаться исправить ситуацию инструкциями в отношении вокала (см. п.5.1.3.«Разница в вокализации языков»).

1.4.1.Общее описание

В данном параграфе мы достаточно подробно поговорим об интерфейсе Suno, и немного о том, как формировать запрос к НС. Потому как о Suno мы в дальнейшем будем говорить мало, а о запросе много.