Полли хочет треки: Как нейросеть научилась подражать Кобейну и Скрябину и к чему это приведет Настоящее и будущее генеративной музыки

В понедельник в Сети появился первый альбом группы Neurona — EP из четырех треков в жанре, сформулированном на «Яндекс.Музыке» как «альтернатива». За дебютом стоят американский вокалист Роб Кэррол и разработчики Иван Ямщиков и Алексей Тихонов. А предложенная ими альтернатива — почти альтернатива поэту — нейросеть, научившаяся писать стихи в духе лирики Курта Кобейна.

Это уже третий музыкально-алгоритмический эксперимент Ивана и Алексея после «Нейронной обороны» — вариации нейросети на тему творчества Егора Летова — и композиции, написанной алгоритмом в стиле работ Скрябина и исполненной камерным оркестром на Yet another Conference. Когда оркестр, открывавший конференцию о применении новейших цифровых технологий в различных областях, смолк, на сцене появился Андрей Себрант и с видом очень сосредоточенным заявил: «То, что вы видели, — не просто метафора, а пример того, как изменилась наша жизнь с момента появления машинного интеллекта».

The Village выяснил у специалистов, что все это значит и к чему приведет.

Что такое нейросеть

Нейросети рисуют котов, ищут людей по фотографии, верстают сайты, переводят тексты и наконец читают рэп, пишут песни и музыку. Но прежде чем рассказать, как они это делают и какое будущее ждет музыкальную индустрию и индустрию развлечений с развитием нейросетей, важно прояснить пару базовых деталей.

Нейросеть — это тип алгоритма, вид машинного обучения, не более того. Никакого антропоморфного робота, возникающего в сознании большинства людей, когда они видят очередной броский заголовок, что нейросеть или искусственный интеллект опять что-то сделал, нет. «Если говорить очень просто, то машинное обучение — это обучение алгоритмов работать на основе данных, которые им показывают, — объясняет Михаил Биленко, руководитель управления машинного интеллекта и исследований „Яндекса“. — Представьте, что вам нужно научить программу отличать кошек от собак на фотографии. Благодаря машинному обучению сейчас можно просто показать алгоритму набор картинок с кошками и набор картинок с собаками, и на основе этой информации он научится определять кошек и собак и на других картинках, которых не было в этих наборах. А нейросети — это просто один из видов машинного обучения, который крайне эффективно решает определенные классы задач».

Идея алгоритмического композиторства

Самое первое предположение о том, что машина может писать музыку, выдвинула автор идеи компьютера, математик Ада Лавлейс в 1843 году, а задачу сделать алгоритм, который бы моделировал собой мозг, ученые поставили перед собой в начале 60-х. Раз мозг сочиняет музыку, возможно, и алгоритм с такой задачей справится. Если же говорить о качественном прорыве в развитии нейросетей, позволившем научить их генерировать музыку, то он лежал не в плоскости математики, а в вычислительной стороне дела. И способствовали ему, как ни странно, геймеры 90-х.

«Оказалось, что графические карты, изначально создававшиеся для компьютерных игр, можно использовать для научных вычислений и для обучения нейросетей, поскольку при обучении там происходит параллельно очень много сравнительно простых процессов», — рассказывает Иван Ямщиков, сотрудник Института Макса Планка. Графическая карта в игре разбивает всю поверхность на треугольники, и каждый треугольник обрабатывает отдельно, а потом все склеивает вместе. «В какой-то момент кто-то сказал: „Погодите, а давайте вместо картинок в компьютерных играх другие алгоритмы параллельных вычислений на видеокартах гонять!“ — в итоге сейчас за сравнительно небольшие деньги можно купить устройство, которое лет десять назад считалось бы суперкомпьютером, и на нем сравнительно быстро обучать достаточно глубокие нейросети», — говорит исследователь.

Как тренируется нейросеть

Чтобы научить нейросеть писать музыку, ей нужно дать очень большое количество примеров музыкальных произведений в понятном ей формате — например, партитуры или MIDI-файлы. Обучая сеть писать стилизации под Скрябина, операторы использовали в качестве примеров 4 гигабайта MIDI-файлов с классическими и современными произведениями. Сбор примеров — первая большая проблема нейросетевого композиторства. Заключается она в том, что таких примеров нужно действительно очень много, а для обучения сетки подойдет далеко не каждый файл.

«Например, мы берем простенький хаус-трек с очень скучным монотонным басом, который всю композицию играет одну ноту. Если наша задача сделать музыку как можно более разнообразной, такой трек для обучения использовать не стоит: он сильно испортит качество результата. Все, чему от него научится нейросетка, — повторять одну и ту же ноту», — объясняет Ямщиков.

Поэтому после формирования дата-сета его приходится фильтровать, и определение принципов этой фильтрации — труд на границе между наукой и искусством.

Следующая задача оператора нейросети — определить, какую информацию из выбранного трека нужно передавать и в каком виде. По словам консультанта «Яндекса», есть несколько используемых моделей. Одна из них — автоэнкодер. Это метод, когда нейросеть слушает какой-то фрагмент музыки целиком, а потом должна целиком его воспроизвести, и чем ближе сетка попадает в оригинал, тем лучше. Есть языковая модель — когда сеть слушает одну ноту и пытается предсказать следующую, слушает реальный ответ и опять пытается предсказать следующую ноту. В вопросе подходов на данный момент теории меньше, чем практики, поэтому программисты просто перебирают разные варианты и смотрят, где получается интереснее.

Что получается в итоге

В процессе работы над генерацией музыки Алексей Тихонов натренировал три нейросетки: одна пишет мелодию, одна — бас, и еще одна — барабаны. Такая система в целом больше напоминает прототип панк-группы, чем оркестра, поэтому для классического открытия с камерным оркестром ее использовать не стали. Вместо этого мелодии, написанные нейросетью, отдали Марии Черновой, основателю и креативному директору «Артнови», композитору и эксперту по творчеству Скрябина. Ее задачей было связать написанные нейросетью пьесы в единую композицию и создать аранжировку под утвержденный состав камерного оркестра с сольной партией терменвокса. Первую, более механистичную часть композиции машина на конференции сыграла сама, вторую — аранжированную Черновой — исполняли живые музыканты. И необходимость использовать живых исполнителей обязала внести в генеративную музыку еще ряд изменений. «При сохранении музыкального языка нейросети моя задача также состояла в том, чтобы придать пьесе форму, развитие и логику в гармоническом построении», — уточняет композитор.

Алгоритм-куплетист

Нейросети не только пишут музыку, но и слова, которые можно на нее наложить. В марте 17-летний школьник Робби Бэррат научил нейросеть сочинять рэп по мотивам текстов Канье Уэста, скормив ей 6 тысяч строк из его песен в качестве примеров.

Изначально алгоритм просто менял их местами, но потом стал писать лирику самостоятельно. Алексей Тихонов и Иван Ямщиков учили нейросеть писать тексты в стиле Летова и Кобейна. Первого выбрали из-за свойственной «Гражданской обороне» и всему русскому року высокому уровню апофении: в большинстве текстов жанра отсутствует авторский нарратив. Его в песни привносит рефлексирующий слушатель.

Дело в том, что в ходе работы обнажился еще один пробел на стыке математики и филологии. У машины проблема с сюжетностью, а объяснить ей, что это, некому. «Можно объяснить ей, что такое слово, но очевидно, что сюжет не сводится к слову и даже к предложению, — поясняет Иван Ямщиков. — Мы пытаемся разобраться с этой проблемой уже год, и не мы одни. Инструментов, с помощью которых ее пытаются решить, очень много. Некоторые под это дело поднимают десятки миллионов долларов, но, к сожалению, когда заходишь на их сайты и хочешь что-нибудь „потрогать“, они ничего не показывают».

Жорж Польти еще в конце XIX века вывел теорию о том, что в мире существует всего 36 драматических ситуаций, Борхес и вовсе сократил их число до четырех. Но оператор нейросети на вопрос, сколько их, конечно ли число сюжетов, и если нет, как научить нейросеть писать новые, ответить не может. В этом отношении следующий большой прорыв должен произойти с помощью людей искусства и гуманитариев. Чем лучше они научатся гуманитарные науки формализовать, тем больше шансов у разработчиков создать для них более интересные инструменты.

Нейросети и музыкальные сервисы

У нейросетей и музыки большое будущее. Во-первых, нейросети уже применяются фактически во всех музыкальных сервисах от Spotify до «Яндекс.Музыки» — там нейросеть советует пользователям новые треки.

Вообще, всякого рода рекомендательные алгоритмы — это колыбель машинного разума. Множество решений и методов, использующихся в разных приложениях искусственного интеллекта, было изначально придумано именно для алгоритмических рекомендаций. «Есть такая цепочка базз-бордов: сначала все говорили про big data, потом все стали говорить про машинное обучение, а потом — про машинный интеллект и нейросети, — объясняет Иван Ямщиков. — Эта последовательность связана с производственным циклом разного рода айтишных компаний». Сначала они поняли: у них много информации о пользователях, которую нужно хранить, чтобы как-то впоследствии научиться на ней зарабатывать. После того как данных стало достаточно много и на них уже можно было натравливать какие-то более продвинутые алгоритмы, все стали говорить про машинное обучение. А дальше в рамках машинного обучения появились нейросети, как раз обладающие большим преимуществом там, где речь идет о персонализации, вкусах и предпочтениях, и становящиеся все более доступной технологией.

«Сегодня нейросети помогают найти действительно похожие по звучанию треки, благодаря чему наши сервисы уже умеют воспринимать музыку как нечто большее, чем просто комбинацию исполнителя и жанра, — рассказывает Евгений Крофто, руководитель группы анализа музыки в „Яндекс.Музыке“. — Мы анализируем, какие треки пользователи слушают совместно, и обучаем сеть предсказывать их похожесть на основании одного лишь аудиосигнала». Очевидно, что в ближайшее время количество такого рода услуг будет расти вместе с уровнем персонализации рекомендаций.

Первый онлайн-продюсер

Год назад о себе заявил русский стартап Mubert — первый онлайн-композитор электронной музыки. Его продукт — свободный от копирайта поток ликвид-фанка, дип-хауса, эмбиента и чилстепа, генерируемый алгоритмом в режиме реального времени. В апреле создатели приложения объявили о разработке версии для бегунов Mubert.Run, которая будет генерировать музыку, поддерживающую ритм атлета во время тренировки. Сейчас они привлекают к работе (на коммерческой основе) продюсеров, создающих музыку в диапазонах 160–180 ударов в минуту, и планируют партнерство с одним из спортивных мейджоров.

Музыка для спорта

Конечно, Mubert своим будущим релизом Америку не откроет, спортивные приложения подготовили обширную почву для интеграции в них генеративной музыки. Например, в 2012 году появилась веселая аудиоигра для спортсменов «Zombies, Run!». Приложение с 200 разными миссиями синхронизировалось с картой местности и во время пробежки посылало в наушники игрока звуки преследующих его зомби, заставляя ускоряться. Больше 3 миллионов установок сделало приложение самой большой по числу участников фитнес-игрой на смартфоне. Также алгоритм мог бы изменять звуковую дорожку в игре, синхронизируясь, например, с пульсом пользователя.

Музыка для коммерческого видео

Оксфордский стартап Juckedeck, удостоенный «Каннских львов, генерирует royalty free музыку для рекламы. Здесь за 200 долларов можно купить аудио для коммерческого использования.

Музыка для общественных мест

Еще одна перспектива буквально двух-трех лет — персонализированная музыка в заведениях. Представьте, что вы чекинетесь на входе в кафе, а как только переступаете его порог, в нем меняется звуковое оформление. То есть алгоритм анализирует всех посетителей места и начинает подстраивать звучащую в нем музыку так, чтобы она нравилась в среднем им всем. Если развивать мысль дальше, возможно, на входе в ночной клуб фейсконтрольщик когда-нибудь будет не только мерить гостей испытующим взглядом, но и просить показать плейлист.

Рынок этот пока фактически свободный, и прийти сюда с новым продуктом может кто угодно, главное — придумать для технологии правильное применение.

Вытеснит ли нейросеть продюсера

Если нейросети освоятся в композиторском деле, то, по мнению Марии Черновой, они вполне смогут вытеснить авторов авангардной, интуитивной музыки или нойза. Но вытеснить музыканта-исполнителя ей не под силу. «Музыкант-исполнитель работает со временем, для человека время — это жизнь, люди его очень тонко ощущают, — размышляет она. — Машина не сможет столь же тонко работать со временем, поскольку интуитивной гибкости ей не достичь. В живом исполнении всегда присутствует доля импровизационности, что и подкупает зрителя, хотя я совсем не исключаю появления робоколлективов».

На самом же деле, перед пишущей музыку нейросетью задачи заменить композитора никто и не ставит. «Обычно мы хотим, чтобы машина делала не то, что мы умеем, а то, чего мы не умеем, — говорит Ямщиков. — Экскаватор не заменяет человека с лопатой, при всей схожести с ним, он может делать принципиально другие вещи. И мы все равно используем человека с лопатой, когда копаем грядки на даче, но, когда нам нужно сделать фундамент для дома, мы используем экскаватор». По его словам, не так интересно, научится ли машина писать музыку, как человек. Интересно другое: сможет ли человек с помощью машины сделать нечто принципиально отличающееся от направлений искусства, уже им созданных.


Обложка: SergeyStock.adobe.com

Share
скопировать ссылку

Читайте также:

От винта: 7 способов заработать на дронах
От винта: 7 способов заработать на дронах В мирное время беспилотные летательные аппараты подрабатывают официантами, охранниками и фермерами. H&F нашёл самые интересные способы применения дронов.
От винта: 7 способов заработать на дронах

От винта: 7 способов заработать на дронах
В мирное время беспилотные летательные аппараты подрабатывают официантами, охранниками и фермерами. H&F нашёл самые интересные способы применения дронов.

Приход и расход: Почему война с наркоторговлей не имеет смысла
Приход и расход: Почему война с наркоторговлей не имеет смысла Пять нобелевских лауреатов по экономике считают, что война с наркоторговлей неэффективна и даже вредна. H&F приводит их главные доводы.
Приход и расход: Почему война с наркоторговлей не имеет смысла

Приход и расход: Почему война с наркоторговлей не имеет смысла
Пять нобелевских лауреатов по экономике считают, что война с наркоторговлей неэффективна и даже вредна. H&F приводит их главные доводы.

70 приложений для знакомств на все случаи жизни
70 приложений для знакомств на все случаи жизни Потные футболки, закрытые клубы и Трамп — на что идут конкуренты Tinder, чтобы зацепить одиночек и не только
70 приложений для знакомств на все случаи жизни

70 приложений для знакомств на все случаи жизни
Потные футболки, закрытые клубы и Трамп — на что идут конкуренты Tinder, чтобы зацепить одиночек и не только

Сотрудники «Яндекса» научили нейросеть писать стихи в стиле Курта Кобейна

На основе сгенерированных текстов исследователи записали музыкальный альбом

Тэги

Новое и лучшее

Эксклюзив The Village: Запрет на выезд из России можно проверить на черном рынке

Кафе Birds в Белграде

Бывший студент ИТМО годами преследует учительницу химии

Криптовалюта — все еще удобный способ вывода денег. Варианты для уехавших

Гид по магазинам Стамбула: От местного ЦУМа до винтажных лавочек

Первая полоса

Кто такие Лена и Катя, написавшие «Лето в пионерском галстуке»?

Кто такие Лена и Катя, написавшие «Лето в пионерском галстуке»?Харьков, каминг-аут, лесопилка и хейтеры

Кто такие Лена и Катя, написавшие «Лето в пионерском галстуке»?

Кто такие Лена и Катя, написавшие «Лето в пионерском галстуке»?
Харьков, каминг-аут, лесопилка и хейтеры

Можно ли отказаться идти на войну через суд?

Собрали все известные случаи

Как пытают в Москве?

Как пытают в Москве?Можно ли вообще добиться правосудия? Исследование «Команды против пыток» и The Village

Как пытают в Москве?

Как пытают в Москве? Можно ли вообще добиться правосудия? Исследование «Команды против пыток» и The Village

Что делать в Тбилиси? Выпуск № 5, декабрь
Что делать в Тбилиси? Выпуск № 5, декабрь Изучать коррупцию и ездить на велосипеде
Что делать в Тбилиси? Выпуск № 5, декабрь

Что делать в Тбилиси? Выпуск № 5, декабрь
Изучать коррупцию и ездить на велосипеде

Показываем куски манги «Человек-бензопила»

Показываем куски манги «Человек-бензопила»Петр Полещук выясняет: это безумный слэшер или религиозная притча?

Показываем куски манги «Человек-бензопила»

Показываем куски манги «Человек-бензопила» Петр Полещук выясняет: это безумный слэшер или религиозная притча?

Бывший студент ИТМО годами преследует учительницу химии

Бывший студент ИТМО годами преследует учительницу химииЧто ей делать?

Бывший студент ИТМО годами преследует учительницу химии

Бывший студент ИТМО годами преследует учительницу химии Что ей делать?

«Почта России» запустила доставку одежды из Европы. Также стало известно, кто займет место H&M в торговых центрах

У метро «Проспект Просвещения» в Петербурге появился шар, который подозрительно похож на фигуру с Alibaba

Сотрудники склада Ozon в Подмосковье заболели менингитом. Госпитализировано более 10 человек

Сырки «Б. Ю. Александров» вернутся на прилавки

«Забрать свой цинк». История Ольги Гуровой
«Забрать свой цинк». История Ольги Гуровой Психолог лаборатории опознания трупов из Чечни теперь работает с жертвами войны в Украине
«Забрать свой цинк». История Ольги Гуровой

«Забрать свой цинк». История Ольги Гуровой
Психолог лаборатории опознания трупов из Чечни теперь работает с жертвами войны в Украине

Какие фильмы поддержит Минкульт в 2023 году в первую очередь

Popcorn Books больше не издают и не продают квир-книги. Завтра последний день, когда их можно купить

«За него все подписали и теперь везут в военную часть в Твери». Данила Шершева из «Кружка» забрали в армию

Совфед одобрил закон о запрете митингов у зданий органов власти и церквей

Совфед одобрил пакет законов о запрете «пропаганды» ЛГБТ, педофилии и смены пола в кино, книгах, рекламе и СМИ

В «Черную пятницу» россияне потратили более 13 миллиардов рублей

На обвиняемую в распространении «фейков» про армию России Викторию Петрову давят в СИЗО через ее сокамерниц

МИД закупил подарки для оставшихся в России иностранных дипломатов — Baza

«Яндекс» запустил тариф «Вместе» для поездок с незнакомцами в такси

Сколько пожертвовали москвичи на строительство православных храмов за 12 лет

Спрос на iPhone 14 в России упал в 2,5 раза по сравнению с продажами гаджетов предыдущей модели

В Minecraft появился постсоветский зимний двор — с пятиэтажками, гаражами и турниками

Какая погода ожидается в Москве, Петербурге, Тбилиси, Ереване и Белграде в начале декабря

В 1976 году Путин провел обыск за надпись «Вы распинаете свободу, но душа человека не знает оков» на Петропавловке

Студентку, рассказавшую о принудительных гуманитарных сборах, исключили из техникума

«Мама, я дома»: Как мать наемника ЧВК ждет сына с фронта
«Мама, я дома»: Как мать наемника ЧВК ждет сына с фронта Ужасно, когда на войне погибают, но порой еще хуже, когда с нее возвращаются
«Мама, я дома»: Как мать наемника ЧВК ждет сына с фронта

«Мама, я дома»: Как мать наемника ЧВК ждет сына с фронта
Ужасно, когда на войне погибают, но порой еще хуже, когда с нее возвращаются

Гид по рынкам Тбилиси
Гид по рынкам Тбилиси Продукты на Дезертирке и в Глдани, антиквариат на «Навтлуги», фуд-корт на Bazari Orbeliani, а еще цветочный рынок и «Золотая биржа»
Гид по рынкам Тбилиси

Гид по рынкам Тбилиси
Продукты на Дезертирке и в Глдани, антиквариат на «Навтлуги», фуд-корт на Bazari Orbeliani, а еще цветочный рынок и «Золотая биржа»

В парках Москвы открылся 21 каток с искусственным льдом

«ВКонтакте» заблокировала группу «Совета матерей и жен военнослужащих»

Ведущая «Спокойной ночи, малыши» предложила привезти на фронт Хрюшу со Степашкой и попросить украинцев «остановиться»

РПЦ безвозмездно получила здание петербургской РАНХиГС. Студентов чуть не выселили

В ноябре число объявлений о срочной продаже квартир в России достигло рекорда

Little Big покинули двое музыкантов. Похоже, что группа распалась

Петербургскую тюрьму «Кресты» выставят на продажу

Московские кинотеатры «Факел», «Юность» и «Звезда» откроются в новом году

В Белграде тоже можно быть полезным. Вот наш гид по волонтерству
В Белграде тоже можно быть полезным. Вот наш гид по волонтерству Антивоенные сборы, борьба с патриархатом на Балканах и зоозащитники
В Белграде тоже можно быть полезным. Вот наш гид по волонтерству

В Белграде тоже можно быть полезным. Вот наш гид по волонтерству
Антивоенные сборы, борьба с патриархатом на Балканах и зоозащитники

Более 50% благотворительных фондов заявили о сокращении пожертвований

Это идеальная ЛГБТ-пропаганда

Это идеальная ЛГБТ-пропагандаЛучшие фильмы, чтобы посмотреть с гомофобом, если ему не слабо

Это идеальная ЛГБТ-пропаганда

Это идеальная ЛГБТ-пропаганда Лучшие фильмы, чтобы посмотреть с гомофобом, если ему не слабо

Движение Food not bombs в Москве прекратило деятельность из-за угрозы опасности

Сегодня в Тбилиси пройдет марш против сексуального насилия

Что делать в Ереване? Выпуск № 5, ноябрь — декабрь
Что делать в Ереване? Выпуск № 5, ноябрь — декабрь Участвовать в благотворительном забеге, слушать «Аигел» и смотреть «Треугольник печали»
Что делать в Ереване? Выпуск № 5, ноябрь — декабрь

Что делать в Ереване? Выпуск № 5, ноябрь — декабрь
Участвовать в благотворительном забеге, слушать «Аигел» и смотреть «Треугольник печали»

На Бауманской горит ТЦ «Елоховский пассаж»

Сериалу «Монастырь» не выдали прокатное удостоверение. По мнению РПЦ, он оскорбляет чувства верующих

Где учить турецкий язык: От онлайн-школ до бесплатных курсов в Стамбуле
Где учить турецкий язык: От онлайн-школ до бесплатных курсов в Стамбуле Даже простое «merhaba» прибавит вам очков в глазах местных
Где учить турецкий язык: От онлайн-школ до бесплатных курсов в Стамбуле

Где учить турецкий язык: От онлайн-школ до бесплатных курсов в Стамбуле
Даже простое «merhaba» прибавит вам очков в глазах местных

Ночью в «Открытом пространстве» проходили обыски. Задержали более 15 человек, многие из них рассказывают об избиениях

Ювелирные изделия в России скоро ощутимо подорожают
Ювелирные изделия в России скоро ощутимо подорожают Объясняем, почему так и где купить украшения дешевле, пока не поздно
Ювелирные изделия в России скоро ощутимо подорожают

Ювелирные изделия в России скоро ощутимо подорожают
Объясняем, почему так и где купить украшения дешевле, пока не поздно

Первоклашкам предложили написать письмо «незнакомому мобилизованному» — вместо Деда Мороза

Как разговаривать с близкими, которые стали жертвами пропаганды
Как разговаривать с близкими, которые стали жертвами пропаганды Пошаговая инструкция для россиян
Как разговаривать с близкими, которые стали жертвами пропаганды

Как разговаривать с близкими, которые стали жертвами пропаганды
Пошаговая инструкция для россиян

Цена на импортные новогодние ёлки вырастет на 25%. В Рослесинфорге предложили россиянам самим сходить в лес за елью

О героине The Village снимут сериал. Историю Светы Уголёк экранизирует студия «Среда», премьера — в 2024 году

Госдума окончательно приняла закон о запрете «ЛГБТ-пропаганды»

Лейла Гиреева, сбежавшая из дома в Ингушетии от побоев и «лечения от атеизма», на свободе. Но все еще в опасности

Ушедшую из России Lush заменит косметическая сеть Oomph

В медицинских вузах будет больше бюджетных мест

Петербуржцам запретят добывать березовый сок и вырезать надписи на деревьях

Посмотрите, как в Ереване протестуют накануне приезда Путина, Лукашенко и Лаврова

Чехия запретила безвизовый транзит для россиян

Участок «Октябрьская» — «Новые Черемушки» закроют с 3 по 7 декабря

Якутский панк против войны
Якутский панк против войны Полицейские устали задерживать Айхала Аммосова и хотят его посадить
Якутский панк против войны

Якутский панк против войны
Полицейские устали задерживать Айхала Аммосова и хотят его посадить