«Левая рука — ударные, правая — синтезатор»: Конструктор музыки, где звуки рисуют руками Arma App от Святослава Иванова и Варвары Шиловой

Непонятная прозрачная сетка на экране, разноцветные искры и, казалось бы, случайные биты — это не экспериментальная сцена летнего рейва, а конструктор музыки Arma App, где звуки рисуют руками. Нужно лишь открыть приложение для iOS, поставить телефон на расстояние в пару метров, а дальше переставлять ладони по разным квадратам сетки — тут-то и заиграет техно.

Arma App создала пара аудиохудожников из России — Святослав Иванов и Варвара Шилова. Никакой связи с объединением Arma 17 здесь нет: название расшифровывается как Augmented Reality Music Act — то есть музыкальный акт в дополненной реальности. Пару лет назад Шилова уехала учиться в Барселону: оказавшись в разлуке, Святослав и Варвара решили перенести свое творчество в диджитал — так и возникла идея сделать Arma.


Святослав Иванов

создатель Arma App

За год мы много чего перепробовали — очень хотелось превратить движение тела в музыку. Сначала пробовали распознавать все тело и отталкиваться от этого. Были и локти, и наклоны, и прыжки. В итоге остановились на пальцах: нужно больше контроля, иначе не достичь задуманного уровня перформанса. На левой руке мы расположили ударные, а на правой — управление синтезатором.

Нейросети распознают жесты рук пользователя. Мы самостоятельно занялись обучением, чтобы сеть видела нужные знаки. Уловив их, сеть синтезирует заранее подобранные и сформированные звуки. Все возможные звучания, их вариации и сочетания мы писали, подбирали и программировали самостоятельно. Конечно, мы провели исследование и изучили немалое количество музыкальных приложений, чтобы лучше понять взаимодействие пользователя с устройством и звуком. Но при этом ни на что конкретно мы не ориентировались. Кажется, аналогов нашему продукту не существует.

Вообще дополненная реальность на мобильных устройствах появилась очень давно — еще во времена Pokemon Go. Но все об этом подзабыли, хотя я уверен, что вот-вот эта технология снова взорвет мир. Часто бывает так, что появляется какая-то технология (в нашем случае распознавание камерой жестов), но найти применение получается не сразу. Здесь главное — подобрать правильную комбинацию технологий и пользовательского экспириенса.


Share
скопировать ссылку

Тэги

Сюжет

Бренды

Прочее

Новое и лучшее

Приходим в себя после майских: Как провести неделю

Социолог, психолог, журналист и священник — о резне в российских школах

Шоссе в никуда: Еще один лес в Москве уничтожат дублерами

Где покупать одежду дешевле и продавать ненужную: 9 российских ресейл-платформ

Где есть сэндвичи с пастрами в Москве

Первая полоса

Приходим в себя после майских: Как провести неделю
Приходим в себя после майских: Как провести неделю Лучшие концерты, выставки и кинопоказы в Москве
Приходим в себя после майских: Как провести неделю

Приходим в себя после майских: Как провести неделю
Лучшие концерты, выставки и кинопоказы в Москве

Социолог, психолог, журналист и священник — о резне в российских школах
Социолог, психолог, журналист и священник — о резне в российских школах Кто виноват и что делать
Социолог, психолог, журналист и священник — о резне в российских школах

Социолог, психолог, журналист и священник — о резне в российских школах
Кто виноват и что делать

Шоссе в никуда: Еще один лес в Москве уничтожат дублерами
Шоссе в никуда: Еще один лес в Москве уничтожат дублерами Новые трассы только усилят пробки
Шоссе в никуда: Еще один лес в Москве уничтожат дублерами

Шоссе в никуда: Еще один лес в Москве уничтожат дублерами
Новые трассы только усилят пробки

Где покупать одежду дешевле и продавать ненужную: 9 российских ресейл-платформ
Где покупать одежду дешевле и продавать ненужную: 9 российских ресейл-платформ
Где покупать одежду дешевле и продавать ненужную: 9 российских ресейл-платформ

Где покупать одежду дешевле и продавать ненужную: 9 российских ресейл-платформ

Где есть сэндвичи с пастрами в Москве
Где есть сэндвичи с пастрами в Москве
Где есть сэндвичи с пастрами в Москве

Где есть сэндвичи с пастрами в Москве

Сколько на самом деле стоит вылечить зуб
Сколько на самом деле стоит вылечить зуб Мы узнали, почему так дорого
Сколько на самом деле стоит вылечить зуб

Сколько на самом деле стоит вылечить зуб
Мы узнали, почему так дорого

Как экономить и откладывать деньги, когда цены постоянно растут
Как экономить и откладывать деньги, когда цены постоянно растут А зарплата — нет
Как экономить и откладывать деньги, когда цены постоянно растут

Как экономить и откладывать деньги, когда цены постоянно растут
А зарплата — нет

10 альбомов, которые вы могли пропустить в 2021 году
10 альбомов, которые вы могли пропустить в 2021 году Ирландец For Those I Love, «ИХНАБТБ» и норвежский постпанк Pom Pom
10 альбомов, которые вы могли пропустить в 2021 году

10 альбомов, которые вы могли пропустить в 2021 году
Ирландец For Those I Love, «ИХНАБТБ» и норвежский постпанк Pom Pom

Как сделать квартиру удобной для жизни
Как сделать квартиру удобной для жизни
Как сделать квартиру удобной для жизни

Как сделать квартиру удобной для жизни

Как быть счастливым без денег, не плакать о потерянных биткоинах и смириться с удаленкой
Как быть счастливым без денег, не плакать о потерянных биткоинах и смириться с удаленкой Наши лучшие истории о работе, бизнесе, заработках и тратах
Как быть счастливым без денег, не плакать о потерянных биткоинах и смириться с удаленкой

Как быть счастливым без денег, не плакать о потерянных биткоинах и смириться с удаленкой
Наши лучшие истории о работе, бизнесе, заработках и тратах

Как ухаживать за волосами и выбрать подходящую расческу, нужно ли менять зубную щетку каждый месяц и чем опасен пирсинг
Как ухаживать за волосами и выбрать подходящую расческу, нужно ли менять зубную щетку каждый месяц и чем опасен пирсинг
Как ухаживать за волосами и выбрать подходящую расческу, нужно ли менять зубную щетку каждый месяц и чем опасен пирсинг

Как ухаживать за волосами и выбрать подходящую расческу, нужно ли менять зубную щетку каждый месяц и чем опасен пирсинг

Новые рестораны и бары Петербурга
Новые рестораны и бары Петербурга Куда стоит идти прямо сейчас
Новые рестораны и бары Петербурга

Новые рестораны и бары Петербурга
Куда стоит идти прямо сейчас

10 музыкальных историй этого года
10 музыкальных историй этого года Кирилл Иванов рассказывает про все альбомы «СБПЧ», а адвокат Оксимирона и Славы КПСС объясняет, почему лучший — Замай
10 музыкальных историй этого года

10 музыкальных историй этого года
Кирилл Иванов рассказывает про все альбомы «СБПЧ», а адвокат Оксимирона и Славы КПСС объясняет, почему лучший — Замай

Как разобрать, обустроить и озеленить балкон в квартире
Как разобрать, обустроить и озеленить балкон в квартире
Как разобрать, обустроить и озеленить балкон в квартире

Как разобрать, обустроить и озеленить балкон в квартире

Сколько стоит квартира, поездка на катере и пляжный фастфуд на российских курортах
Сколько стоит квартира, поездка на катере и пляжный фастфуд на российских курортах Сочи, Туапсе, Геленджик и другие города, куда можно попасть без визы
Сколько стоит квартира, поездка на катере и пляжный фастфуд на российских курортах

Сколько стоит квартира, поездка на катере и пляжный фастфуд на российских курортах
Сочи, Туапсе, Геленджик и другие города, куда можно попасть без визы

Сезон сморчков, черешня и клубника: Что покупать на рынке в мае
Сезон сморчков, черешня и клубника: Что покупать на рынке в мае И что со всем этим готовить
Сезон сморчков, черешня и клубника: Что покупать на рынке в мае

Сезон сморчков, черешня и клубника: Что покупать на рынке в мае
И что со всем этим готовить

Куда можно поехать в отпуск
Куда можно поехать в отпуск От ближайшего Подмосковья до заграничных курортов и сибирских деревень
Куда можно поехать в отпуск

Куда можно поехать в отпуск
От ближайшего Подмосковья до заграничных курортов и сибирских деревень

Где гулять в Москве
Где гулять в Москве 9 маршрутов и музыка для них
Где гулять в Москве

Где гулять в Москве
9 маршрутов и музыка для них

Как приготовить пасхальный кулич дома
Как приготовить пасхальный кулич дома
Как приготовить пасхальный кулич дома

Как приготовить пасхальный кулич дома

Главреды вспоминают лучшие тексты The Village
Главреды вспоминают лучшие тексты The Village
Главреды вспоминают лучшие тексты The Village

Главреды вспоминают лучшие тексты The Village

Подпишитесь на рассылку