30 сентября, среда
Санкт-Петербург
Войти

«Левая рука — ударные, правая — синтезатор»: Конструктор музыки, где звуки рисуют руками Arma App от Святослава Иванова и Варвары Шиловой

Непонятная прозрачная сетка на экране, разноцветные искры и, казалось бы, случайные биты — это не экспериментальная сцена летнего рейва, а конструктор музыки Arma App, где звуки рисуют руками. Нужно лишь открыть приложение для iOS, поставить телефон на расстояние в пару метров, а дальше переставлять ладони по разным квадратам сетки — тут-то и заиграет техно.

Arma App создала пара аудиохудожников из России — Святослав Иванов и Варвара Шилова. Никакой связи с объединением Arma 17 здесь нет: название расшифровывается как Augmented Reality Music Act — то есть музыкальный акт в дополненной реальности. Пару лет назад Шилова уехала учиться в Барселону: оказавшись в разлуке, Святослав и Варвара решили перенести свое творчество в диджитал — так и возникла идея сделать Arma.


Святослав Иванов

создатель Arma App

За год мы много чего перепробовали — очень хотелось превратить движение тела в музыку. Сначала пробовали распознавать все тело и отталкиваться от этого. Были и локти, и наклоны, и прыжки. В итоге остановились на пальцах: нужно больше контроля, иначе не достичь задуманного уровня перформанса. На левой руке мы расположили ударные, а на правой — управление синтезатором.

Нейросети распознают жесты рук пользователя. Мы самостоятельно занялись обучением, чтобы сеть видела нужные знаки. Уловив их, сеть синтезирует заранее подобранные и сформированные звуки. Все возможные звучания, их вариации и сочетания мы писали, подбирали и программировали самостоятельно. Конечно, мы провели исследование и изучили немалое количество музыкальных приложений, чтобы лучше понять взаимодействие пользователя с устройством и звуком. Но при этом ни на что конкретно мы не ориентировались. Кажется, аналогов нашему продукту не существует.

Вообще дополненная реальность на мобильных устройствах появилась очень давно — еще во времена Pokemon Go. Но все об этом подзабыли, хотя я уверен, что вот-вот эта технология снова взорвет мир. Часто бывает так, что появляется какая-то технология (в нашем случае распознавание камерой жестов), но найти применение получается не сразу. Здесь главное — подобрать правильную комбинацию технологий и пользовательского экспириенса.


Share
1
скопировать ссылку

Комментарии

1 комментарий
Показать

хорошая вещь! видеотерменвокс...

Тэги

Сюжет

Бренды

Прочее

Новое и лучшее

Вторжение борщевика в Россию

На что живут лесничие

Посмотрели сериал Ratched? Рассказываем, как повторить образы героев

Как превратить советский парк в современное пространство

Новостройки: ЖК «Настоящее» в Раменках

Первая полоса

Вторжение борщевика в Россию
Истории

Вторжение борщевика в РоссиюКак энтузиасты пытаются остановить его дронами и биооружием

Вторжение борщевика в Россию
Истории

Вторжение борщевика в Россию Как энтузиасты пытаются остановить его дронами и биооружием

На что живут лесничие
Личный счёт
На что живут лесничиеИ как девушке работается в лесу
На что живут лесничие
Личный счёт

На что живут лесничие И как девушке работается в лесу

Посмотрели сериал Ratched? Рассказываем, как повторить образы героев
Гид The Village
Посмотрели сериал Ratched? Рассказываем, как повторить образы героевНью-лук и послевоенная мода
Посмотрели сериал Ratched? Рассказываем, как повторить образы героев
Гид The Village

Посмотрели сериал Ratched? Рассказываем, как повторить образы героев Нью-лук и послевоенная мода

Как превратить советский парк в современное пространство
Общественные пространства
Как превратить советский парк в современное пространствоПоказываем на примере Приморского парка Победы в Петербурге
Как превратить советский парк в современное пространство
Общественные пространства

Как превратить советский парк в современное пространство Показываем на примере Приморского парка Победы в Петербурге

Новостройки: ЖК «Настоящее» в Раменках
Промо
Новостройки: ЖК «Настоящее» в РаменкахКвартал с парком-двором и квартирами на любой вкус
Новостройки: ЖК «Настоящее» в Раменках
Спецпроекты
Промо

Новостройки: ЖК «Настоящее» в Раменках Квартал с парком-двором и квартирами на любой вкус

Свайп вправо или влево: Как сделать правильное фото для сайта знакомств
Промо
Свайп вправо или влево: Как сделать правильное фото для сайта знакомствИ почему бицепсы и выставленная на носок нога уже многим надоели
Свайп вправо или влево: Как сделать правильное фото для сайта знакомств
Спецпроекты
Промо

Свайп вправо или влево: Как сделать правильное фото для сайта знакомств И почему бицепсы и выставленная на носок нога уже многим надоели

На сайтах объявлений активизировались мошенники. Как не стать их жертвой?
Ситуация
На сайтах объявлений активизировались мошенники. Как не стать их жертвой?Разбираемся в способах обмана на «Авито» и «Юле»
На сайтах объявлений активизировались мошенники. Как не стать их жертвой?
Ситуация

На сайтах объявлений активизировались мошенники. Как не стать их жертвой? Разбираемся в способах обмана на «Авито» и «Юле»

Пересказывать прочитанные книги
Хорошая привычка
Пересказывать прочитанные книгиЧтобы стать умнее
Пересказывать прочитанные книги
Хорошая привычка

Пересказывать прочитанные книги Чтобы стать умнее

«Я въехал в Таиланд одним из первых»
Личный опыт
«Я въехал в Таиланд одним из первых»Что ждет россиян, которые захотят провести зиму в этой стране
«Я въехал в Таиланд одним из первых»
Личный опыт

«Я въехал в Таиланд одним из первых» Что ждет россиян, которые захотят провести зиму в этой стране

Дресс-код, мат и борода: Будни атомщиков
Спецпроект
Дресс-код, мат и борода: Будни атомщиковГлазами наших ровесников
Дресс-код, мат и борода: Будни атомщиков
Спецпроекты
Спецпроект

Дресс-код, мат и борода: Будни атомщиков Глазами наших ровесников

Как живется в доме на колесах
Видео
Как живется в доме на колесахИ сколько это стоит
Как живется в доме на колесах
Видео

Как живется в доме на колесах И сколько это стоит

Вредно ли носить стринги?
Есть вопрос
Вредно ли носить стринги?А пользоваться ежедневными прокладками?
Вредно ли носить стринги?
Есть вопрос

Вредно ли носить стринги? А пользоваться ежедневными прокладками?

Как современные пары убираются дома
Спецпроект
Как современные пары убираются домаИ что любят делать, а что нет
Как современные пары убираются дома
Спецпроекты
Спецпроект

Как современные пары убираются дома И что любят делать, а что нет

О чем компании врут в вакансиях
Рабочий вопрос
О чем компании врут в вакансияхКакие виды обмана используют мошенники и обычные работодатели
О чем компании врут в вакансиях
Рабочий вопрос

О чем компании врут в вакансиях Какие виды обмана используют мошенники и обычные работодатели

Как распознать фейк-ньюс
Книга недели
Как распознать фейк-ньюсИ как перепроверить информацию из соцсетей
Как распознать фейк-ньюс
Книга недели

Как распознать фейк-ньюс И как перепроверить информацию из соцсетей

Секс, эмо и взросление на новом альбоме «Зарницы»
Премьера
Секс, эмо и взросление на новом альбоме «Зарницы»Московская панк-группа возвращается с записью «На самый главный вопрос ответ»
Секс, эмо и взросление на новом альбоме «Зарницы»
Премьера

Секс, эмо и взросление на новом альбоме «Зарницы» Московская панк-группа возвращается с записью «На самый главный вопрос ответ»

Гид по острову Сахалин
Путешествия
Гид по острову СахалинИскупаться в Охотском море и объесться икрой
Гид по острову Сахалин
Путешествия

Гид по острову Сахалин Искупаться в Охотском море и объесться икрой

Instagram назвал самые популярные комнатные растения. Рассказываем, где их покупать и как за ними ухаживать
Дом
Instagram назвал самые популярные комнатные растения. Рассказываем, где их покупать и как за ними ухаживать
Instagram назвал самые популярные комнатные растения. Рассказываем, где их покупать и как за ними ухаживать
Дом

Instagram назвал самые популярные комнатные растения. Рассказываем, где их покупать и как за ними ухаживать

Что случилось со Сбербанком
Ситуация
Что случилось со СбербанкомНовый бренд, три виртуальных помощника и платные подписки
Что случилось со Сбербанком
Ситуация

Что случилось со Сбербанком Новый бренд, три виртуальных помощника и платные подписки

Лучшие настольные игры — без «Монополии»
Гид The Village
Лучшие настольные игры — без «Монополии» А также их виды и советы, как выбрать подходящую настолку
Лучшие настольные игры — без «Монополии»
Гид The Village

Лучшие настольные игры — без «Монополии» А также их виды и советы, как выбрать подходящую настолку

Подпишитесь на рассылку