23 января, воскресенье
Москва
Войти

«Левая рука — ударные, правая — синтезатор»: Конструктор музыки, где звуки рисуют руками Arma App от Святослава Иванова и Варвары Шиловой

Непонятная прозрачная сетка на экране, разноцветные искры и, казалось бы, случайные биты — это не экспериментальная сцена летнего рейва, а конструктор музыки Arma App, где звуки рисуют руками. Нужно лишь открыть приложение для iOS, поставить телефон на расстояние в пару метров, а дальше переставлять ладони по разным квадратам сетки — тут-то и заиграет техно.

Arma App создала пара аудиохудожников из России — Святослав Иванов и Варвара Шилова. Никакой связи с объединением Arma 17 здесь нет: название расшифровывается как Augmented Reality Music Act — то есть музыкальный акт в дополненной реальности. Пару лет назад Шилова уехала учиться в Барселону: оказавшись в разлуке, Святослав и Варвара решили перенести свое творчество в диджитал — так и возникла идея сделать Arma.


Святослав Иванов

создатель Arma App

За год мы много чего перепробовали — очень хотелось превратить движение тела в музыку. Сначала пробовали распознавать все тело и отталкиваться от этого. Были и локти, и наклоны, и прыжки. В итоге остановились на пальцах: нужно больше контроля, иначе не достичь задуманного уровня перформанса. На левой руке мы расположили ударные, а на правой — управление синтезатором.

Нейросети распознают жесты рук пользователя. Мы самостоятельно занялись обучением, чтобы сеть видела нужные знаки. Уловив их, сеть синтезирует заранее подобранные и сформированные звуки. Все возможные звучания, их вариации и сочетания мы писали, подбирали и программировали самостоятельно. Конечно, мы провели исследование и изучили немалое количество музыкальных приложений, чтобы лучше понять взаимодействие пользователя с устройством и звуком. Но при этом ни на что конкретно мы не ориентировались. Кажется, аналогов нашему продукту не существует.

Вообще дополненная реальность на мобильных устройствах появилась очень давно — еще во времена Pokemon Go. Но все об этом подзабыли, хотя я уверен, что вот-вот эта технология снова взорвет мир. Часто бывает так, что появляется какая-то технология (в нашем случае распознавание камерой жестов), но найти применение получается не сразу. Здесь главное — подобрать правильную комбинацию технологий и пользовательского экспириенса.


Share
скопировать ссылку

Тэги

Сюжет

Бренды

Прочее

Новое и лучшее

Пришло время заменить вашу маску на респиратор — лучшую защиту от «омикрона», помимо прививки

Чем заняться в Москве с 14 по 23 января

Нижегородский правозащитник рассказал о давлении на родственников в Чечне. Через месяц его мать похитили

«Я сделала выставку из картин, которые нарисовала в психбольнице»

В Петербурге открылась свободная демократическая школа, в которой решения принимают дети

Первая полоса

Пришло время заменить вашу маску на респиратор — лучшую защиту от «омикрона», помимо прививки
Пришло время заменить вашу маску на респиратор — лучшую защиту от «омикрона», помимо прививки Наша редакторка раздела «Стиль» выбрала самые симпатичные и удобные
Пришло время заменить вашу маску на респиратор — лучшую защиту от «омикрона», помимо прививки

Пришло время заменить вашу маску на респиратор — лучшую защиту от «омикрона», помимо прививки
Наша редакторка раздела «Стиль» выбрала самые симпатичные и удобные

Чем заняться в Москве с 14 по 23 января
Чем заняться в Москве с 14 по 23 января Выставка про Цоя, фестиваль экспериментальной электроники и дегустация отечественного вина
Чем заняться в Москве с 14 по 23 января

Чем заняться в Москве с 14 по 23 января
Выставка про Цоя, фестиваль экспериментальной электроники и дегустация отечественного вина

Нижегородский правозащитник рассказал о давлении на родственников в Чечне. Через месяц его мать похитили

Нижегородский правозащитник рассказал о давлении на родственников в Чечне. Через месяц его мать похитили

«Я сделала выставку из картин, которые нарисовала в психбольнице»
«Я сделала выставку из картин, которые нарисовала в психбольнице»
«Я сделала выставку из картин, которые нарисовала в психбольнице»

«Я сделала выставку из картин, которые нарисовала в психбольнице»

В Петербурге открылась свободная демократическая школа, в которой решения принимают дети
В Петербурге открылась свободная демократическая школа, в которой решения принимают дети Вот как она устроена
В Петербурге открылась свободная демократическая школа, в которой решения принимают дети

В Петербурге открылась свободная демократическая школа, в которой решения принимают дети
Вот как она устроена

«Аллея кошмаров» Гильермо дель Торо: Печальная сказка о цирковом обмане и потере человечности
«Аллея кошмаров» Гильермо дель Торо: Печальная сказка о цирковом обмане и потере человечности Главный антигерой — Брэдли Купер
«Аллея кошмаров» Гильермо дель Торо: Печальная сказка о цирковом обмане и потере человечности

«Аллея кошмаров» Гильермо дель Торо: Печальная сказка о цирковом обмане и потере человечности
Главный антигерой — Брэдли Купер

Чайный бар Bobar, итальянский корнер Mamma Mia от White Rabbit Family и ресторан «Бор» от команды Björn
Чайный бар Bobar, итальянский корнер Mamma Mia от White Rabbit Family и ресторан «Бор» от команды Björn
Чайный бар Bobar, итальянский корнер Mamma Mia от White Rabbit Family и ресторан «Бор» от команды Björn

Чайный бар Bobar, итальянский корнер Mamma Mia от White Rabbit Family и ресторан «Бор» от команды Björn

Московская плитка не выдержала зимы. Что говорят горожане?
Московская плитка не выдержала зимы. Что говорят горожане?
Московская плитка не выдержала зимы. Что говорят горожане?

Московская плитка не выдержала зимы. Что говорят горожане?

Дискриминация и секс-позитивность: Подкаст The Village «Неновая этика»
Дискриминация и секс-позитивность: Подкаст The Village «Неновая этика» Рассказываем, как чекать свои привилегии и стать этичнее
Дискриминация и секс-позитивность: Подкаст The Village «Неновая этика»

Дискриминация и секс-позитивность: Подкаст The Village «Неновая этика»
Рассказываем, как чекать свои привилегии и стать этичнее

Велопрогулка по промозглой Москве в клипе «Макулатуры» на новую песню «Нутро»
Велопрогулка по промозглой Москве в клипе «Макулатуры» на новую песню «Нутро» С первого «сборника хитов» группы — «Избранное»
Велопрогулка по промозглой Москве в клипе «Макулатуры» на новую песню «Нутро»

Велопрогулка по промозглой Москве в клипе «Макулатуры» на новую песню «Нутро»
С первого «сборника хитов» группы — «Избранное»

Туалетный шик: В каких московских ресторанах самые интересные уборные

Туалетный шик: В каких московских ресторанах самые интересные уборные

Туалетный шик: В каких московских ресторанах самые интересные уборные

Туалетный шик: В каких московских ресторанах самые интересные уборные

Джапанди, рамен и тайяки: Японское бистро J’Pan на улице Забелина
Джапанди, рамен и тайяки: Японское бистро J’Pan на улице Забелина
Джапанди, рамен и тайяки: Японское бистро J’Pan на улице Забелина

Джапанди, рамен и тайяки: Японское бистро J’Pan на улице Забелина

Думаю, как все закончить: «Все прошло хорошо» — мастерский фильм Франсуа Озона об эвтаназии
Думаю, как все закончить: «Все прошло хорошо» — мастерский фильм Франсуа Озона об эвтаназии
Думаю, как все закончить: «Все прошло хорошо» — мастерский фильм Франсуа Озона об эвтаназии

Думаю, как все закончить: «Все прошло хорошо» — мастерский фильм Франсуа Озона об эвтаназии

Жизнь в тюрьме, судьба оппозиции и будущее России
Жизнь в тюрьме, судьба оппозиции и будущее России Главное из интервью Алексея Навального журналу Time
Жизнь в тюрьме, судьба оппозиции и будущее России

Жизнь в тюрьме, судьба оппозиции и будущее России
Главное из интервью Алексея Навального журналу Time

«Я сделал вазэктомию»
«Я сделал вазэктомию»
«Я сделал вазэктомию»

«Я сделал вазэктомию»

Куда идти прямо сейчас: Гастрокритики и фуди советуют места для идеального бранча
Куда идти прямо сейчас: Гастрокритики и фуди советуют места для идеального бранча
Куда идти прямо сейчас: Гастрокритики и фуди советуют места для идеального бранча

Куда идти прямо сейчас: Гастрокритики и фуди советуют места для идеального бранча

«Событие» Анни Эрно: Почему история нелегального аборта во Франции 60-х актуальна и сейчас
«Событие» Анни Эрно: Почему история нелегального аборта во Франции 60-х актуальна и сейчас
«Событие» Анни Эрно: Почему история нелегального аборта во Франции 60-х актуальна и сейчас

«Событие» Анни Эрно: Почему история нелегального аборта во Франции 60-х актуальна и сейчас

Скидки, за которые надо платить: Почему программы лояльности превратились в подписки
Скидки, за которые надо платить: Почему программы лояльности превратились в подписки И какие новые варианты появились недавно (есть даже на поездки в метро)
Скидки, за которые надо платить: Почему программы лояльности превратились в подписки

Скидки, за которые надо платить: Почему программы лояльности превратились в подписки
И какие новые варианты появились недавно (есть даже на поездки в метро)

«Черная книга» эпохи Собянина
«Черная книга» эпохи Собянина 30 исторических зданий, которые потеряла Москва в прошлом году
«Черная книга» эпохи Собянина

«Черная книга» эпохи Собянина
30 исторических зданий, которые потеряла Москва в прошлом году

Что покупать в весенней коллекции Uniqlo U
Что покупать в весенней коллекции Uniqlo U Вечная классика и базовый гардероб в обновленных расцветках
Что покупать в весенней коллекции Uniqlo U

Что покупать в весенней коллекции Uniqlo U
Вечная классика и базовый гардероб в обновленных расцветках

Подпишитесь на рассылку