Это кросспост из моего блога. Исходный пост можно найти здесь.

За последние несколько лет произошел взрыв машинного обучения, в том числе в творческом контексте — от галлюцинаций щенков до генерирования новых мелодий, машинное обучение уже начинает революционизировать то, как художники и музыканты выполняют свое ремесло.

Мой личный интерес в области машинного обучения связан с его использованием для распознавания жестов человека с помощью датчиков. Этот интерес был вызван работой с Project Soli в качестве участника программы Alpha Developer.

Датчики предлагают мост между физическим миром и цифровым. Богатый сенсорный ввод в сочетании с машинным обучением позволяет разрабатывать новые интерфейсы, которые являются новыми, выразительными и могут быть настроены для специализированной творческой задачи.

Чтобы понять потенциал, который датчики предлагают технологам и художникам, часто необходимо использовать машинное обучение для создания системы, которая может использовать возможности датчика. Датчики сами по себе не всегда легко понять сразу.

С чем-то вроде инфракрасного датчика вы можете получить простую интерактивную систему, работающую с датчиком и некоторой логикой типа если-то-иначе. Что-то вроде лидара или камеры глубины резкости, с другой стороны, будет иметь гораздо больший объем данных — единственный способ разобраться в данных датчика — это использовать машинное обучение для распознавания закономерностей в реальном мире. данные о времени, которые собирает датчик. Важно знать, какой тип данных способен предоставить датчик, и будет ли он подходящим для интерактивной системы, которую вы пытаетесь создать.

Часто чем сложнее данные, которые предоставляет датчик, тем больше интересных вещей вы можете с ним сделать.

Я хотел рассказать о некоторых инструментах с открытым исходным кодом, которые в настоящее время доступны сообществу креативных технологий, чтобы использовать возможности датчиков для добавления интерактивности жестов в проекты творческого кодирования:

  • Векинатор
  • Инструментарий распознавания жестов / ofxGrt
  • ЭСП

ВЕКИНАТОР

Wekinator — это промежуточная программа машинного обучения, разработанная доктором Ребеккой Фибринк из Голдсмитского университета в Лондоне. Основная идея его использования заключается в том, что он получает данные от датчика через OSC (управление открытым звуком) из программы, которая получает данные от датчика, такой как Arduino или скетч Processing. Wekinator используется для обучения системы машинного обучения на этих входящих данных, чтобы распознавать, какой жест произошел, или для сопоставления времени начала и окончания жеста со значением, которое можно использовать для управления диапазоном параметров. Эти значения отправляются из Wekinator через OSC, а затем могут быть получены программой, которая отображает эти значения для управления аудио/визуальными элементами.

Представлено множество примеров, показывающих, как использовать множество датчиков с Wekinator, таких как Wii-Mote, Kinect, Leap Motion и т. д., и сопоставлять их с параметрами различных программ-приемников.

Что хорошего в Wekinator, так это то, что вам не нужно много знать о том, как работает машинное обучение, чтобы его использовать — его сила в том, что он удобен для пользователя и с ним легко экспериментировать.

Если вам интересно узнать, как вы можете использовать Wekinator для добавления интерактивности в свои проекты, я настоятельно рекомендую курс доктора Фибринка Машинное обучение для художников и музыкантов на Kadenze.

НАБОР ДЛЯ РАСПОЗНАВАНИЯ ЖЕСТОВ

GRT — это кроссплатформенный инструментарий для взаимодействия с датчиками для систем распознавания жестов. Он разработан и поддерживается Ником Джиллианом, который в настоящее время является ведущим исследователем машинного обучения в Google Project Soli.

GRT можно использовать как приложение на основе графического интерфейса, которое действует как промежуточное программное обеспечение между входом вашего датчика через OSC и программой-приемником, которая реагирует на события жестов, обнаруженные вашим датчиком. Его использование следует той же схеме, что и Wekinator.

Однако реальное преимущество GRT заключается в том, как вы можете написать свой конвейер распознавания жестов, обучить свою модель и использовать свой код на нескольких платформах. Это полезно, если вы хотите создать прототип системы распознавания жестов на своем рабочем столе, которую, возможно, потребуется развернуть на специальном встроенном оборудовании. Кроме того, вы можете написать собственный модуль для GRT, чтобы настроить конвейер на основе некоторых уникальных характеристик используемого вами датчика.

Обязательно прочитайте статью Ника о наборе инструментов в Journal of Machine Learning Research.

ОФКСГРТ

GRT также встроен в оболочку для использования в Open Frameworks, инструментарий C++ для творческого кодирования, ofxGrt. Этот тип оболочки известен как надстройка. Это упрощает интеграцию в новые или существующие проекты Open Frameworks. В сочетании с многочисленными другими дополнениями Open Frameworks, ofxGrt позволяет программистам интегрироваться с различными типами датчиков для добавления интерфейса в физический мир в своих творческих проектах.

ПРОГНОЗЫ СЕНСОРОВ НА ПРИМЕРАХ

Проект Предсказания датчиков на основе примеров от Дэвида Меллиса и Бен Чжан был создан, чтобы сделать системы машинного обучения на основе датчиков доступными для сообщества Maker и Arduino. Хотя сообщество разработчиков было хорошо знакомо с тем, как работать с датчиками, полностью использовать их потенциал для многофункциональных взаимодействий в экосистеме Arduino было невозможно до тех пор, пока не был разработан этот проект.

Вот краткий видеообзор проекта от создателей:

https://www.youtube.com/watch?v=5nDCG4vkFP0&feature=youtu.be

Проект построен так, что пользователи могут взаимодействовать с датчиками через Обработку, а конвейер распознавания жестов построен с использованием GRT. Он содержит четыре примера:

Разработчикам также предоставляется документация по API о том, как написать свои собственные примеры распознавания жестов на основе датчиков в рамках среды ESP.

Недавно я провел несколько экспериментов с проектом ESP и надеюсь вскоре поделиться некоторыми из этих примеров.

Предстоит еще много работы по изучению того, как можно использовать новые сенсорные технологии для улучшения взаимодействия людей с окружающими их устройствами. Чтобы понять, как эти технологии могут быть полезны, художники и музыканты должны быть в авангарде их использования… доводя датчики и системы машинного обучения до предела возможностей их использования в выразительных контекстах. Когда художники раскрывают интерфейсы в полной мере, в результате выигрывают все — как сказал Билл Бакстон в Художниках и искусстве мастера: Я также обнаружил, что по большому счету существует три уровня дизайна: стандартный спец., военная спец. и художественная спец. Что наиболее важно, я узнал, что третья часть была самой сложной (и самой важной), но если вы могли прибить ее, то все остальное было легко.

Описанные выше инструменты должны побудить художников, музыкантов, дизайнеров и технологов исследовать использование сенсорных систем распознавания жестов в своей творческой практике и представлять способы добавления интерактивности к новым продуктам, изделиям, дизайнам и композициям.