После мероприятия Google I/O я написал, что Google хочет, чтобы ваш телефон видел. Разумеется, на WWDC Apple также представила захватывающие новые возможности машинного обучения для приложений iOS.

Apple предоставляет разработчикам несколько фреймворков с разными уровнями настраиваемости, сложность реализации которых возрастает.

Фреймворк Vision отлично подходит для того, чтобы видеть, является ли визуальный материал фото или видео — это включает в себя распознавание лиц и отслеживание объектов — а НЛП (обработка естественного языка) помогает улавливать смысл слов, произнесенных или записанных в тексте.

CoreML может помочь приложениям делать все, что вы ожидаете, включая определение того, что происходит в звуковых клипах и изображениях.

Это все круто, но в этом нет ничего нового — в других системах это уже есть. Самое интересное здесь то, что все эти технологии предназначены для работы на устройстве, и их невероятно легко настроить и запустить.

На устройстве лучше, потому что вы не отправляете материалы по сети для обработки, а это означает, что вы сохраняете конфиденциальность того, что вы обрабатываете, нет связанной стоимости данных, и они доступны, даже если вы не не имеют покрытия сети. Если вы обращаете внимание на этот материал, вы слышали о Приложении Not Hotdog, разработанном в качестве маркетинга для Кремниевой долины HBO. Одним из ключевых выводов этого процесса стало решение запустить классификатор на устройстве для обеспечения точности, производительности и экономичности.

В сообщении блога Not Hotdog также объяснялись некоторые трудности с запуском моделей TensorFlow на устройстве. Это заняло некоторое время, хороших примеров не было, и они работали непосредственно с командой TensorFlow, чтобы получить советы, как заставить его работать. Поскольку CoreML предназначен для работы на устройстве, в первую очередь речь идет о простоте использования. Простота использования — это… нечто другое.

В Демонстрации CoreML на WWDC Apple разъяснила миссию:

«CoreML позволяет максимально упростить использование машинной модели и интегрировать ее в ваше приложение».

Существует новый общедоступный формат для описания моделей, а также новые инструменты для преобразования существующихобученных моделей в этот формат.

Цветы

Оказавшись там, демонстрация показала, что вы можете научить приложение распознавать тип цветка на картинке, перетащив модель и написав 3 строки кода. Это действительно так просто.

Apple подчеркнула, что они разработали это так, чтобы оно работало точно так же, как и все остальное при разработке Xcode, поэтому инженерам не нужны новые навыки, чтобы использовать преимущества этих моделей.

Получение доступа к классификатору осуществляется в соответствии с существующими шаблонами, а предложения по опережающему вводу помогают в реализации.

Применить модель так же просто, как передать ей изображение непосредственно в качестве входных данных.

У вас есть доступ к строке «flowerType» из прогноза модели. Самое простое, что можно сделать для демо — это сделать его меткой.

И вы сделали.

Как насчет не цветов?

Очевидно, что выяснение того, на какой цветок вы смотрите, является нишевым вариантом использования — хотя это действительно всплыло во время семейной прогулки в парке около месяца назад — но легкость, с которой разработчики приложений могут использовать модель машинного обучения в -приложение является точкой.

Есть масса способов использовать эти модели. Приложения могут давать прогнозируемые теги для обмена в социальных сетях, чтобы ваши друзья — а в будущем и вы — могли найти публикуемый вами контент, который им больше всего интересен. Используя iPad Pro с Pencil, приложения могут вводить рукописный ввод так же, как и набранный текст. Предложение эмодзи — это огромная возможность, которой я особенно рад.

Хотя все это звучит весело, это также серьезный бизнес. Финтех-приложения могут быть бесконечными, но некоторые основные варианты использования включают в себя:

  • Идентификация типов документов при захвате перед загрузкой; подтвердите, что клиент предоставляет правильную документацию без переписки
  • Оперативность обслуживания клиентов; давать разные ответы растерявшемуся клиенту и тому, кому просто любопытно
  • Оптимизированные предложения; прогнозировать настройки и входные данные на основе передового опыта или предыдущего поведения клиентов

Будущее

Apple сделала большой шаг вперед, облегчив разработчикам внедрение этих возможностей в свои приложения. Как и во всем, мы должны ожидать, что некоторые простые варианты использования появятся почти сразу. Большинство из них никуда не денутся, и это нормально! Компании будут экспериментировать, и не все из этих экспериментов сработают.

После этого мы должны ожидать, что следующее поколение опыта — будь то итерация первого опыта или новый опыт, вывод которого на рынок занял немного больше времени — начнет двигать иглу.

Как всегда, вопрос: что возможно сейчас, чего не было раньше?