Вишвакарма Сингх | Дэн Ли, руководитель отдела машинного обучения по вопросам доверия и безопасности | Ведущий специалист по данным о доверии и безопасности

Pinterest - это сеть для вдохновения, куда люди приходят за позитивом и новыми идеями, и в вредном контенте нет ничего вдохновляющего. Как движок визуального обнаружения с сотнями миллиардов пинов, важно, чтобы мы использовали новейшие технологии машинного обучения, чтобы быстро удалять вредоносный контент и противодействовать тому, кто намеревается его распространять.

Чтобы Pinterest был безопасным и вдохновляющим, мы активно принимаем меры в отношении контента, который нарушает наши принципы сообщества, с помощью модераторских расследований и автоматизированных систем, а также боремся со спамом с помощью механизма правил в реальном времени. Наши Модели машинного обучения выявляют контент, который нарушает наши правила, от дезинформации о здоровье до языка вражды, членовредительства и сцен насилия. За прошедшие годы мы также улучшили способность обнаруживать похожие изображения с помощью Spark, LSH и TensorFlow, которые применялись в работе Trust and Safety для масштабных действий.

Использование моделей машинного обучения для автоматического обнаружения небезопасного контента до того, как о нем будет сообщено, количество отчетов о нарушающем правила содержании на показ уменьшилось на 52% с осени 2019 года, когда была внедрена эта технология. А с апреля 2019 года количество сообщений о самоповреждении уменьшилось на 80%.

Борьба с такими областями, как дезинформация, сложна и постоянно развивается, поэтому мы постоянно работаем над улучшением наших технологий и подходов к политике, чтобы наша платформа оставалась безопасной и вдохновляющей, используя сочетание людей и машин.

Применение политики с моделями машинного обучения

При применении политик к пинам мы группируем все пины с похожими изображениями и идентифицируем их по уникальному хешу, называемому сигнатурой изображения. Наши модели машинного обучения генерируют оценки для каждой подписи изображения, которые хранятся в хранилище ключ-значение на основе RockDB для онлайн-обслуживания. Затем мы применяем одно и то же решение о принудительном применении ко всем пинам с одинаковой подписью изображения на основе этих оценок.

Поскольку пиннеры обычно сохраняют тематически связанные пины вместе как коллекцию на досках по таким темам, как рецепты, у нас также есть модель машинного обучения для получения оценок для досок. Мы применяем фильтрацию досок, используя оценки модели.

Сегодня наши модели обнаруживают и фильтруют нарушения политики в отношении контента для взрослых, ненавистнических действий, медицинской дезинформации, наркотиков, членовредительства и сцен насилия. Мы планируем явно моделировать другие категории в нашей следующей итерации.

У нас есть дополнительные пакетные и онлайн-модели для упреждающего обнаружения пинов, нарушающих политику. Когда создается новый пин, наша технология ищет его изображение-подпись, чтобы узнать, присутствует ли оценка пакетной модели. Если он существует в магазине, соответствующие оценки используются для обеспечения соблюдения, в противном случае мы используем оценки, полученные с помощью онлайн-модели. Система правоприменения с высоты птичьего полета показана на рисунке 1.

Модели машинного обучения

Вот обзор наших моделей машинного обучения для обнаружения вредоносных пинов и досок.

Пин-пакетная модель

Наша модель пакетной оценки Pin представляет собой сеть с прямой связью, как показано на рисунке 2, которая выводит распределение по шести смоделированным категориям нарушений и безопасной категории. Модель использует две функции: вложения PinSage и текст изображения, извлеченный с помощью оптического распознавания символов (OCR). PinSage - это сильно информативное представление пина, основанное на его ключевых словах и встраивании изображений, которые агрегированы с сетью свертки графов с использованием двудольного графа пинов и досок. Мы используем стандартные методы контролируемого обучения для интерактивного обучения на одном экземпляре графического процессора в Jupyter.

Наш обучающий набор включает миллионы проверенных людьми пинов, состоящих как из пользовательских отчетов, так и из упреждающей выборки на основе моделей из нашего корпуса. Наша группа по обеспечению доверия и безопасности назначает категории и принимает меры в отношении нарушающего содержания, которые формируют ярлыки для обучения и оценки наших моделей.

Логический вывод выполняется ежедневно с использованием пользовательских функций Spark, Spark SQL и PySpark Pandas для оценки всего нашего корпуса из миллиардов контактов. Суть нашей работы по выводу показана на рисунке 3.

Закрепить онлайн-модель

Чтобы оптимизировать время, необходимое для того, чтобы пины проходили через автономные конвейеры в нашем рабочем процессе скоринга, мы используем лямбда-архитектуру с онлайн-вариантом нашей пакетной модели пинов (с идентичной архитектурой), которая использует вложения из онлайн-варианта PinSage. Наша онлайн-модель производит распределение оценок по категориям в режиме реального времени для новых пинов и, таким образом, позволяет нам немедленно предотвратить распространение пинов, нарушающих политику. Онлайн-модель меняет производительность на скорость - онлайн-PinSage не использует график Pin-Board, поэтому он менее точен по сравнению с пакетной версией, но доступен почти в реальном времени. Логический вывод, инициированный событиями в Kafka, выполняется в задании Flink с использованием библиотеки TensorFlow Java, а выходные оценки сохраняются на нашей внутренней платформе Galaxy для хранения и обслуживания.

Пакетная модель платы

Мы используем модель Pin, обученную с использованием только встраиваний PinSage, чтобы генерировать оценки безопасности контента для досок. Мы создаем вложения для каждой платы, объединяя вложения PinSage самых последних сохраненных на ней пинов. Эти вложения платы также находятся в пространстве встраивания PinSage, поэтому мы вводим их в модель Pin на основе PinSage, чтобы получить распределение оценок по категориям для каждой платы. Это позволяет нам выявлять советы директоров, нарушающие политику, без обучения модели для советов директоров.

Мы также разветвляем оценки платы на подписи изображений и используем их для фильтрации пинов, нарушающих политику. Распределение оценок подписи изображения - это среднее по категориям оценок платы, содержащих Пины, принадлежащие подписи изображения, как показано на рисунке 4.

Измерение

Небезопасный контент составляет очень небольшой процент показов на Pinterest, поэтому точное измерение распространенности может быть затруднительным и дорогостоящим. Один из способов измерить успех - это просмотреть отчеты пользователей с подтвержденными случаями нарушений, чтобы выявить всплески небезопасного контента, как правило, из-за новых типов трендового контента, которые могут создавать проблемы для наших моделей.

Заключение

Pinterest стремится сделать Интернет более позитивным и безопасным. Мы активно инвестируем в машинное обучение, чтобы обнаруживать и применять проблемный контент в любом масштабе, используя несколько моделей для защиты наших пользователей от вредоносного опыта. Мы постоянно работаем над созданием технологий и внедрением политик, которые создают позитивную среду, соответствующую цели, по которой люди приходят в Pinterest, - чтобы вдохновиться. Это работа, выполняемая под этим положительным опытом, гарантируя, что вредоносный контент выявляется и удаляется, а вдохновляющий контент поднимается на первое место.

На высоком уровне наша организация по вопросам доверия и безопасности состоит из групп по сигналам, инструментам и платформам. Команда по сигналам, в которую входят инженеры, специалисты по данным и прикладные ученые, разрабатывает и запускает сигналы машинного обучения, группа разработчиков платформы создает инфраструктуру для обеспечения масштабного применения, а группа инструментов создает инструменты, позволяющие экспертам в предметной области точно проверять и маркировать контент.

Мы всегда работаем над улучшением наших технологий и методов обеспечения безопасности контента, а также работаем с другими в отрасли. Недавно мы провели Саммит по машинному обучению по вопросам доверия и безопасности с выступлениями коллег из таких компаний, как Youtube / Google, Facebook, LinkedIn, Snap, Yelp и Microsoft, на котором присутствовали сотни человек. Если вас интересуют последние новости и события Pinterest Engineering, подпишитесь на нас в Twitter по адресу @ PinterestEng. И посетите наш сайт вакансий, если вы заинтересованы в том, чтобы присоединиться к нашей команде и работать над решениями этих проблем с точки зрения доверия и техники безопасности.

Благодарности

Огромное спасибо Yuanfang Song, Minli Zang, Oladipo Ositelu, Kate Flaming и Dennis Horte за участие в публикации! Спасибо Гарри Шамански за помощь в публикации этого сообщения в блоге!