1. Смешанные нейронные модели с максимизацией ожиданий для сквозной глубокой кластеризации (arXiv)

Автор: Думинду Тиссера, Касун Витанаге, Рукшан Виджесингхе, Алекс Ксавьер, Санат Джаясена, Субха Фернандо, Ранга Родриго

Вывод: любой алгоритм кластеризации должен синхронно обучаться моделировать кластеры и распределять данные по этим кластерам при отсутствии меток. Методы, основанные на смешанной модели, моделируют кластеры с предварительно определенными статистическими распределениями и распределяют данные по этим кластерам на основе вероятностей кластеров. Они итеративно уточняют эти параметры распределения и назначения элементов в соответствии с алгоритмом максимизации ожиданий (EM). Однако кластерная репрезентативность таких созданных вручную дистрибутивов, использующих ограниченное количество параметров, недостаточна для большинства реальных задач кластеризации. В этой статье мы реализуем кластеризацию на основе смешанной модели с помощью нейронной сети, где нейроны конечного слоя с помощью дополнительного преобразования аппроксимируют выходы распределения кластеров. Параметры сети представляют собой параметры этих распределений. Результатом является элегантное, сильно обобщенное представление кластеров, а не ограниченная смесь распределений, разработанных вручную. Мы обучаем сеть от начала до конца с помощью пакетных итераций EM, где прямой проход действует как E-шаг, а обратный проход действует как M-шаг. При кластеризации изображений цель EM на основе смеси может использоваться в качестве цели кластеризации вместе с существующими методами обучения представлению. В частности, мы показываем, что когда оптимизация Mix-EM объединяется с оптимизацией согласованности, это повышает производительность единственной оптимизации согласованности в кластеризации. Наши обученные сети превосходят одноэтапные методы глубокой кластеризации, которые все еще зависят от k-средних, с неконтролируемой точностью классификации 63,8% в STL10, 58% в CIFAR10, 25,9% в CIFAR100 и 98,9% в MNIST.

2. UCSL: платформа максимизации ожиданий машинного обучения для неконтролируемой кластеризации, управляемая контролируемым обучением (arXiv)

Автор: Робин Луизе, Пьетро Гори, Бенуа Дюфюмье, Жослен Уэну, Антуан Грижи, Эдуар Дюшене.

Аннотация:Обнаружение подтипа заключается в поиске интерпретируемых и непротиворечивых частей набора данных, которые также имеют отношение к определенной контролируемой задаче. С математической точки зрения это можно определить как задачу кластеризации, управляемую контролируемым обучением, чтобы выявить подгруппы в соответствии с контролируемым прогнозом. В этой статье мы предлагаем общую структуру ансамбля максимизации ожиданий под названием UCSL (неконтролируемая кластеризация, управляемая контролируемым обучением). Наш метод является общим, он может интегрировать любой метод кластеризации и может быть основан как на бинарной классификации, так и на регрессии. Мы предлагаем построить нелинейную модель путем объединения нескольких линейных оценок, по одной на кластер. Каждая гиперплоскость оценивается таким образом, чтобы правильно различать или предсказывать только один кластер. Мы используем SVC или логистическую регрессию для классификации и SVR для регрессии. Кроме того, для выполнения кластерного анализа в более подходящем пространстве мы также предлагаем алгоритм уменьшения размерности, который проецирует данные на ортонормированное пространство, соответствующее контролируемой задаче. Мы анализируем надежность и возможности обобщения нашего алгоритма, используя синтетические и экспериментальные наборы данных. В частности, мы подтверждаем его способность идентифицировать подходящие последовательные подтипы, проводя кластерный анализ психических заболеваний с известными ярлыками достоверности. Выигрыш предлагаемого метода над предыдущими современными методиками составляет около +1,9 балла по сбалансированной точности. Наконец, мы делаем коды и примеры доступными в пакете Python, совместимом с scikit-learn, по адресу https://github.com/neurospin-projects/2021_rlouiset_ucs.

3. Структурированная оценка ковариационной матрицы с отсутствующими данными для радиолокационных приложений с помощью максимизации ожиданий (arXiv)

Автор:Аугусто Обри, Антонио Де Майо, Стефано Марано, Массимо Розамилия

Аннотация: в этой статье рассматривается структурированная ковариационная матрица оценки при наличии пропущенных данных с упором на приложения для обработки радиолокационных сигналов. После обоснования исследования задается модель массива и формулируется задача вычисления оценки максимального правдоподобия структурированной ковариационной матрицы. Разработана общая процедура оптимизации функции правдоподобия наблюдаемых данных с использованием алгоритма максимизации ожидания. Тщательно устанавливаются соответствующие свойства сходимости и анализируется скорость сходимости. Метод оценки контекстуализируется для двух практически важных радиолокационных задач: формирования луча и обнаружения количества источников. В первом случае представлен адаптивный формирователь луча, использующий оценку на основе ЭМ; в последнем вводятся методы обнаружения, обобщающие классический информационный критерий Акаике, минимальную длину описания и информационный критерий Ханнана-Куинна. В заключение представлены численные результаты, подтверждающие теоретическое исследование.

4.Многообразное онлайн-обучение для расширения нейронных сетей на основе обобщенной максимизации ожиданий (arXiv)

Автор:Hyeryung Jang, Osvaldo Simeone

Аннотация: Spiking Neural Networks (SNN) предлагают новую вычислительную парадигму, которая отражает часть эффективности биологического мозга путем обработки через бинарные нейронные динамические активации. Вероятностные модели SNN обычно обучаются максимизировать вероятность желаемых результатов с помощью несмещенных оценок градиентов логарифмического правдоподобия. В то время как в предыдущей работе использовались одновыборочные оценки, полученные из одного запуска сети, в этой статье предлагается использовать несколько отсеков, которые отбирают независимые пиковые сигналы при совместном использовании синаптических весов. Основная идея состоит в том, чтобы использовать эти сигналы для получения более точных статистических оценок критерия обучения логарифмического правдоподобия, а также его градиента. Этот подход основан на обобщенной максимизации ожиданий (GEM), которая оптимизирует более точную аппроксимацию логарифмической вероятности с использованием выборки по важности. Полученный алгоритм онлайн-обучения реализует трехфакторное правило с глобальными обучающими сигналами для каждого отделения. Экспериментальные результаты по задаче классификации нейроморфного набора данных MNIST-DVS демонстрируют значительные улучшения с точки зрения логарифмического правдоподобия, точности и калибровки при увеличении количества отсеков, используемых для обучения и вывода.