Основы репрезентативного обучения
- Обучение распутанному представлению для распознавания говорящего на нескольких языках(arXiv)
Автор: Кихён Нам, Юкюм Ким, Хи Су Хео, Джи Вон Чон, Джун Сон Чон.
Аннотация: цель этой статьи — обучить встраивания говорящих, устойчивые к сценарию двуязычной речи. Большинство населения мира говорит как минимум на двух языках; однако большинство систем распознавания говорящих не могут распознать одного и того же говорящего, когда он говорит на разных языках. Популярные наборы для оценки распознавания говорящего не учитывают двуязычный сценарий, что затрудняет анализ влияния двуязычных говорящих на эффективность распознавания говорящего. В этой статье предлагается новый крупномасштабный оценочный набор, созданный на основе VoxCeleb и учитывающий двуязычные сценарии. Мы также вводим стратегию обучения репрезентации, которая отделяет языковую информацию от репрезентации говорящего, чтобы учесть двуязычный сценарий. Эту стратегию обучения репрезентативному представлению, не связанному с языком, можно адаптировать к существующим моделям с небольшими изменениями в конвейере обучения. Экспериментальные результаты показывают, что базовые модели испытывают значительное снижение производительности при оценке на предложенном двуязычном тестовом наборе. Напротив, модель, обученная с помощью предложенной стратегии распутывания, демонстрирует значительное улучшение в сценарии двуязычной оценки, одновременно сохраняя конкурентоспособность на существующих одноязычных наборах тестов.
2. Численная устойчивость обучения гиперболическому представлению(arXiv)
Автор:Галь Мишне, Чжэнчао Ван, Юсу Ван, Шэн Ян
Аннотация: Учитывая экспоненциальный рост объема мяча относительно своего радиуса гиперболическое пространство способно встраивать деревья с произвольно малыми искажениями и, следовательно, привлекло широкое внимание к представлению иерархических наборов данных. Однако это свойство экспоненциального роста достигается ценой численной нестабильности, так что обучение гиперболических моделей обучения иногда приводит к катастрофическим проблемам NaN, сталкиваясь с непредставимыми значениями в арифметике с плавающей запятой. В этой работе мы тщательно анализируем ограничение двух популярных моделей гиперболического пространства, а именно шара Пуанкаре и модели Лоренца. Сначала мы покажем, что в 64-битной арифметической системе шар Пуанкаре имеет относительно большую емкость, чем модель Лоренца, для правильного представления точек. Затем мы теоретически подтверждаем превосходство модели Лоренца над шаром Пуанкаре с точки зрения оптимизации. Учитывая численные ограничения обеих моделей, мы определяем одну евклидову параметризацию гиперболического пространства, которая может смягчить эти ограничения. Мы далее распространяем эту евклидову параметризацию на гиперболические гиперплоскости и демонстрируем ее способность улучшать производительность гиперболического SVM.
3.Обучение представлению для марковских игр с общей суммой низкого ранга(arXiv)
Автор: Чэнчжуо Ни, Юда Сун, Сюэчжоу Чжан, Чи Цзинь, Мэнди Ван
Аннотация: мы изучаем многоагентные марковские игры с общей суммой с аппроксимацией нелинейной функции. Мы сосредоточимся на марковских играх низкого ранга, матрица переходов которых допускает скрытую структуру низкого ранга поверх неизвестного нелинейного представления. Цель состоит в том, чтобы разработать алгоритм, который (1) эффективно находит образец политики ε-равновесия без предварительных знаний об окружающей среде или представлении и (2) допускает реализацию, удобную для глубокого обучения. Мы используем обучение представлению и представляем подход, основанный на моделях и без моделей, для построения эффективного представления из собранных данных. Для обоих подходов алгоритм достигает выборочной сложности poly(H,d,A,1/ε), где H — игровой горизонт, dis — размерность вектора признаков, A — размер пространства совместных действий, а ε является разрывом оптимальности. Когда количество игроков велико, указанная выше сложность выборки может экспоненциально увеличиваться с количеством игроков в худшем случае. Чтобы решить эту проблему, мы рассматриваем марковские игры с факторизованной переходной структурой и представляем алгоритм, избегающий такого экспоненциального масштабирования. Насколько нам известно, это первый эффективный по выборке алгоритм для многоагентных марковских игр с общей суммой, который включает (нелинейную) аппроксимацию функций. Мы сопровождаем наш теоретический результат реализацией нашего алгоритма на основе нейронной сети и оцениваем его по сравнению с широко используемой базовой линией глубокого RL, DQN с фиктивной игрой.
