Появление в последние годы крупномасштабных предварительно обученных моделей, таких как BERT, DALL-E, GPT-3 и т. Д., Привело к сдвигу парадигмы в сообществе ИИ. Эти крупномасштабные модели стали повсеместными в таких областях, как компьютерное зрение, обработка естественного языка (НЛП), робототехника, логический вывод и поиск, и продолжают «разрастаться».

Крупномасштабные предварительно обученные модели представили новые возможности, и их эффективность при решении такого широкого круга задач стимулировала гомогенизацию. Большинство современных моделей НЛП являются производными от горстки больших моделей трансформаторов. Более того, эта тенденция распространяется и на другие области, такие как изображения, речь, прогнозирование последовательности белков и обучение с подкреплением (RL), предвещая великое объединение глобального сообщества ИИ.

Излишне говорить, что такая гомогенизация имеет свои преимущества, поскольку даже небольшие улучшения в крупномасштабной модели могут быстро породить большое семейство новых моделей. Однако есть и подводные камни, поскольку любые недостатки крупномасштабной модели, вероятно, унаследуются моделями последующих этапов.

В то время как мощь крупномасштабных моделей является результатом их огромного пространства параметров (GPT-3 имеет 175 миллиардов параметров), это также приводит к плохой интерпретируемости и неопределенности в отношении их возможностей и недостатков. В этом контексте, действительно ли разумно слепо переносить всю парадигму исследования ИИ на крупномасштабные модели?

Чтобы изучить этот важный вопрос, Перси Лян, Фей-Фей Ли и более 100 других исследователей из Центра исследований моделей фондов (CRFM) Стэнфордского университета опубликовали более 200 страниц статьи О возможностях и рисках моделей фондов , который систематически описывает как возможности, так и риски таких крупномасштабных предварительно обученных «фундаментальных» моделей. Уникальное исследование призвано дать более четкое представление о том, как работают эти фундаментальные модели, когда и почему они терпят неудачу, а также о различных возможностях, обеспечиваемых их возникающими свойствами.

Команда использует два аспекта для описания значимости фундаментальных моделей: возникновение и гомогенизация, которые, как они отмечают, «взаимодействуют потенциально тревожным образом». Эмерджентность означает, что поведение таких систем скорее неявно индуцируется, а не конструируется; в то время как гомогенизация относится к консолидации методологий создания систем машинного обучения для широкого спектра приложений.

Гомогенизация потенциально может дать огромные преимущества в областях, где данные для конкретных задач ограничены. Однако в документе отмечается, что появление порождает существенную неопределенность в отношении возможностей и недостатков фундаментальных моделей, и поэтому агрессивная гомогенизация с помощью этих моделей является «рискованным делом».

Таким образом, с точки зрения этики и безопасности искусственного интеллекта снижение рисков, связанных с основополагающими моделями, является центральной задачей в их дальнейшем развитии. В документе подчеркивается необходимость осторожности и предлагается пора установить профессиональные нормы, которые сделают возможным ответственное исследование и внедрение фундаментальных моделей.

Ссылка на семинар ： https://crfm.stanford.edu/workshop.html?sf149081997=1

Преподаватели, студенты и исследователи Стэнфордского университета сформировали Центр исследований фундаментальных моделей (CRFM), новую междисциплинарную программу в Стэнфордском HAI (Human-Centered AI). 23–24 августа состоится семинар, на котором будут обсуждаться возможности, проблемы, ограничения и социальные последствия базовых моделей.

В новом документе предлагается подробный отчет об основных моделях, охватывающий их возможности в области языка, зрения, робототехники, рассуждений и взаимодействия с людьми, а также технические принципы, такие как архитектуры моделей, процедуры обучения, данные, системы, безопасность, оценка и теория. Также рассматривается их применение в таких областях, как право, здравоохранение и образование; и связанные с ними социальные риски, такие как несправедливость, ненадлежащее использование, экономические и экологические последствия, а также юридические и этические соображения.

Команда Стэнфордского университета считает, что их исследование может сыграть важную роль в ориентировании и формировании диалога по фундаментальным моделям, и поощряет глубокое междисциплинарное сотрудничество для обеспечения их ответственной разработки и внедрения.

Статья О возможностях и рисках фундаментальных моделей находится на arXiv.

Автор: Геката Хе | Редактор: Майкл Саразен, Чейн Чжан

Мы знаем, что вы не хотите пропустить какие-либо новости или научные открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.