Оценка возможностей памяти и языковых навыков в отношении больших языковых моделей

Недавно я написал статью на тему Создание локального чат-бота на локальном ПК (100% офлайн и 100% конфиденциальность). Это был отличный первый код, подчеркивающий важность Langchain и моделей больших языков с открытым исходным кодом, таких как выбранный «LaMini-Flan-T5–248M: 990MB».

Основная цель этой статьи состояла в том, чтобы показать, что вам не нужна онлайн-модель для создания простого чат-бота, но вместо этого вы можете использовать меньшую модель, которая работает на вашем ПК со 100% конфиденциальностью и нулевой комиссией.

Итак, после того, как я опубликовал эту статью, у меня появилась куча вопросов. Большой тройкой были:

  1. Как заставить модель OpenAI Large Language работать с этим кодом?
  2. Может ли чат-бот вспомнить, о чем мы говорили раньше?
  3. Может ли это работать на других языках или только на английском?

Я постараюсь все это прояснить в этой статье. Но сначала давайте настроим новую виртуальную среду.

Настройка (виртуальная среда, пакеты Python, зависимости и т. д.)

Виртуальная среда

Чтобы обеспечить правильное управление проектом, нам необходимо установить несколько библиотек. Давайте создадим виртуальную среду специально для этого проекта.

Для начала создайте новый каталог для проекта (в данном случае мы назовем его «StupidChatBotToSmartChatBot») и выполните следующую команду, чтобы создать виртуальную среду:

# Create a new folder and move into this folder and then execute the following command
python -m venv venv

Далее активируйте виртуальную среду на базе операционной системы Microsoft Windows:

venv\Scripts\activate

Следуя этим шагам, вы настроите необходимые библиотеки в виртуальной среде для беспрепятственного управления проектом.

pip install openai
pip install textwrap

Подготовив нашу виртуальную среду со всеми необходимыми пакетами Python, давайте сразу перейдем к первому вопросу.