Databricks выпустила Dolly 2.0: это первая LLM с открытым исходным кодом для коммерческого использования

Ігор Шелудченко

14.04.2023 11:39

Американская компания по корпоративному программному обеспечению Databricks выпустила Dolly 2.0.

Это первый LLM с открытым исходным кодом и набором инструкций для обучения в свободном доступе, говорится в блоге Databricks.

Ограничение LLM

В последнее время появляется немало речевых моделей. Началось все с GPT от Open AI.

Первая версия Dolly была обучена за $30 с использованием набора данных, созданного командой Stanford Alpaca с помощью OpenAI API. Он содержал исходные данные ChatGPT, и условия предоставления услуг направлены на то, чтобы никто не мог создать модель, конкурирующую с OpenAI.

Потому Dolly 1.0 нельзя было использовать в коммерческих целях. И все существующие известные модели ( Alpaca, Koala, GPT4All, Vicuna) страдают от этого ограничения.

Особенности Dolly 2.0

Dolly 2.0 – это модель языка параметров 12B, основанная на семействе моделей EleutherAI pythia. Она:

содержит 15 000 высококачественных пар подсказок/ответов, созданных человеком;
имеет 12 млрд параметров.

Соответственно условия лицензирования позволяют использовать ее в любых целях, включая и коммерческое использование.

В блоге Databricks подчеркивается, что, как и оригинальная Dolly, версия 2.0 не является самой современной, но «демонстрирует удивительно эффективный уровень выполнения инструкций, учитывая размер учебного блока».

«Мы ожидаем, что Dolly и набор данных с открытым исходным кодом станут зачатком для многих последующих работ, которые могут служить для загрузки более мощных языковых моделей», — резюмируют разработчики.

Как воспользоваться

Чтобы воспользоваться Dolly 2.0, необходимо посетить страницу Databricks Hugging Face и хранилище Dolly на databricks-labs и загрузить databricks-dolly-15k dataset . Также можно ознакомиться с инструкциями на GitHub .

Напомним, менее месяца назад исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT – 89.

Затем на основе данных Stanford Alpaca была создана первая модель Dolly.