Databricks выпустила Dolly 2.0: это первая LLM с открытым исходным кодом для коммерческого использования
Американская компания по корпоративному программному обеспечению Databricks выпустила Dolly 2.0.
Это первый LLM с открытым исходным кодом и набором инструкций для обучения в свободном доступе, говорится в блоге Databricks.
Ограничение LLM
В последнее время появляется немало речевых моделей. Началось все с GPT от Open AI.
Первая версия Dolly была обучена за $30 с использованием набора данных, созданного командой Stanford Alpaca с помощью OpenAI API. Он содержал исходные данные ChatGPT, и условия предоставления услуг направлены на то, чтобы никто не мог создать модель, конкурирующую с OpenAI.
Потому Dolly 1.0 нельзя было использовать в коммерческих целях. И все существующие известные модели ( Alpaca, Koala, GPT4All, Vicuna) страдают от этого ограничения.
Особенности Dolly 2.0
Dolly 2.0 – это модель языка параметров 12B, основанная на семействе моделей EleutherAI pythia. Она:
- содержит 15 000 высококачественных пар подсказок/ответов, созданных человеком;
- имеет 12 млрд параметров.
Соответственно условия лицензирования позволяют использовать ее в любых целях, включая и коммерческое использование.
В блоге Databricks подчеркивается, что, как и оригинальная Dolly, версия 2.0 не является самой современной, но «демонстрирует удивительно эффективный уровень выполнения инструкций, учитывая размер учебного блока».
«Мы ожидаем, что Dolly и набор данных с открытым исходным кодом станут зачатком для многих последующих работ, которые могут служить для загрузки более мощных языковых моделей», — резюмируют разработчики.
Как воспользоваться
Чтобы воспользоваться Dolly 2.0, необходимо посетить страницу Databricks Hugging Face и хранилище Dolly на databricks-labs и загрузить databricks-dolly-15k dataset . Также можно ознакомиться с инструкциями на GitHub .
Напомним, менее месяца назад исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT – 89.
Затем на основе данных Stanford Alpaca была создана первая модель Dolly.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: