Нейросеть Stable Diffusion, которая генерирует изображение по текстовому описанию, выпустила новое масштабное обновление. Об этом говорится на официальном сайте компании-разработчика Stability AI.
Для запуска новых моделей в текущих программных сборках Stable Diffusion, таких как Automatic1111, NMKD, InvokeAi, разработчикам необходимо внести небольшие редактирования в код. Или подождать обновленных версий программного обеспечения, которые скоро должно быть.
Новые модели преобразования текста в изображение
В Stable Diffusion 2.0 появился новый текстовый кодировщик OpenCLIP, разработанный LAION. Он существенно улучшает качество генерируемых изображений. Теперь в изображениях с разрешением 768×768 пикселей не должна ломаться композиция. Также можно без проблем генерировать изображения и с разрешением 512×512.
Модели генерируются на подмножестве набора данных LAION-5B, который затем дополнительно фильтруется для удаления контента для взрослых с помощью фильтра LAION NSFW.
Модель-апскейлер для изображений 2048х2048
Разработчики добавили в Stable Diffusion 2.0 модель-апскейлер, которая повышает разрешение изображений в 4 раза. Таким образом, в сочетании с новыми моделями преобразования текста в изображение теперь можно генерировать изображение с разрешением 2048х2048.
Распознавание глубины на изображениях
В новой версии программы теперь есть модель depth2img с отдельным слоем распознавания глубины изображения. Позволяет лучше переносить и сохранять глубину в методах img2img и inpainting. Это пригодится при генерации скетчей и фотографий.
Depth2img определяет глубину входного изображения (используя существующую модель), затем генерирует новые изображения, используя как текст, так и информацию о глубине.
Новая Inpainting-модель
Новая модель в версии 2.0 сохраняет формы и детали исходного изображения при перерисовке.
Разработчики обещают выпустить модели в Stability AI API Platform и DreamStudio в ближайшие несколько дней.
Также для получения более подробной информации о доступе к модели компания просит ознакомится с примечаниями на GitHub.
Сегодня мы поговорим о том, как выбрать лучшие курсы Power BI в Украине, особенно для…
В 2023 году во всех крупнейших регионах конкуренция за вакансию выросла на 5–12%. Не исключением…
Unicorn Hunter/Talent Manager Лина Калиш создала бесплатный трекер поиска работы в Notion, систематизирующий все этапы…
Edtech-стартап Mate academy принял решение отправить своих работников в десятидневный отпуск – с 25 декабря…
Служба безопасности Украины задержала в Киеве 46-летнего программиста, который за деньги устанавливал шпионские программы и…
IT-специалист Джордан Катлер создал и выложил на Github подборку разнообразных ресурсов, которые помогут достичь уровня…