В последние годы нейросети делают настоящую революцию в мире искусства, дизайна и технологий. Одной из популярных моделей для создания изображений является Stable Diffusion. Эта нейросеть умеет генерировать качественные картинки по текстовому запросу.
Раньше мы рассказывали про регистрацию на сайте платформы. В этой статье разберем гайд по установке Stable Diffusion и работе с нейросетью через приложение Easy Diffusion. Узнаем, какие у модели есть возможности, как применить различные режимы и настройки для достижения наилучших результатов.
Stable Diffusion — уникальная модель, которая использует диффузионный процесс для создания изображений на основе текстовых описаний. В отличие от других аналогичных решений, она дает пользователю полный контроль над процессом генерации и может изменять изображения с помощью уточняющих запросов. В модели доступно много разных настроек и режимов, чтобы адаптировать ее под разные задачи.
Что умеет Stable Diffusion
Stable Diffusion способна генерировать изображения высокого качества по текстовому описанию, изменять уже существующие изображения или создавать их из эскизов. Она поддерживает работу с различными стилями и темами: фотореализм, концепт-арт, стилизованные изображения и многое другое. Возможности модели позволяют пользователям получить практически любое изображение для различных целей: от создания концептуальных артов до генерации фотореалистичных сцен.
Базовые настройки и режимы
В основе алгоритма Stable Diffusion заложено несколько базовых настроек, от которых зависит конечный результат. К ним относятся:
- Prompt. Текстовый запрос, который описывает, что нейросеть должна сгенерировать. Правила составления промтов подробно описаны в хелпе модели.
- Seed. Параметр, который влияет на случайность генерации. При одинаковом запросе и значении Seed результат будет идентичным.
- Steps. Количество шагов, которые модель использует для создания изображения. Чем больше шагов. тем выше качество и время генерации.
- Guidance Scale. Настройка показывает, насколько строго модель будет следовать вашему запросу.
Модели и их различия
Stable Diffusion существует в нескольких версиях и моделях. Можно выделить 5 моделей в хронологическом порядке: Stable Diffusion 1.5, Stable Diffusion 2.1, Stable Diffusion XL, Stable Cascade, Stable Diffusion 3.
Все они имеют одинаковую основную структуру, но могут отличаться по алгоритмам или параметрам. Скорость работы и качество изображений при этом меняются. Например, стандартная модель Stable Diffusion может создавать изображения в высоком разрешении, но существуют также оптимизированные модели для более быстрых генераций с небольшим снижением качества. Важно, что все эти модели можно использовать бесплатно, поэтому они доступны для широкой аудитории.
Stable Diffusion: гайд с пошаговыми примерами
Способов использовать нейросеть Stable Diffusion много. Мы в нашем гайде будем работать в приложении Easy Diffusion. Функционал программы Easy Diffusion намного шире, чем у онлайн-сервисов, но для эффективной работы нужен мощный компьютер. Программу можно скачать и установить бесплатно.
Создание фотореалистичного пейзажа
Этот пример поможет вам создать фотореалистичный пейзаж с использованием только текстового описания.
1. Запускаем программу Easy Diffusion.
2. В поле Enter Prompt пишем: «A hyper-realistic landscape of a forest at sunrise, with mist, vibrant green trees, and soft sunlight filtering through the branches».
3. Кликаем по кнопке Image Settings.
4. Настроек в программе много, поэтому просто выставляем параметры, как на скрине.
5. Нажимаем на кнопку Make 2 Images.
6. Ждем, пока программа обработает наш запрос. Время генерации зависит от мощности вашего компьютера.
Получаем два варианта фотореалистичного пейзажа.
Генерация картинки на основе исходного изображения
Возьмем фотографию и создадим изображение на ее основе. Изменим фон и освещение.
1. Нажимаем по кнопке Browse и загружаем в программу фотографию автомобиля в парке.
2. В поле Enter Promt пишем: «The car is driving through the evening forest. Backlight from the sun. The car’s headlights are on».
3. Остальные параметры выставляем, как указано на скрине.
4. Открываем палитру стилей по кнопке Image Modifiers.
5. Выбираем стиль Realistic.
6. Кликаем по кнопке Make 2 Images и ждем завершения генерации.
Нейросеть вписала изображение автомобиля в сгенерированный ландшафт в соответствии с промтом и настройками генерации. Обратите внимание, как проработаны тени и отражения веток на стекле и капоте автомобиля.
Изменение изображения с помощью inpainting
Для этого примера используем режим inpainting, чтобы изменить часть изображения.
1. В окне Enter Promt пишем: «Male portrait, steampunk style, waist up».
2. Открываем окно Negative Promt, добавляем: «Ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, out of frame, ugly, extra limbs, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, mutated hands, fused fingers, too many fingers, long neck».
3. Остальные установки делаем, как на скрине.
4. Запускаем генерацию и ждем, пока программа закончит работу.
5. Получилось два изображения.
6. Наводим мышкой на правый верхний угол второго изображения. Появляется контекстное меню. Выбираем пункт Use as Input.
7. Нажимаем кнопку Inpaint.
8. Открывается окно Inpainter. Используем инструмент Draw, чтобы закрасить на изображении области, которые будем редактировать. С помощью панелей Brash Size, Opacity и Sharpness подбираем подходящий размер кисти, прозрачность и жесткость.
9. После отрисовки маски нажимаем Save.
10. Дописываем в промт: «Glasses, mask, scarf that covers the face».
11. Изменяем настройки Number of Images. Остальные установки остаются без изменений.
12. Нажимаем Make Image и запускаем генерацию.
Нейросеть дорисовала персонажам маску и платок.
В программе Easy Diffusion много настроек и стилей. Трудно предугадать, какая комбинация установок и какой промт дадут наилучший результат. Экспериментируйте, чтобы найти подходящее решение.
Плюсы агрегатора нейросетей JDAI Hub
У нейросети Stable Diffusion есть большой потенциал для создания изображений на основе текстовых запросов. Ее можно использовать бесплатно, потому что проект имеет открытый код. По функционалу и алгоритму Stable Diffusion соперничает с Dall-E и Midjourney и входит в десятку лидеров среди всех нейросетей. В агрегаторе JDAI Hub с простой регистрацией можно работать с Stable Diffusion и другими моделями без VPN и перехода по разным сайтам.