Stable Diffusion & Flux

Вместе с RT

Промт, негатив и сид обеих генераций одинаковый, и специально выставлено 150 шагов для долгой генерации, изначальное разрешение 640х640 с апскейлом х2 до 1280х1280:
anime, 2d, (highly detailed:1.2), (highres:1.2), black hair, (dark-skinned female, dark elf, dark skin:1.2),
Negative prompt: EasyNegative,
Steps: 150, Sampler: Euler a, CFG scale: 7, Seed: 970209888, Size: 640x640, Model hash: fa15cea776, Model: aniverse_thxEd14, VAE hash: c6a580b13a, VAE: vae-ft-mse-840000-ema-pruned.ckpt.vae.pt, Denoising strength: 0.3, Clip skip: 2, Hires upscale: 2, Hires upscaler: 4x-AnimeSharp, Version: v1.6.0

Как видно, время генерации упало с 2минут и 35 секунд до 45 секунд. У вас естественно результат будет другой, это зависит от вашей видеокарты. Различия в картинках минимальны, куда большее отличие можно получить просто изменяя количество шагов, иногда картинка на 20 шагах разительно может отличаться от картинки на 22 шагах на одном и том же сиде. Тем кто использует мало чекпоинтов и лор это может очень помочь в скорости генерации.

Предупреждаю сразу, перед тем как начинать, сделайте полную копию вашего рабочего билда!!! Лично мне пришлось полностью переустановить SD. И я не гарантирую, что оно вообще у вас заработает таким методом! Вдобавок ко всему есть ряд ограничений для работы:
-вы должны удалить аргументы medvram и lowvram, с ними не работает! про другие не вкурсе но тоже может не работать.
-может не работать с некоторыми чекпоинтами, лорами или VAE
-размеры картинки по высоте и ширине должны быть кратны 64
-для каждого чекпоинта и каждой лоры требуется отдельная RT модель которая будет весить примерно 1,7Гб так что тем у кого много чекпоинтов и лор придется отдать лютую часть свободного места на диске под это "дело"

Нус начнем ставить.
1) обновите ваш SD до последней версии, или установите заново свежий

2) обновите драйвер инвидиа до последней версии

3) в корневой папке SD удалите папку "venv"

4) запустите "webui.bat" чтобы он восстановил "venv" папку в чистом виде, после восстановления и запуска UI SD все закройте

5) запустите CMD и перейдите в корневую папку SD где лежит "webui.bat"

6) введите команду "venv\Scripts\activate.bat" после чего у вас должен прописаться (venv) в начале строки (смотрите скрин)

7) выполните поочередно команды:

1. python.exe -m pip install --upgrade pip

2. python -m pip install nvidia-cudnn-cu11==8.9.4.25 --no-cache-dir

3. python -m pip install --pre --extra-index-url https://pypi.nvidia.com/ tensorrt==9.0.1.post11.dev4 --no-cache-dir

4. python -m pip uninstall -y nvidia-cudnn-cu11

5. venv\Scripts\deactivate.bat после чего можно закрыть CMD

8) запустите "webui.bat" и установите TensorRT через ссылку https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT , и в настройках самого SD в "User interface" в поле "Quicksettings list" пропишите "sd_unet", после чего перезапустите UI через кнопку "Apply and Restart UI"

9) во вкладке "TensorRT" написана инструкция, прочитайте ее(переводчик вам в помощь), но все довольно легко, вы просто выбираете чекпоинт в поле чекпоинта слева вверху как обычно, а во вкладке "TensorRT Exporter" выпираете "Preset", ВАЖНО! В названии чекпоинта не должно быть пробелов! Сначала всегда делается экспорт пресета Default! Только потом можно выбрать другой пресет и изменить его настройки в "Advanced Settings" и сделать экспорт еще раз.

10) во вкладке "TensorRT Lora" можно сделать TensorRT model для Лоры, просто выбираем лору и экспортируем. ВАЖНО! В названии лоры не должно быть пробелов или выкинет ошибку!

11) после создания TensorRT профиля, чтобы его использовать вы выбираете чекпойинт который был использован при его создании и выбираете профиль RT в поле "SD Unet", под каждый чекпоинт свой профиль RT, можно использовать параметр "Автоматик" если используете несколько лор сразу, он вроде нормально работает и сам применяет то что нужно (но это не точно /ᐠ｡ꞈ｡ᐟ\).

Надеюсь у вас все получится и удачных генераций)

Stable Diffusion XL (SDXL) 1.0 - это модель нового поколения от Stable Diffusion. Это универсальная модель, способная хорошо генерировать различные стили. Может ли SDXL стать единственной моделью Stable Diffusion, которая будет править всеми? Посмотрите эти 106 референсных стилей и решите для себя!

Еще больше полезностей - в моем хобби-блоге про нейросети в Телеграм.

Программное обеспечение для использования модели SDXL

AUTOMATIC1111 Web-UI - это бесплатное и популярное программное обеспечение Stable Diffusion. Вы можете использовать этот графический интерфейс под Windows, Mac или Google Colab.

Для применения этих стилей к промту можно использовать расширение AUTOMATIC1111 Style Selector for SDXL 1.0.

Как использовать данное руководство

Здесь вы найдете промты и негативные промты для каждого стиля ссылок. Данное руководство вы можете использовать в качестве художественного справочника для создания собственных генераций текста в изображение.

Как были сгенерированы эти изображения?

Шаблоны промтов и отрицательных промтов взяты из репозитория SDXL Prompt Styler for ComfyUI. Фраза {промт} заменяется на

• женщина

• город

За исключением шаблонов промтов, которые не соответствуют этим двум темам.

Изображения сгенерированы на базе модели SDXL 1.0 с использованием API AUTOMATIC1111. Для каждого промта было создано четыре изображения. Выбиралось изображение, наиболее соответствующее стилю.

Стили Stability AI

Эти стили являются пресетами DreamStudio, официального генератора Stable Diffusion.

3D-модель

Промт

professional 3d model {prompt} . octane render, highly detailed, volumetric, dramatic lighting

Негативный промт

ugly, deformed, noisy, low poly, blurry, painting

Черно-белое кино

Промт

analog film photo {prompt} . faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage

Негативный промт

painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured

Аниме

Промпт

anime artwork {prompt} . anime style, key visual, vibrant, studio anime, highly detailed

Негативный промт

photo, deformed, black and white, realism, disfigured, low contrast

Кинематографический

Промт

cinematic film still {prompt} . shallow depth of field, vignette, highly detailed, high budget, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy

Негативный промт

anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured

Комиксы

Промт

comic {prompt} . graphic illustration, comic art, graphic novel art, vibrant, highly detailed

Негативный промт

photograph, deformed, glitch, noisy, realistic, stock photo

Ремесленная глина

Промт

play-doh style {prompt} . sculpture, clay art, centered composition, Claymation

Негативный промт

sloppy, messy, grainy, highly detailed, ultra textured, photo

Цифровое искусство

Промт

concept art {prompt} . digital artwork, illustrative, painterly, matte painting, highly detailed

Негативный промт

photo, photorealistic, realism, ugly

Увеличение

Промт

breathtaking {prompt} . award-winning, professional, highly detailed

Негативный промт

ugly, deformed, noisy, blurry, distorted, grainy

Фэнтези

Промт

ethereal fantasy concept art of {prompt} . magnificent, celestial, ethereal, painterly, epic, majestic, magical, fantasy art, cover art, dreamy

Негативный промт

photographic, realistic, realism, 35mm film, dslr, cropped, frame, text, deformed, glitch, noise, noisy, off-center, deformed, cross-eyed, closed eyes, bad anatomy, ugly, disfigured, sloppy, duplicate, mutated, black and white

Изометрия

Промт

isometric style {prompt} . vibrant, beautiful, crisp, detailed, ultra detailed, intricate

Негативный промт

deformed, mutated, ugly, disfigured, blur, blurry, noise, noisy, realistic, photographic

Line Art

Промт

line art drawing {prompt} . professional, sleek, modern, minimalist, graphic, line art, vector graphics

Негативный промт

anime, photorealistic, 35mm film, deformed, glitch, blurry, noisy, off-center, deformed, cross-eyed, closed eyes, bad anatomy, ugly, disfigured, mutated, realism, realistic, impressionism, expressionism, oil, acrylic

Еще больше полезностей - в моем хобби-блоге про нейросети в Телеграм.

Продолжение

Оригинал на английском.