Stable Diffusion: что это за нейросеть и как её использовать

UX-специалист
Стаж 8 лет
Опубликовано: 13.05.2024

Нейросети — это не баловство и развлечение, а полноценный рабочий инструмент для многих компаний. Но использовать для коммерческих нужд можно не каждую, большинство разрешает только некоммерческое использование.

В статье рассказываем о Stable Diffusion, которую можно использовать для любых целей. Делимся ссылками, где ее можно попробовать в работе и даем инструкции как это правильно делать.

Что такое Stable Diffusion

Stable Diffusion — это нейросеть для генерации изображений на основе введенного пользователем запроса, или по-другому — промта. По качеству генераций Stable Diffusion считается аналогом популярных Midjourney и Dall-E 3, но в отличии от них она бесплатна и допускает коммерческое использование.

Создателем SD является компания Stability AI и ее генеральный директор Эмад Мостак. Релиз состоялся в августе 2022 года. Stable Diffusion имеет открытый исходный код и может быть использована любым желающим для доработки под свои нужды или создания собственного ПО. 

Промпт: «Girl freelancer working from home in pajamas at a laptop. Background is a soft sofa with pillows, a cat sleeping next to it. High detail, 4k, realism». Источник: beta.dreamstudio.ai
Промпт: «Girl freelancer working from home in pajamas at a laptop. Background is a soft sofa with pillows, a cat sleeping next to it. High detail, 4k, realism». Источник: beta.dreamstudio.ai

В конце февраля 2024 года Stability AI анонсировала выход Stable Diffusion 3. Она уже доступна в ранней версии по предварительной заявке и записи в лист ожидания. В опубликованных новостях говорится что новая версия будет превосходить DALL·E 3, Midjourney v6 и Ideogram v1.

Как работает Stable Diffusion

Stable Diffusion — это генеративная модель, которая принадлежит к диффузионным моделям и использует для генераций способ латентной диффузии (LDM). 

Латентная диффузия текста в изображение — это способ создания новой картинки по текстовой подсказке, отдаленно похожей на те, по которым нейросеть обучалась. По запросу пользователя она ищет знакомые очертания на подходящих исходных изображениях в базе и соотносит их с текстом запроса. Далее с помощью прямой диффузии на найденную картинку накладываются гауссовские шумы до состояния, когда невозможно понять что было на изображении. После этого применяется обратная диффузия, которая поэтапно отменяет прямую диффузию, уменьшает шумы и происходит создание нового произведения.

Stable Diffusion был обучен на наборе данных с обходом интернета 2b English language label subset of LAION 5b, который является одним из самых больших наборов данных в мире, содержащем более 5,85 миллиардов пар картинка-текст. Это помогает ей хорошо понимать запросы пользователей и генерировать релевантные картинки высокого качества.

Преимущества и недостатки

К преимуществам Stable Diffusion можно отнести:

  • возможность бесплатного использования в консоли и бесплатные тарифы на сайтах и сервисах;
  • открытый исходный код;
  • лицензия Creative ML OpenRail-M, допускающая коммерческое использование;
  • высокое качество сгенерированных картинок;
  • наличие разных вариантов работы: с помощью консоли, через сайты, приложения или телеграмм бот;
  • можно использовать чужие картинки, они не имеют авторских прав, являются общественным достоянием и доступны в соответствии с лицензией CC0 1.0 Universal Public Domain Dedication;
  • у версий с графическим интерфейсом есть расширенные настройки.

Среди недостатков можно выделить:

  • автор не имеет авторских прав на созданное изображение, это общественное достояние;
  • работа с исходным кодом или приложением на ПК требует высоких мощностей компьютера;
  • для работы с исходной версией требуются навыки программирования и настройки программ;
  • программы для ПК и сайты не всегда оперативно обновляются и используют последнюю версию.

Доступные интерфейсы для работы со Stable Diffusion

Попробовать Stable Diffusion может абсолютно каждый желающий, потому что у нее есть вариации работы с устройством любой мощности и на любой платформе. Нейросеть доступна для работы через:

  • консоль;
  • программы для ПК;
  • сайты;
  • телеграмм-боты.

Рассмотрим подробнее каждый из вариантов, его плюсы и минусы.

Консоль

Использование версии от разработчика подойдет опытным пользователям при наличии двух факторов:

  1. Мощный компьютер с хорошей видеокартой, процессором и большим объемом оперативной памяти;
  2. Навыки программирования.

Свежие версии Stable Diffusion, ее модели и дополнения можно найти на Github Stability AI.

Страница Stability AI на Github. Источник: https://github.com
Страница Stability AI на Github. Источник: https://github.com

На ПК

Программы на компьютер также как и консоль требовательны к мощности вычислительной машины. При использовании приложений на минимальных системных требованиях генерации могут быть долгими, а доступное качество — слишком низкое.

Плюсы у метода такие же, как и у консоли:

  • все действия происходят на компьютере;
  • нет очередей генерации;
  • результаты генераций хранятся на компьютере и не отправляются в облако;
  • вы не зависите от сбоев сайта, блокировок и т. д.

Минусы:

  • программы обычно работают со старыми версиями;
  • обновление программ происходит не часто;
  • требовательны к конфигурации компьютера.

Рассмотрим программы для ПК подробнее.

Easy Diffusion v3.0.7

Сайт: https://github.com/easydiffusion/easydiffusion

Интерфейс приложения Easy Diffusion. Источник: авторское изображение
Интерфейс приложения Easy Diffusion. Источник: авторское изображение

Это простая программа, которая скачивается и устанавливается в пару кликов, имеет понятный интерфейс. Работает не как приложение с модальными окнами, а развертывает данные на локальном сервере. Требовательна к мощности компьютера, с минимальной оперативной памятью в 8 Гб максимальное доступное разрешение: 384x384px. Доступна для Windows, macOS и Linux.

Системные требования:

  • Windows: видеокарта NVIDIA (минимум 2 Гб ОЗУ);
  • Linux: видеокарта NVIDIA или AMD (минимум 2 Гб ОЗУ);
  • Mac с процессором М1 и М2;
  • минимум 8 Гб системной оперативной памяти;
  • не менее 25 Гб места на жестком диске.

DiffusionBee

Сайт: https://diffusionbee.com/

Интерфейс приложения DiffusionBee. Источник: diffusionbee.com
Интерфейс приложения DiffusionBee. Источник: diffusionbee.com

Программа имеет простой и понятный интерфейс. Поддерживает большинство привычных функций и настроек Stable Diffusion. Работает с моделями SD 1.x, SD 2.x, SD XL, Inpainting, ControlNet, LoRA.

Системные требования:

  • процессор Intel или M1/M2;
  • для Intel: MacOS 12.3.1 или новее;
  • для M1/M2: MacOS 11.0.0 или новее.

На сайтах

Преимущество работы на сторонних сайтах в том, что все генерации происходят на удаленном сервере и для пользователя неважно, насколько у него мощный компьютер — на скорость генерации это никак не повлияет. 

Сервисы отличаются графическим интерфейсом, наличием дополнительных настроек, некоторые имеют платные тарифы с расширенными возможностями.

Официальные представители Stable Diffusion в России

Stable Diffusion Онлайн — платформа, которая является официальным представителем компании Stability AI в России. На сайте нет бесплатных тарифов, оплата генераций происходит за токены (прим. внутренняя валюта сайта). Возможности бесплатно попробовать продукт на сайте тоже нет.

Стоимость покупки токенов для генераций. Источник: stablediffusion.com.ru
Стоимость покупки токенов для генераций. Источник: stablediffusion.com.ru

Пользуясь платформой и оплачивая токены, пользователь получает доступ к платформе AIR, где помимо Stable Diffusion можно использовать другие нейросети.

На оплаченные токены можно будет попробовать нашумевшую ChatGPT. Источник: app.air.fail
На оплаченные токены можно будет попробовать нашумевшую ChatGPT. Источник: app.air.fail

Из графических нейросетей на платформе доступны популярные Dalle и Midjourney.

Доступные графические нейросети. Источник: app.air.fail
Доступные графические нейросети. Источник: app.air.fail

DreamStudio

Сайт: https://beta.dreamstudio.ai/generate

Интерфейс приложения DreamStudio. Источник: beta.dreamstudio.ai
Интерфейс приложения DreamStudio. Источник: beta.dreamstudio.ai

один из самых популярных сайтов для работы со Stable Diffusion. Имеет приятный и простой интерфейс, дает бесплатные кредиты (прим. внутреннюю валюту сайта) для первых генераций. Авторизоваться можно с аккаунтом Google или Discord.

Стоимость покупки дополнительных кредитов начинается от 10$ за 1000 кредитов, их хватит примерно на 5 000 картинок.

Помимо генерации изображений сервис поддерживает режим дорисовки, с его помощью можно добавить или удалить часть изображения, но дорисовки часто выглядят как заплатки. По запросу предлагается на выбор 4 варианта дорисовок.

Пример дорисовки области за диваном и деталей фона, один из четырех вариантов. Источник: beta.dreamstudio.ai
Пример дорисовки области за диваном и деталей фона, один из четырех вариантов. Источник: beta.dreamstudio.ai

Stable Diffusion Online

Сайт: https://stablediffusionweb.com/

Онлайн-сервис для генерации изображений. Имеет русскоязычный интерфейс редактора, дает бесплатные кредиты (прим. внутренняя валюта сайта) для первых генераций. Авторизация происходит с помощью Google-аккаунта. Работает с последними версиями, что позволяет генерировать изображения высокого качества и детализации.

Поддерживает: 

  • создание изображения по текстовому запросу;
  • создание изображения на основе другого изображения;
  • удаление фона;
  • волшебный ластик;
  • редактирование.
Интерфейс сайта stablediffusionweb.com и результаты генераций. Источник: stablediffusionweb.com
Интерфейс сайта stablediffusionweb.com и результаты генераций. Источник: stablediffusionweb.com

ClipDrop

Сайт: https://clipdrop.co/

Cервис, где есть платные и бесплатные версии SD. Бесплатно можно генерировать на модели Stable Diffusion XL Turbo. Она не дает дополнительных расширенных настроек, можно только ввести запрос и получить изображение среднего качества. Полные версии генераций и самые свежие модели доступны только на платном тарифе. Авторизоваться можно через аккаунт Google.

Качество генераций с помощью SD XL Turbo. Источник: clipdrop.co
Качество генераций с помощью SD XL Turbo. Источник: clipdrop.co

Mage.Space

Сайт: https://www.mage.space/

Интерфейс сервиса Mage.Space. Источник: mage.space
Интерфейс сервиса Mage.Space. Источник: mage.space

Cервис, поддерживающий бесплатную генерацию на SD XL, SD 1.5 и SD 2.1. Для генераций не требуется авторизация, нет ограничений и внутренней валюты для генерации. Внутри сервиса есть платные тарифы: они поддерживают более быструю и приоритетную скорость создания изображений, открывают доступ к другим моделям и версиям, дают генерировать больше одной картинки за один раз. Авторизоваться можно с помощью учетной записи Google.

Результаты генераций, даже с тегами «фотореализм, фотография» на последней доступной модели в бесплатном тарифе SD XL выходят больше похожими на картину нежели на реалистичную фотографию.

Результат генерации в сервисе Mage.Space. Источник: mage.space
Результат генерации в сервисе Mage.Space. Источник: mage.space

Playground Ai

Сайт: https://playground.com/

Интерфейс сервиса Playground и качество генерации изображений. Источник: playground.com
Интерфейс сервиса Playground и качество генерации изображений. Источник: playground.com

Бесплатный сервис для генерации изображений, дающий 100 бесплатных генераций в сутки. Работает с Playground и Stable Diffision XL. Имеет множество расширенных настроек, значительно повышающих качество генерации. Авторизоваться можно с аккаунтом Google.

Бот в Telegram

Работать со Stable Diffusion можно в том числе с мобильных устройств. Взаимодействие с чат-ботом поможет создать картинку для соцсетей, подобрать иллюстрацию для контента или протестировать идею.

Алгоритм работы с ботом простой: 

  1. Открыть бот Devoid Diffusion и нажать «Start».
  2. Запуск чат-бота. Источник: авторское изображение
    Запуск чат-бота. Источник: авторское изображение
  3. Подписаться на сообщество бота.
  4. Перед первой генерацией смотрим настройки бота по умолчанию, при необходимости меняем:
  5. Открытие настроек генерации через меню бота. Источник: авторское изображение
    Открытие настроек генерации через меню бота. Источник: авторское изображение
  6. После смены настроек переходим к генерациям. В другом меню выбираем тег /gen.
  7. Переход к генерации изображений. Источник: авторское изображение
    Переход к генерации изображений. Источник: авторское изображение
  8. Вводим первый промпт и нажимаем на отправку. В день доступны 20 бесплатных генераций. Писать промпт лучше на английском языке.
  9. Отправка промпта для генерации боту. Источник: авторское изображение
    Отправка промпта для генерации боту. Источник: авторское изображение
  10. Получаем результат. При необходимости, меняем настройки и пишем новый промпт.
Результат генераций с помощью чат-бота. Источник: авторское изображение
Результат генераций с помощью чат-бота. Источник: авторское изображение

Как пользоваться нейросетью

Так как способов взаимодействия со Stable diffusion множество — сайты, сервисы, приложения, чат-боты, консоль — единой инструкции по использованию быть не может. Все интерфейсы имеют разные настройки, параметры, используют разные модели.

Самыми удобными и гибкими из перечисленных вариантов можно выделить сайт Playground и DreamStudi. Второй требует покупки внутренней валюты, а первый имеет 100 бесплатных генераций в сутки, поэтому рассмотрим алгоритм работы в Playground.

Генерация изображений по текстовому описанию

Интерфейс генерации по текстовому запросу похож во многих приложениях: он имеет поле для ввода запроса, негативного запроса и расширенные настройки генерации.

Ввод текстового запроса и интерфейс сайта Playground. Источник: playground.com
Ввод текстового запроса и интерфейс сайта Playground. Источник: playground.com

1 этап. Формулируем запрос

Если знания английского недостаточны, используем переводчик и упаковываем в него свое видение будущей картинки.

Формулирование запроса через Google переводчик. Источник: авторское изображение
Формулирование запроса через Google переводчик. Источник: авторское изображение

2 этап. Добавляем запрос в сервис, выбираем настройки.

Готовый запрос копируем в поле «prompt», выбираем подходящий фильтр, если такой имеется и нажимаем «Generate». 

Ввод запроса и выбор фильтров. Источник: playground.com
Ввод запроса и выбор фильтров. Источник: playground.com

3 этап. Корректировка результатов

Если результат оправдал ожидания, без лишних затрат времени скачиваем его и забираем к себе. Если нет — дорабатываем. В качестве доработки можно:

  • откорректировать запрос, убрать лишнее и добавить недостающее;
  • сменить фильтр;
  • поменять пресеты или модели;
  • подкрутить настройки детализации и соответствия запросу;
  • выбрать другой размер изображения;
  • указать большее число изображений для генерации.

Если в целом запрос хорошо отработал, но среди вариантов нет нужного и каждая картинка имеет какие то недостатки — можно прогнать тот же запрос еще раз.

Результат генерации изображения с лягушкой. Источник: playground.com
Результат генерации изображения с лягушкой. Источник: playground.com

Дорисовка набросков

Наброски на сайт могут быть загружены готовые или нарисованы от руки. Нейросеть понимает и может работать с обоими вариантами. 

Загрузка картинки или отрисовка наброска от руки мышкой. Источник: playground.com
Загрузка картинки или отрисовка наброска от руки мышкой. Источник: playground.com

При нажатии на значок карандаша, откроется белый холст. Среди инструментов у него есть карандаш, ластик и кнопка отмены действия. 

Набросок пчелы, быстро сделанный мышью. Источник: playground.com
Набросок пчелы, быстро сделанный мышью. Источник: playground.com

Дополнительно с загрузкой картинки или рисованием наброска стоит написать небольшой промпт, который поможет лучше понять ожидания. В примере был добавлен «Bright detailed bee».

Готовые результаты раскрашенного и улучшенного наброска. Источник: playground.com
Готовые результаты раскрашенного и улучшенного наброска. Источник: playground.com

Создание изображений в стиле известных художников

Stable diffusion хорошо понимает запросы с упоминанием стилей художников, так как была обучена в том числе на их работах. Для генерации достаточно указать в запросе в стиле какого художника нужно создать изображение.

Генерация чеширского кота в стиле Пикассо
Генерация чеширского кота в стиле Пикассо

У SD есть в открытом доступе список художников на котором она обучалась или можно использовать список от Google.

Коротко о главном

  • Stable Diffusion — одна из топовых нейросетей для генерации изображений. Может быть использована для фана и развлечения, или быть серьезным инструментом для работы и коммерческого использования. 
  • SD можно использовать разными способами: в консоли, на сайтах, в приложениях и сервисах, с помощью чат-ботов. Если компьютер слабый — подойдут сайты, если мощный и есть навыки программирования — можно работать в консоли.
  • Stable diffusion рекомендуется тем, кто интересуется генерацией изображений, искусственным интеллектом или творчеством. Она хорошо подойдет в качестве первой нейросети для изучения и порадует качеством.

Материалы: 

Оценить статью
Нет ответов

Комментарии

Написать комментарий
Популярные статьи автора
Узнайте стоимость продвижения сейчас
Выберите удобный способ связи:
Выберите удобный способ связи:
Введите Ваш номер телефона:
Введите адрес Вашего сайта:
Введите Ваше имя:
Нажимая кнопку «Получить предложение» вы соглашаетесь с Политикой конфиденциальности.
Введите Ваш Email:
Введите адрес Вашего сайта:
Введите Ваше имя:
Нажимая кнопку «Получить предложение» вы соглашаетесь с Политикой конфиденциальности.
Оперативно отвечаем в рабочее время: с 10:00 до 19:00
Оперативно отвечаем в рабочее время: с 10:00 до 19:00
Вы уже проголосовали
Возьмем ТОП вместе?
Здравствуйте, меня зовут
,
я представляю компанию
.
Со мной можно связаться по телефону
Со мной можно связаться по тел.
,
или по email
ник в телеграм
Спасибо!
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Цена лидов в различных нишах
Тематика Стоимость лида (Москва/Россия)
Отдых 500
Мебель 350
Оборудование 500
Бансковские услуги 500
Безопасность 500
Организация мероприятий, концерты, праздники 500
Недвижимость 500
Строительство и отделка 500
Грузоперевозки 500
Доставка еды 350
Юридические услуги 500
Бухгалтерские услуги 500
Пластиковые окна 500
Детские товары 350
Автозапчасти 350
Образование 500
Возьмем ТОП вместе?
Здравствуйте, меня зовут
,
У меня есть сайт
.
Со мной можно связаться по телефону
Со мной можно связаться по тел.
,
или по email
ник в телеграм
Спасибо!
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Оставить заявку сейчас
Ваше имя*
Введите адрес Вашего сайта:*
Введите Ваш номер телефона:*
Введите Ваш e-mail:*
Введите Ваш ник в телеграм:
Выберите интересующую услугу *
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Подпишитесь на рассылку
Не пропустите самое интересное из мира SEO и Digital. Только актуальные и самые крутые статьи.
Заявка успешно отправлена!
Наши сотрудники уже приступили к анализу Вашего сайта. Наш менеджер свяжется с вами в течение дня, спасибо!