Нейросеть YandexART в приложении «Шедеврум»: что это простыми словами, примеры работы нейросети и как ей пользоваться

Специалисты разных сфер используют картинки из нейросетей в работе, обращаются к ним за поиском новых идей для творчества и просто для развлечения и фана.

Большинство популярных нейросетей имеют значительные ограничения для генерации:

• исключительно платные тарифы;
• ограничение количества генераций;
• ввод запросов только на английском языке;
• запрет доступа из России и работа только с VPN;
• и т.д.

Решить эту проблему могут отечественные разработки. Одна из таких — нейросеть YandexART в приложении «Шедеврум». В статье рассказываем, как она работает, какие есть особенности и ограничения, какие можно получить результаты и как правильно использовать.

Что такое «Шедеврум»

«Шедеврум» — это российское приложение для генерации изображений, работающее только на основе YandexGPT, а с 18 октября 2023 года была дополнительно внедрена графическая нейросеть YandexART. По качеству генерации нейросеть является аналогом популярной Stable Diffusion и Midjourney. Нейросеть находится на стадии релиза и имеет стабильную версию 1.3.

Приложение имеет все инструменты соцсети и внешне отдаленно напоминает «Нельзяграм», в ней есть:

• возможность поделиться у себя в профиле изображениями или видео;
• просмотр ленты с работами других пользователей;
• лайки, комментарии и подписки на авторов;
• возможность поделиться записью или профилем;
• возможность скопировать запрос и создать аналог;
• скачивание изображений.

Простыми словами, «Шедеврум» — это приложение, которое создает картинки, тексты и видео по вашим запросам, и позволяет делиться с другими.

Читайте также:

«Яндекс» выпустил текстовую нейросеть YandexGPT: как ей пользоваться, сравниваем с ChatGPT

Как работает нейросеть YandexART и как происходят генерации в «Шедеврум»

Нейросеть YandexART прошла несколько стадий развития.

Начиналось ее создание и первые опыты генераций с латентной модели генерации, такой же как у популярных Stable Diffision XL и DALL‑E 3. Нейросеть использовала пары «текст-картинка» из интернета и обучалась на них. Среди недостатков разработчики Yandex Research отмечали слишком «шумные» данные плохого качества и плохую смысловую связь картинок с текстом. Качество генераций оставляло желать лучшего и разработчики нейросети продолжали эксперименты и собственные разработки в поисках лучшего решения.

Далее разработчики YandexART перешли на крупнейший в интернете датасет для машинного обучения LAION — простыми словами, библиотеку с парами «картинка-текст», на которых обучаются нейросети. С этого момента качество генераций заметно выросло. При работе с LAION команда Yandex Research набралась опыта и создала собственный пайплайн сборки датасета.

С этого момента и по текущую версию нейросеть генерирует картинки методом каскадной диффузии.

Генерация происходит в несколько шагов:

1. На основе текстового запроса генерируется картинка размером 64 × 64 пикселей.
2. Далее картинка увеличивается до размера 256 × 256 пикселей, дополняется деталями из запроса пользователя, корректируются результаты первого этапа.
3. Картинка увеличивается до размера 1024 × 1024 пикселей. На последнем этапе текстовый промпт уже не учитывается, картинка наращивает качество, детализирует объект и его окружение.

Говоря о «Шедевруме», в котором можно попробовать нейросеть, до внедрения YandexART приложение по запросу пользователя генерировало 4 варианта изображений на выбор, пользователь выбирал понравившееся, публиковал и через некоторое время изображение обретало максимальное разрешение.

Сейчас по запросу пользователя нейросеть генерирует две картинки на выбор, ожидать повышения качества после публикации больше не требуется.

С текстом генерация проще. После того, как текст готов, доступны только два действия:

• редактирование запроса;
• удаление результатов генерации.

Например, просим нейросеть сгенерировать список продуктов для приготовления борща без особых деталей — получаем не очень релевантный результат:

Нажимаем на значок редактирования, корректируем свой запрос, добавляем в него деталей и получаем то, что нужно с подробным списком и ярким заголовком.

Где можно попробовать YandexART кроме приложения «Шедеврум»

Нейросеть YandexART работает во многих сервисах экосистемы «Яндекс», среди них:

1. Генерация картинок в сервисе «Яндекс Бизнес» или помощь с выбором уже готовых изображений из нейрофотостока.
2. Генерация изображений в диалоге с Алисой через «Яндекс Браузер».
3. Генерация фонов для карточек товаров в сервисе «Яндекс Маркет».
4. Использование сгенерированных картинок в задачах по машинному обучению Яндекса.
5. Генерация подарочных карт с помощью API в режиме закрытого тестирования для одной из крупных e-commerce сетей, имя которой разработчики Яндекса пока держат в секрете.

Не так давно YandexART стала доступна для бесплатного тестирования всеми желающими на платформе Yandex Cloud.

Решения для бизнеса тоже можно протестировать в свободном доступе в сервисе Foundation Models. Сервис находится на стадии Preview и доступен для разработчиков, желающих внедрить YandexART и YandexGPT в свои проекты.

Особенности нейросети

1. Возможность писать запросы на русском и английском.
2. Готовые изображения можно обрабатывать инструментом «Фильтрум».
3. Сервис дает возможность создавать и просматривать изображения с компьютера и в мобильном приложении.
4. В приложении доступно создание текста, видео и фильтрумов.
5. Все запросы нужно писать детально и подробно, указывать художественный стиль, детализацию, важные детали. Без этого итоговый результат оставляет желать лучшего.
6. Нейросеть при отрисовке может подражать известным художникам и их стилям. Время от времени нейросеть обвиняют в копировании картин известных художников в своих отрисовках, но она растет, обучается и скорее всего, в ближайших версиях дефект будет устранен.
7. В мобильном приложении генерация картинок доступна без каких-либо ограничений, а на сайте можно создавать только картинки и в количестве не более 5 штук в день.
8. Генерации полностью бесплатны.

Читайте также:

Как ChatGPT помогает решать SEO задачи: 20 способов использования нейросети

Как зарегистрироваться и использовать «Шедеврум»

Приложение доступно для использования в маркетплейсах и на сайте:

• в Google Play
• в App Store
• с десктопа на сайте с возможностью генерации до 5 картинок в день.

Авторизация в приложении происходит с помощью действующего аккаунта Яндекса и не требует дополнительной регистрации и ввода данных.

Как генерировать изображения или текст

В приложении кнопка генерации изображения находится в нижней панели инструментов. Далее нужно выбрать что требуется создать — изображение, текст, видео или фильтрум.

На сайте кнопка новой генерации находится в правом верхнем углу.

Как скачать готовое изображение

Для скачивания есть два варианта:

1. Скачать на телефон в приложении. Скачивание в галерею возможно по нажатию на кнопку «Сохранить» у выбранного фото.
2. Скачать с компьютера. Это удобно для дальнейшего использования на компьютере: обработки в редакторе, загрузки на сайт, при необходимости загружать готовое изображение в несколько мест и т.д.

Для сохранения изображения нужно открыть сайт «Шедеврума» — shedevrum.ai, открыть свой профиль и нужное изображение. Далее нажимаем кнопку «Сохранить» и получаем изображение на компьютер. Единственный нюанс — изображение сохранится в формате .webp.

Как генерировать видео

В честь первого дня рождения сервиса 5 апреля 2024 года разработчики дали возможность всем пользователям приложения генерировать видео.

Кнопка генераций расположена там же где и для изображений с текстом.

Видео генерируется в 3 этапа:

1. По текстовому запросу пользователя генерируется первый кадр видео, чтобы пользователь мог сразу увидеть будущую стилистику и выбрать один из вариантов.
2. Пользователь выбирает стилистику, выбирает нужные эффекты для наложения и переходит к генерации полного видео.

На этом этапе можно выбрать дополнительные настройки.

3. Видео попадает в очередь генерации. Приложение пишет сколько осталось времени до окончания и сколько человек также ожидают в очереди перед ним.

В конце пользователь получает готовое видео и может опубликовать его у себя в ленте. В приложении видео можно скачать на телефон в формате .mp4.

Как пользоваться фильтрумами и что это такое

Инструмент «Фильтрум» появился в приложении во время большого обновления в январе 2024 года.

«Фильтрум» — это обработка готового, загруженного пользователем, изображения в выбранном стиле.

Выбрать нужный «фильтрум» или перейти в библиотеку «фильтрумов» можно там же, где и создать изображение или видео.

Результаты обработки фото не всегда выходят реалистичными и такого качества, чтобы можно было использовать, например, в качестве аватарки. Но изображения могут вполне создаваться для фана, использования в качестве иллюстраций, открыток или прототипов сказочных героев.

Какие результаты получаются в «Шедеврум»

Нейросеть может генерировать изображения в разных художественных стилях и с различной степенью детализации. Все эти подробности можно указать в запросе для генерации — например, гиперреализм, аниме стиль или поп-арт.

Готовые изображения можно использовать для самых разнообразных целей:

• для запуска рекламной кампании;
• для создания контента на сайте и в соцсетях;
• для генерации пользовательского контента в SMM;

• для тестирования творческих идей и поиска вдохновения;

• для создания быстрых набросков идей: например, показать элементы интерьера, архитектурные идеи во время беседы с заказчиком без использования программ;
• для генерации прототипов персонажей для игр и приложений;

• для иллюстрации продукции компании;

• для фана и развлечений.

Читайте также:

ТОП-13 нейросетей для генерации и обработки изображения и фото

Лимиты и ограничения

Генерация изображений ограничивается некоторыми правилами, среди которых:

1. Нельзя генерировать картинки, содержащие отсылки к конкретным людям, потому что «Шедеврум» не должен никого обижать или становиться генератором дипфейков.

При попытке создать картинку с какой-либо известной персоной или любым другим человеком, запрос сразу же блокируется. Но есть пользователи, которые обходят запрет путем коверкания имен.

2. Нельзя создавать изображения, связанные с политикой и религией.
3. Генерация картинок, относящихся к категориям «18+», запрещена.
4. Нельзя генерировать картинки, касающиеся жестокости и насилия.

Помимо этого соцсеть запрещает всякого рода накрутки, в том числе призывы поставить лайк на фото, поделиться и т.д.

Сообщество «Шедеврума» старается следить за нарушениями, блокировать нарушителей и формировать позитивный и добрый образ нейросети для пользователей.

Преимущества и недостатки

Плюсы использования:

• не нужно использовать VPN;
• доступна в России;
• бесплатная;
• понимает запросы на русском и английском;
• можно делиться изображениями и использовать чужие запросы.

К минусам стоит отнести:

• отсутствие возможности редактировать или дорабатывать готовое изображение, только новая генерация;
• генерация без ограничений только в приложении, на сайте только 5 изображений в сутки;
• трудности переноса изображений с телефона на компьютер.

Рекомендации по составлению хороших промтов для YandexART

1. Для написания промптов выбирайте яркие образы, добавляйте в них детали.

Например, фантастический лес, набережная реки на закате, улица освещенная фонарями, лавандовое поле и т.д.

2. Опишите в запросе максимальное количество деталей для объектов изображения: цвет, форму, материал, текстуру, форму, расположение и другие.

Например, мраморный, пушистый, деревянный, каменный, круглый, колючий и т.д.

3. Для генерации изображения в стиле определенного художника или вида графики указывайте названия стилей или имена художников.

Например, в стиле Пикассо, аниме, киберпанк, реализм, футуризм и т.д.

4. Для изображения можно указывать техники рисования.

Например, картина маслом, витраж, мозаика, набросок карандашом и т.д.

5. Указывайте пожелания к качеству и прорисовке. Так выше шанс получить детально прорисованное изображение хорошего качества.

Например, высокая детализация, высокое качество, профессиональное фото, 4k

6. Заменяйте сложные или незнакомые для нейросети термины и описания на простые описания предмета и окружения.

Например, вместо названия праздника или события, укажите детали внешнего вида участников, их действия, наряды, окружение.

Коротко о главном

• «Шедеврум» — бесплатное русское приложение для генерации картинок на основе нейросети YandexGPT и YandexART.
• Нейросеть прошла все этапы тестирования и была выпущена в релиз, имеет стабильную версию и выдает вполне приличные результаты генераций изображений, текста и видео.
• Изображениями можно делиться в соцсети с другими пользователями или скачать и использовать в работе.

Материалы:

Блог компании «Яндекс» на Habr

LAION

Обзор YandexART от Yandex.Cloud