Нейросеть GauGAN2 от NVIDIA создает картинку по текстовому описанию | STROKA.info

Нейросеть GauGAN2 от NVIDIA создает картинку по текстовому описанию

В NVIDIA Research продемонстрировали нейросеть GauGAN2, которая использует модель глубокого обучения и создает картины по текстовым описаниям. Для создания изображения ей достаточно всего три или четыре слова.

Пейзаж от GauGAN2 / ZDnet

Достаточно, например, ввести словосочетание «закат на пляже», и ИИ сгенерирует данную сцену. Если добавить прилагательное, например «закат на каменистом пляже», или заменить «закат» на «полдень» или «дождливый день», то модель мгновенно изменит картинку.

Одним нажатием кнопки пользователи имеют возможность создать карту сегментации, высокоуровневую схему, которая показывает расположение объектов в сцене. Оттуда они имеют возможность переключаться на рисование.

Новую функцию преобразования текста в изображение GauGAN2 теперь можно испытать в демонстрациях NVIDIA AI. 

Вместо того, чтобы рисовать каждый элемент воображаемой сцены, пользователи имеют возможность ввести короткую фразу, чтобы быстро создать тему изображения, например, заснеженный горный хребет. Затем сцену можно редактировать, чтобы, например, сделать конкретную гору выше или добавить пару деревьев на переднем плане или облака в небе.

Модель искусственного интеллекта, лежащая в основе GauGAN2, была обучена на 10 млн высококачественных пейзажных изображений с использованием суперкомпьютера NVIDIA Selene. Исследователи использовали нейронную сеть, которая изучает связь между словами и визуальными эффектами.

По сравнению с современными моделями, специально предназначенными для приложений преобразования текста в изображение, GauGAN2 обеспечивает большее разнообразие сцен и более высокое качество изображений, убеждают разработчики.

Демонстрация исследования GauGAN2 иллюстрирует будущие возможности инструментов создания изображений для художников. Одним из примеров является приложение NVIDIA Canvas, основанное на технологии GauGAN.

В июне NVIDIA выложила в открытый доступ бесплатную бета-версию Canvas. Минимальные системные требования: Windows 10, видеокарта из серии GeForce RTX, NVIDIA RTX, Quadro RTX, TITAN RTX, а также версия видеодрайвера 460.89 или новее. Размер дистрибутива бета-версии Canvas 1.0 представляет собой 1.1 ГБ. В Canvas есть различные фильтры, с помощью которых пользователь может нарисовать картину в стиле разных знаменитых художников. 

Источник Хабр

Previous post Небензя: сверхнапряженности на границе Российской Федерации и Украины нет
Next post Собянин больше не хочет мигрантов на стройках (Руслан Осташко)