Top
2D арт3D артAnimationAutodeskАнимация и VFX

Применение нейросетей в CG и анимации

Поделиться

Компьютерная графика — относительно молодая отрасль жизнедеятельности человека. И хотя, по сравнению с древнейшими занятиями человека, она находится в младенческом возрасте, развивается она до безобразия стремительно. А теперь еще CG индустрию подстегивают вездесущие нейросети.

 

На что же способен искусственный интеллект и кто он для человека: добрый друг и помощник или же конкурент и кровный враг?

Генеральный директор компании Neuromation и со-основатель Украинской анимационной ассоциации UANIMA (нет, это не он на картинке выше) Максим Прасолов говорит:

«Никакого искусственного интеллекта на самом деле нет. Он существует только в воображении фантастов. То, что мы называем ИИ — это целый класс алгоритмов машинного обучения и, в последнее время, deep learning.

Нейронные сети — это модель машинного обучения: вычислительная мощность и размеченные наборы данных»

Этим он хочет сказать, что пока не ясно, обретут ли когда-нибудь нейросети способность осознанно мыслить, но даже если это и случится, то еще очень и очень нескоро. Поэтому интеллектом их называть не совсем корректно. По крайней мере, пока.

Тем не менее, не обращая внимания на терминологию и разности определений, нейросети активно внедряются в компьютерную графику. На сегодняшний день они уже достигли определенных успехов.

 

Что умеют нейросети?

Специалисты из Autodesk считают, что ИИ совсем не опасен для человека. По крайней мере, для человека разумного. Они разделяют нейросети на три типа, каждый из которых призван облегчить нам жизнь, избавив от рутины механической работы.

Типы нейросетей:

  1. Умные инструменты (Smart tools)
  2. Смышленые помощники (Intelligent assistant)
  3. Надежные партнеры (Trusted collaborators)

Умные инструменты.

Smart tools — это плагины и наборы автоматических рабочих процессов, для которых требуются повторяемые действия/ Инструменты, которые решают ранее неразрешимые проблемы и делают рабочие процессы быстрее, проще и дешевле.

«Например, работа с глубиной. — говорит Максим Прасолов — Когда у вас есть single image и вам нужно сделать глубину, или построить 3d-сцену по одной фотографии. Это нейросети уже научились делать»

К таким процессам относится также UV развертка. ИИ от Autodesk уже учится выполнять ее правильно: разбивать модель на части и маскировать швы. И хотя это у него получается пока не очень хорошо, но для начала совсем неплохо.

Ну и мечта всех киношных криминалистов — возможность повышать качество фотографий и увеличивать объекты на них, чтобы разглядеть отраженный в пуговице преступника регистрационный номер авто, в котором он скрылся.

Максим Прасолов рассказывает об этой технологии так:

 «Сама нейронная сеть построена таким образом, что она извлекает информацию из изображения, сводя значения к минимуму, по которому может быть активирован тот или иной нейрон. Информацию о большом изображении 1024х1024 можно уместить в 16 пикселей. И на основании этих пикселей можно построить модель»

Подобную нейросеть представили украинские разработчики, запустив онлайн-сервис  letsenhance.io.

Смышленые помощники.

Intelligent assistant — это инструменты, которые узнают, кто мы и что мы пытаемся сделать, чтобы применить, предложить или предсказать требуемые действия и решения.

«Autodesk разработал “Т9” для моделера. То есть вы рисуете в рабочем поле крест, а он уже предсказывает: это самолет или, скажем, квадрокоптер. То есть как только вы измените модель, он тут же выдаст вам готовый вариант. Очень удобная вещь. Это такой смарт поиск по подобию форм» — говорит Максим.

Надежные партнеры.

Trusted collaborators — это инструменты, которые понимают контекст, в котором мы работаем. Эти системы превращают данные в контекстные идеи. Это самый сложный тип нейросетей. Они находятся на стадии активной разработки, но есть и применимые результаты.

К таким системам можно отнести нейросети, способные на мультимодальный синтез речи и видео. Получая на входе только текст, сеть генерирует голос и аватар ведущего с анимацией губ, а иногда и незначительной жестикуляцией.

Как бы футуристично это ни звучало, но трудолюбивые китайцы уже используют подобную сеть в своих медиа. Лидером в этом направлении является компания Tencent.

Надежными партнерами также могут считаться нейросети, способные генерировать анимацию из текста. Разработкой такой сети занялся сам Disney, так что результатов можно ждать в ближайшее время.

А может быть и нет. Ведь даже для такой огромной компании, цель кажется достаточно труднодостижимой. Естественные процессы языка — это самая дорогая и сложная задача в deep learning. Для нее нужно огромное количество точек данных. Вариативность языка огромна, и научить сеть понимать контекст написанного гораздо сложнее, чем объяснить ей как вырезать маски.

«Анимация из текста — это очень нетривиальная задача. Пока что пример Disney является самой продвинутой в плане генерации из текста. Это модель естественных процессов языка (Natural Language Processing). И что самое интересное здесь — возможность создать препроцессинг, скажем так. То есть вы можете создать сцену, но полноценную, вот прям то, что называется hi polish animation, вы вряд ли создадите. Во всяком случае, на этом этапе развития технологий.

А вот, что можно делать — сторибординг. Можно создавать как уникальные сцены, так и сцены по подобию. Если натренировать сеть, например, на классических анимационных сценах, то она вам будет генерить постановку даже с источниками света» — говорит Максим Прасолов.

Он считает, что, возможно, на каком-то этапе возникнет специальный язык для создания режиссерских сценариев, чтобы нейросеть их понимала. Но возможность создавать анимационные сцены появится только тогда, когда система научится более или менее хорошо делать раскадровки. А пока это просто аниматики, по которым понятно, что дальше рисовать.

Как видите, нейросети — это инструмент, помощник, партнер, но никак не конкурент. Это дополнительный стимул учиться, на каком бы уровне знаний вы не находились. Ведь нет ничего лучше для чувства собственного достоинства, чем утереть нос зарвавшимся алгоритмам.

Статью подготовил Мощенко Олег.