Top
НовостиОбучениеПапа рекомендует

Что такое AR и что нужно, чтобы стать AR-разработчиком

В этой статье поговорим про дополненную реальность. Что это такое, где применяется, как работает и что нужно, чтобы стать разработчиком AR приложений.

Определение

Согласно классическому определению, дополненная и виртуальная реальности являются разной степенью смешения реального и виртуального мира и представляют из себя технологии, использующие цифровые наложения на реальный мир, с которыми могут взаимодействовать пользователи.

Виртуальная реальность (VR) — на 100% цифровой контент. Пользователь изолирован от реального мира в трехмерной цифровой среде.

Дополненная реальность (AR) — наложение цифрового контента поверх реального мира. Дополненный контент не распознает и не взаимодействует с физическими объектами в реальности.

Смешанная реальность (MR) — цифровое наложение, которое позволяет интерактивным виртуальным элементам интегрироваться и взаимодействовать с реальной средой.

Считается, что дополненная реальность имеет самый большой потенциал для массового потребления по сравнению с виртуальной или смешанной реальностью. Это обусловлено тем, что AR совместим с устройствами, которые мы уже давно используем — смартфоны. Кроме того AR предлагает практическое повседневное использование, считается менее ограничивающим, чем VR, и не отвлекает пользователя от реального мира.

Применение

Наиболее распространенными сферами применения технологии в мире стали медицина, обучение, культура и туризм, промышленность. Важно понимать, что технологии дополненной и виртуальной реальности еще не настолько продвинуты, чтобы доверять им жизнь и здоровье людей, поэтому когда говорят об AR в медицине или промышленности, зачастую имеют в виду обучение сотрудников.

AR устройства

Устройства для дополненной реальности можно разделить на две группы. Первые, используют видео дисплеи, вторые — оптические.

Optical See Through Display

Их также называют True AR. Устройства похожи на обычные очки и добавляют информацию или цифровой контент к тому, что видит пользователь сквозь линзы. Выглядит круто, но есть большой недостаток — цена. Продвинутые устройства с оптическими дисплеями стоят от 1000 до 5000 долларов. Они подразумевают использование сложных в изготовлении оптических дисплеев и технологий проецирования контента. Поэтому производители ориентируются в основном на клиентов корпоративного уровня.

Примеры популярных AR очков: Vuzix Blade Smart Glasses, Meta 2, ODG R-9.

Существуют более простые и дешевые технологии, вроде Laser Beam Scanning, но с их помощью пока можно проецировать только примитивный контент. По сути, это просто очки с уведомлениями.

Video See Through Display

Самым доступным устройством с видео дисплеем, пригодным для AR является смартфон. Стал доступен для массового потребления благодаря приложениям, использующим дополненную реальность. Это позволяет использовать дополненную реальность в развлекательных, корпоративных и практических целях. Пользователь просто направляет камеру мобильного телефона на объект в реальном мире, и приложение AR накладывает на него цифровой контент.

Виды AR

Существует три основных технологии привязывания цифрового контента к объектам в реальном мире.

Привязанный к локации AR.

AR-приложение связывает контент дополненной реальности с конкретным местоположением, определяя его с помощью GPS, компаса или систем компьютерного зрения. Распознавая улицу, оно может показывать туристическую информацию или развлекательный контент. Так работает всем известный Pokemon Go и приложения-гиды.

Безмаркерный AR

Позволяет разместить объект виртуальной реальности в любом месте. Одно из самых знаменитых в мире коммерческих AR-приложений Ikea Place работает именно по такому принципу. 

Маркерный AR

Приложение привязывает цифровой контент к определенным меткам на реальном объекте. В качестве маркера могут выступать любые уникальные точки объекта. На данный момент, это наиболее развитая технология. Она широко применяется для оживления графического контента в искусстве и рекламе, используется при создании всевозможных масок для Instagram, TikTok и прочего.

Мнение специалистов

Для того, чтобы лучше разобраться в том, как работает дополненная реальность, мы задали несколько вопросов специалистам компании-разработчика визуальных решений на основе искусственного интеллекта, дополненной и виртуальной реальности Phygitalism.

Что может служить маркером для AR?

В качестве маркера можно использовать почти что угодно. Для нашего приложения ArtLife 2020 мы использовали как обычные абстрактные изображения, собранные пазлы, купюры, так и настоящие картины. Однако есть некоторые ограничения на то, как должен выглядеть маркер. Исходя из наиболее часто применяемых алгоритмов, маркерное изображение должно иметь достаточно острых углов и быть контрастным (т.к. часто рассматривается в градациях серого), иметь не бликующую поверхность и не быть слишком маленьким. Например, четырех-сантиметровый круг — плохой маркер, а десяти-сантиметровый квадрат — уже лучше.

Полина Орлова (Unity Developer Phygitalism)

Есть ли разница в разработке AR для приложений и для Web?

Главное отличие между созданием AR на базе приложения и на базе сайта — это пайплайн разработки, который напрямую зависит от языка программирования (они отличаются для создания веб и mobile решений).

При создании WebAR решения нужно помнить об ограничениях, которые пока что есть у технологии, например невозможность распознавания плоскости (обращаем внимание, что в этом случае мы говорим именно про WebAR, не про веб 3D AR форматы как usdz). Пока с этим лучше всего работает платформа 8th wall, однако о таком качестве как на ARkit/ARcore пока говорить рано. И это влияет на создание концепции взаимодействий в AR, сценария контента — нужно продумать механики так, чтобы несовершенства технологии были минимально заметны для пользователя. Хороший пример — онлайн-магазин предметов искусства Saatchi Art, запустивший AR-просмотр продаваемых картин. Чтобы сбалансировать отсутствие привязки виртуального объекта к стене, разработчики добавили возможность механически выбрать край стены, чтобы относительно него размещать произведение искусства и предупреждать пользователя, если он подходит слишком близко к стене.

Основными ограничениями WebAR можно назвать вес 3D сцены, формат и сложность 3D моделей. Подробнее о технологии можно прочитать в нашей статье.

Яна Cайковская (Creative manager Phygitalism)

Какова роль движка в разработке AR?

Первичная задача движка — упростить и ускорить разработку. И чем более популярным становится движок, тем большим количеством плагинов и библиотек он обрастает, что хорошо сказывается на скорости разработки. Однако нужно особенно чутко отбирать необходимые инструменты.

Насколько Unity подходит для работы с AR?

Unity — пример движка, который немало уделяет внимания AR разработке. Последние проекты, такие как MARS или XR Interaction Toolkit, этому подтверждение. Большой плюс в том, что с помощью Unity можно создавать кросс-платформенные приложения, которые потребуют минимального изменения кода, а не создания приложения с нуля для другой платформы. В этом скрываются и некоторые минусы, но это требует отдельного обсуждения. Также много зависит и от требований к приложению. Если необходимо использовать уникальные или новые AR функции, то вполне возможно, их интеграция в Unity может быть еще не реализована, поэтому такие вещи стоит уточнять.

Одно из главных отличий Unity от других игровых движков — это существенно больший охват различных SDK, которые предлагают новый функционал в AR. Подавляющий объем библиотек для AR скорее имеют интеграцию с Unity, нежели с другим игровым движком. Это всегда нативные библиотеки, часто Unity плагин, немного реже можно встретить интеграцию с Unreal Engine и т.д.

Какие смежные знания будут плюсом при обучении AR разработке?

Помимо навыков работы с выбранным движком и программирования, понадобится хотя бы базовое понимание, что такое SLAM, как это работает в ARKit/ARCore, какие функции и датчики устройств задействованы и почему. Это особенно полезно, когда заходит речь о взаимодействиях с пространством, навигации и мультиплеера в контексте AR.

Полина Орлова (Unity Developer Phygitalism)

Как начать самим делать AR?

Apple, Facebook, Snapchat, Google и другие уже предлагают AR приложения и комплекты разработки программного обеспечения (SDK), благодаря которым пользователь любого уровня может попробовать свои силы в создании AR. Например Spark AR от Facebook. В этой программе можно создавать маски, менять окружающее пространство через фильтры и добавлять свои 3D объекты. Для более сложных масок потребуются углубленные знания CG и программирования, но простые можно создать без специальной подготовки. Так же хорошее приложение по экспериментам с Image Tracking — EyeJack.

Для тех кто интересуется 3D моделированием, стоит посмотреть платформу Vectary 3D. Файлы, созданных на ней сцен, можно экспортировать в формате, который откроется в виде AR стандартными средствами вашего iPhone.

Как стать AR разработчиком?

Для того, чтобы создать свое AR приложение, помимо основ программирования, необходимо знание особенностей разработки и принципов оптимизации под Android, iOS, Web; умение работать с библиотеками для дополненной реальности, базами данных, 3D моделями, эффектами и многим другим.

Всему этому можно научиться на курсе «Unity 3D Developer». Во время обучения студенты максимально быстро освоят знания движка Unity, а по окончанию курса добавят в портфолио AR-приложение и две уникальные игры — 2D-platformer и 3D-survival shooter.

Статью подготовил Олег Мощенко.

Подписывайтесь на нас в Facebook, Telegram, Vkontakte, Pinterest.

1-3 декабря серия открытых лекций In3Dusty.Part 10

+1
0
+1
0
+1
0
+1
0
+1
0
+1
0
+1
0
Поделиться: