Microsoft представила очки дополненной реальности HoloLens. Очки смешанной реальности Microsoft Hololens Development Edition Дополненная реальность майкрософт

Microsoft HoloLens, новый гаджет, представленный компанией на презентации Windows 10 , вызвал бурю положительных отзывов среди тех, кому удалось примерить его на себя. Гаджет представляет собой очки для создания дополненной реальности. Надев очки, вы сможете работать с виртуальными объектами, которые отображаются поверх реальных, видимых сквозь прозрачные линзы очков. Управляться в виртуальном мире можно будет при помощи жестов и голосовых команд.

На презентации Алекс Кипман и другие члены команды разработки Studio C представили примеры работы с очками, в числе которых был просмотр 3D-видеоролика и создание трёхмерной модели квадрокоптера в специальном редакторе. Разработчики рассказали, что созданные модели можно будет сразу отправлять на 3D-принтер. Заранее распечатанная модель квадрокоптера затем была продемонстрирована восторженной публике.

На самом деле устройство не создаёт голограмм, а просто использует стереоизображение для создания подобного впечатления вкупе с отслеживанием движений глаз. Для создания дополненной реальности устройству не потребуются дополнительные камеры, датчики, и даже подключение к компьютеру. Рабочая среда очков под названием Windows Holographic будет поддерживаться всеми устройствами, работающими на Windows 10.

Устройством уже заинтересовались в NASA, и вместе с Jet Propulsion Labs уже разрабатывается технология, которая позволит управлять марсианским Ровером при помощи дополненной реальности. Например, учёные смогут ходить по виртуальной поверхности Марса и отмечать заинтересовавшие их места поверхности, которые должен будет исследовать марсоход.

Разработчики уверены, что Windows Holographic и очки появятся в продаже одновременно с Windows 10. API системы будет включено в ОС, и платформа будет открытой для сторонних разработчиков как софта, так и железа.

Обозреватель ресурса arstechnica , которому удалось попробовать очки на себе, рассказал о необыкновенном ощущении «попадания в будущее». Дополненная реальность позволила ему увидеть наряду с реальными объектами башни из Minecraft, окна Skype и даже поверхность Марса. По его словам, виртуальные объекты видны ярко и чётко и выглядят почти непрозрачными, что создаёт ощущение их «реальности».

Андрей Ивашенцев подготовил для рубрики «Рынок игр» описание функций шлема Microsoft HoloLens, рассказал об опыте его использования и разнице между виртуальной и смешанной реальностью.

Microsoft HoloLens - первый шлем смешанной реальности (Mixed Reality) и первый продукт Microsoft, работающий в операционной системе Windows 10 и подсистеме Windows Holographic.

Сейчас устройство доступно по цене в $3000 за Development Edition исключительно для разработчиков в США и Канаде в рамках программы предзаказов, отгрузка по которым началась только в апреле и которые уже распроданы на полгода-год вперед. Нам в Game Insight удалось достать устройство и даже привезти его в Россию одними из первых. Ну а так как HoloLens - самый что ни на есть инновационный продукт, разбираться с ним выпало мне.

Разработка HoloLens предположительно была начата в Microsoft Research и потом была продолжена в ANALOG - команде, изначально сформированной внутри группы Xbox и состоящей преимущественно из инженеров, работавших над Kinect. Разработка ведется уже более семи лет, и ее удалось сохранить в секрете до момента релиза, что в современном мире большая редкость.

В отличие от большинства девайсов на рынке, это автономное устройство на Windows, которое работает от батареи около пяти часов (в зависимости от нагрузки). HoloLens не требует подключения к компьютеру через кабель, а все вычисления производятся на самом устройстве с помощью CPU и GPU.

Работа со всеми сенсорами осуществляется при помощи встроенного чипа HPU (Holographic Processing Unit), который был разработан специально для HoloLens и служит для обработки информации на аппаратном уровне. Это уникальный в своем роде чип, позволяющий обрабатывать гигабайты пространственных данных, по сути, на мобильном устройстве.

К примеру, Kinect 2.0 с помощью двух своих камер и сенсора создает такое количество RAW-данных, что шина USB 3.0 с трудом успевает передавать их на ПК в реальном времени, а их потом еще нужно обработать. А теперь представьте, что HoloLens содержит в три раза больше сенсоров, часть из которых отвечает за позиционирование в пространстве, часть - за контроль положения головы, а часть - за позиционирование голограмм.

Смешанная реальность и голограммы в концепции Microsoft позволяют дополнить пространство вокруг нас трехмерными объектами, которые могут не просто «болтаться в воздухе», как в обычном варианте дополненной реальности, а органично вписываться в интерьер и взаимодействовать с ним. HoloLens имеет очень высокую точность позиционирования и учитывает особенности человеческого восприятия комбинации из реальных объектов и изображения на дисплеях. Именно благодаря этому голограммы выглядят такими стабильными.

Проще говоря, когда перед вами голограмма земного шара, она не просто висит в воздухе, а привязана к какой-либо поверхности, и вы можете спокойно обойти ее, рассмотреть со всех сторон, а также повертеть в разных плоскостях - на то она и голограмма.

Две ключевые технологии, которые позволяют обеспечить максимальную реалистичность взаимодействия с голограммами, - Spatial Audio и Spatial Mapping.

Spatial Audio - интеллектуальное позиционирование источников звука в пространстве для создания эффекта присутствия. Если в одном углу вашей комнаты находится виртуальная собака, то ее лай будет доноситься именно из этого угла, а не просто звучать вокруг пользователя. Открытый формат реализации динамиков позволяет создать этот эффект без ущерба для окружающей реальности: помимо собаки вы спокойно будете слышать человека, который говорит вам что-то из другого угла той же комнаты.

Spatial Mapping - технология пространственного сканирования, аналогичная Surface reconstruction. HoloLens сканирует окружение и преобразует реальные поверхности вокруг себя в совокупность треугольников (мэши), обеспечивая возможность виртуальным объектам взаимодействовать с ними. Происходит своеобразное 3D-сканирование пространства, а виртуальная модель помещения сохраняется в памяти устройства и впоследствии используется в логике работы приложений.

Анпакинг

Комплект доставляется в большой коробке, в которую упакованы две коробки поменьше: в одной находится HoloLens в футляре, а в другой - кликер. В переносном защитном футляре, повторяющем форму девайса, находится зарядное устройство, салфетка для протирки стекол, а также несколько сменных элементов.

Само устройство состоит из двух основных деталей - рамки и визора. Рамка имеет механизм регулировки и настраивается под каждого пользователя с помощью специального колесика. У визора есть запас хода относительно рамки, он настраивается на уровне глаз человека.

На боковых частях визора размещены стереодинамики, передающие звук в режиме 3D, обеспечивая достоверную передачу звуков от голограмм, находящихся в пространстве вокруг пользователя. Это называется Spatial Sound, и об этом я рассказал раньше.

В передней части визора находятся оптические и инфракрасные камеры, различные оптические сенсоры и датчики освещенности.

В задней части - кнопка питания и индикатор заряда батареи, порт для подключения зарядного устройства (microUSB), а также разъем для наушников.

Проекционные экраны визора выполнены на базе технологии волноводной оптики - она считается одним из самых современных способов визуализации изображения с сохранением прозрачности поверхности.

Использование

Для начала работы с устройством его нужно правильно закрепить на голове, а потом включить кнопкой на торце визора. При первом включении необходимо авторизоваться с помощью Microsoft Account и провести калибровку визора в соответствии с персональными характеристиками.

В течение всего процесса настройки вам помогает виртуальный помощник Cortana, который учит пользоваться жестами и рассказывает о возможностях устройства. Стандартных жеста два: это Air Tap - виртуальное касание пальцем, имитирующее клик, и Bloom - раскрытие ладони, вызывающее Start-меню.

После инициализации перед нами появляется стандартное Start-меню с тайлами, почти такое же, как в обычной Windows. Из меню можно запускать приложения, управлять настройками и выполнять все стандартные базовые действия.

Приложения для устройства скачиваются и ставятся из Microsoft Store, специально адаптированного под HoloLens. Пока приложений под Holo не очень много, большинство из них разработано в Microsoft Studios для демонстрации возможностей устройства.

Несмотря на ограниченный набор нативных приложений, большинство универсальных (UWP) приложений и игр от Windows 10 тоже спокойно запускаются и работает в оконном режиме. Для удобной работы, разумеется, потребуются мышка и клавиатура (или геймпад), но это совершенно не влияет на опыт использования.

На сегодняшний день HoloLens позиционируется в основном как устройство для корпоративной разработки с участием глобальных партнеров типа NASA, Volvo, Disney и Universal. Соответственно, корпоративные клиенты - первая целевая аудитория HoloLens, за которой потенциально последует запуск устройства в розничные каналы.

Из заметных ограничений - достаточно скромный угол обзора: порядка 30−37 градусов. Об этом пункте уже много написано, и он обсуждается как ключевой в списке необходимых доработок HoloLens. Но если провести в шлеме некоторое время, угол обзора перестает создавать дискомфорт: это сравнимо с адаптацией к горнолыжной маске или плавательным очкам.

Во многом это зависит не только от технологических ограничений волноводной оптики, но и от особенностей человеческого глаза, его фокусировки, периферийного зрения и того, как наш мозг воспринимает визуальную информацию. К счастью, прогресс не стоит на месте, поэтому хочется верить, что в следующих версиях устройства угол обзора станет больше.

Влияние на игровую и смежные с ней индустрии

Многим в игровой индустрии интересно, что же случится с рынком, когда на нем появится HoloLens. Запуск устройства на массовый сегмент рынка запланирован только через несколько лет, поэтому делать прогнозы с текущей динамикой - дело неблагодарное.

Если посмотреть на рынок сегодня, то мы увидим, как VR шагает по планете и как многомиллионные бюджеты тратятся на битву за умы игроков (как на ПК, так и на мобильных платформах). Мы в Game Insight постоянно изучаем новые технологии, пробуем разные девайсы и стараемся оценить перспективность тех или иных подходов.

Мобильная VR старается приблизиться по возможностям и производительности к стационарной VR, что видно, к примеру, из анонса платформы Google DayDream. Стационарная VR, наоборот, пытается добавить себе мобильности и уместить полноценный мощный игровой ПК в форм-фактор рюкзака.

При работе с голограммами, в отличие от работы с VR, требуется держать в голове тот факт, что игрок должен взаимодействовать с окружающим миром и динамически подстраивать игру под среду. Немного легче будет тем, у кого есть опыт процедурной генерации ландшафтов и игровых сценариев. Все это существенно сложнее, чем просто нарисовать сцену в Unity, повесить туда VR-камеру и начать играть.

Несмотря на эти сложности, платформа дает безграничные возможности для полета фантазии. Можно строить огромные миры прямо на своем журнальном столике, прорубать окна в новые неизведанные миры прямо в собственной гостиной, объединять несколько устройств по сети и играть в голографические игры в режиме мультиплеера, да и мало ли что еще.

VR или голограммы

В поисках ответа на этот вопрос стоит обозначить разницу между VR (Virtual Reality), AR (Augmented Reality) и MX\Holograms (Mixed Reality).

Виртуальная реальность (VR) называется виртуальной именно потому, что она синтезирована и полностью подменяет нашу реальность той сценой, в которую нас хотел поместить автор игры или приложения. Мы надеваем шлем и отключаемся от реальности.

Дополненная реальность (AR) - проекция двухмерных или трехмерных объектов перед глазами пользователя, в большинстве случаев без привязки к окружающему миру или с привязкой через специальные маркеры. Простейшие варианты дополненной реальности мы можем видеть даже при съемке на смартфон, когда умная программа камеры автоматически определяет и обводит квадратиками лица людей. Самым понятный пример очков в данном случае - Google Glass, который не очень «выстрелил» на рынке.

Смешанная реальность, или голограммы (MR), комбинирует два этих подхода и привязывает виртуальные объекты к реальному пространству. Кто-то называет это дополненной виртуальностью, кто-то - смешанной реальностью, а Microsoft использует термин Holograms. Google идет похожим путем с проектом Google Tango, однако с немного другим списком целевых сценариев и форм-фактором устройств.

Билл Гейтс в рамках своего спецпроекта на Reddit написал на эту тему: VR is the extreme case of AR when nothing from the real world gets mixed in. Это достаточно логично, если представить, что мы подменяем вашу гостиную любой другой виртуальной комнатой, оставляя все виртуальные объекты (голограммы) на тех же самых местах, но запускаем ее на шлеме типа Oculus Rift или Vive.

Следуя этому принципу, буквально неделю или две назад Microsoft анонсировала доступность платформы Microsoft Holographic для всех типов VR-, AR- и MR-устройств, предоставив пользователям самых разных шлемов возможность взаимодействовать друг с другом в виртуальной среде.

Однозначного выбора сделать не получится: правда всегда будет где-то посередине. Через 7−10 лет нас всех ждет безумно интересное и технологичное будущее, которое мы раньше видели в фантастических фильмах. Забавно, насколько это избитая фраза и насколько иначе я стал ее воспринимать, впервые примерив HoloLens.

Virtual Reality (VR) Headsets and computers

Designed to unleash the power of your imagination, today"s VR technology delivers the ultimate in immersive gaming. With richly detailed, three-dimensional graphics, comfortable gear and natural movements, it will revolutionize your favorite pastime. Discover just a few of the features available in our :

• Lightning-Fast Graphics Performance: Our Virtual Reality gaming systems feature powerful NVIDIA graphics and dedicated memory that deliver smooth, ultra-fast performance for the latest VR games, as well as your favorite movies, and videos.
• Incredible Storage Capabilities: With up to 2TB of hard drive space, you"ll have room for all of your go-to games and files. In addition, some systems can support multiple SSD or HDD drives – for quick boot and incredible archiving capabilities.
• Multiple Ports: Because connectivity is key, our virtual reality computers and systems give you a number of USB, HDMI, and display ports that allow you to share your VR experience with others.
• : The wearable Virtual Reality gaming gear on select systems gives you room-scale VR gaming that delivers an immersive experience via comfortable headsets and intuitive handheld controls.
• Multi-Functional Systems: Many of our Virtual Reality PCs do more than let you play the latest games. They let you work productively, use state-of-the-art software and connect with friends, family, and other gamers in a myriad of ways. With the ability to use your VR system for all that you do, it"s the ultimate technology for your workday and your downtime.

Virtual Reality is no longer a dream. It"s here – in all its stunning, three-dimensional glory. Boasting powerful processing and lightning-fast graphics cards, our systems deliver breathtaking images and a virtual reality that"s richly detailed incredibly lifelike. Best of all, our many of our VR gaming systems also give you the power work on files, surf the web, connect via social media and more – making them multi-functional devices that are designed for the way you live. Explore all of our VR systems, games and

Шлем Microsoft HoloLens перестаёт быть невиданной редкостью. Его можно опробовать на выставках и презентациях, роликами с ним заполнены видеохостинги, растёт количество студий, создающих под него программное обеспечение - они прикладывают массу усилий к тому, чтобы сделать смешанную реальность ближе к людям. Однако до сих пор мало кто понимает, какие технические решения сделали возможным создание шлема .

На сегодняшний день мы знаем, что HoloLens - это принципиально новый компьютер на Windows 10 и мобильной вычислительной платформе Intel, который укомплектован визуальными датчиками, наделяющими его возможностями Kinect, но в гораздо более интересном мобильном варианте. Также в шлеме есть инерциальный блок определения местоположения, малоизвестный процессор типа Holographic Processing Unit (HPU) и проекционная система формирования изображения на линзах перед глазами пользователя.

Microsoft не скрывает информацию о своём ключевом устройстве будущего, но она также редко её афиширует, оставляя подробности разработчикам. А Голографика хочет, чтобы информацию о такой важной новинке мог найти любой желающий. Поэтому сегодня мы постараемся дать вам максимальное преставление о том, что скрыто под корпусом HoloLens, и как всё это работает.

Оптика

Начнём с того, на что сразу обратит внимание любой пользователь HoloLens. В отличие от шлемов виртуальной реальности, которые передают картинку через непрозрачные светодиодные или жидкокристаллические дисплеи и стеклянные линзы, которые искажают картинку для правильного восприятия зрительным аппаратом человека, в устройстве Microsoft установлены прозрачные волноводные линзы. Это линзы с волнообразной призматической структурой, которые правильным образом преломляют и отправляют в наши глаза картинки с расположенных по бокам микродисплеев. Картинка формируется на основе данных с датчиков местоположения шлема и окружающих объектов, и в результате мы видим перед собой «голограммы» - компьютерную графику, интегрированную в окружающую действительность, или смешанную реальность.

Рабочая цепочка оптической системы HoloLens выглядит следующим образом: микродисплей → визуализационная оптика → волновод → объединитель → дифракционные решётки (они производят расширение выходного зрачка). Пока просто набор слов, поэтому постараемся всё объяснить.

Начнём с конца. В оптике выходной зрачок - это виртуальная апертура оптической системы, и из системы могут выйти только лучи, проходящие через виртуальную апертуру. Ещё проще: это область с образом, видимая в окуляр. В нашем случае, входной зрачок - наш глаз, а выходным является проекция. Ключ к правильной работе всей системы, это расширение выходного зрачка через максимальное расширение области, доступной обзору человеческого зрачка с любой его позиции (англоязычный термин - «eye box»). Этого позволяет добиться регулировка линз в вертикальной и горизонтальной плоскостях. По словам Microsoft, у HoloLens самый большой eye box в отрасли.

Но это финиш, а старт расположен у проекторов, которые в Microsoft называют «световыми движками». HoloLens содержит LQoD-дисплеи, которые вы можете найти в обычном проекторе. Это два устройства с разрешением HD и соотношением сторон картинки 16:9 на дужке под инерциальным датчиком, о котором мы поговорим позже. Свет из проекторов должен пройти через объединитель - устройство, правильным образом комбинирующее проекцию и реальный мир.

Три Д (Датчики Дают Добро)

Когда дело касается дополненной, виртуальной или смешанной реальности, датчики положения и пространства имеют огромное значение. Нужно ли следить за положением головы, окружающими предметами и людьми, проходимым расстоянием или глазами - скорость и точность датчиков делают компьютерное вмешательство реалистичным или превращают погружение в кошмар.

Панель датчиков HoloLens содержит по две камеры распознавания окружающей среды справа и слева, времяпролётную (time of flight - ToF) камеру глубинного зондирования, датчик внешней освещённости и двухмегапиксельную камеру для фото или видео в HD-разрешении. Некоторые детали массива куплены у сторонних поставщиков, другие же изготовлены самой Microsoft.

Камеры зондирования окружающей среды служат основой для трекинга головы, а времяпролётная камера играет две роли: помогает с отслеживанием движений рук и реконструирует окружающие поверхности, чтобы размещать «голограммы» на физических объектах (например, именно это является одной из основных функций камер Intel RealSense 400-й серии в Project Alloy).

Датчики работают совместно с описанной выше оптической системой и датчиком инерциальной навигации, установленным прямо над переносицей. HoloLens обрабатывает положение пользователя меньше чем за 10 миллисекунд, за счёт чего изображение не плывёт, а виртуальные объекты не летят вслед за поворотами головы. На самом деле, немного летят, но и HoloLens - пока прототип.

Холодная голова

Мы давно знаем, что HoloLens работает на мобильной системе на чипе Intel поколения Cherry Trail, и у нас практически не было данных по инерциальному модулю и голографическому процессору (ГП), который в мире за стенами Microsoft именуется процессором компьютерного зрения (пример - Myriad).

Очевидно (и подтверждено), что устройство получило специальную материнскую плату без радиаторов и вентиляторов охлаждения. На ней есть твердотельный накопитель на 64 ГБ формата eMMC и 2 ГБ оперативной памяти LPDDR3 - по гигабайту на центральный и голографический процессор. Архитектура - x86, а операционная система - Windows 10.

SoC остаётся неизвестным, но всё семейство Cherry Trail получило по четыре 14-нанометровых ядра Airmont. Слайды Microsoft позволяют утверждать, что чип подключён по PCIe к двум устройствам: контроллеру 802.11ac Wi-Fi/BT 4.1 LE и процессору компьютерного зрения. При этом только одна из двух компоновок Cherry Trail имеет пару портов PCIe - версия Type 4 на 289 квадратных миллиметра. По крайней мере на бумаге, эта версия доступна с максимум 16 графическими исполнительными блоками восьмого поколения. Intel HD Graphics имеет аппаратное ускорение HEVC и H.264, что сводит к минимуму энергозатраты на воспроизведение медиа. А укладка памяти в SoC и HPU экономит место на материнской плате.

Также Cherry Trail может похвастаться обилием интерфейсов ввода/вывода, полезных для . Встроенный экономичный звуковой движок может кодировать и декодировать аудио для встроенных динамиков и с четырёх микрофонов. I²C-интерфейсы упрощают работу с датчиками температуры и освещённости. Поддержка MIPI CSI обеспечивает беспроблемное подключение к SoC камер. А SSD на 64 гигабайта подключается к кластеру управления внутренним хранилищем процессора через SDIO.

HPU

Голографический процессор версии 1.0 отвечает за сбор и обработку данных с различных камер HoloLens, чтобы отправить стройный обработанный код в центральный процессор. ГП произведён по 28-нанометровому техпроцессу TSMC. Его площадь составляет 144 квадратных миллиметра, большую часть из которых занимают 12 вычислительных узлов с 2 DSP-ядрами разработки Tensilica в каждом (24 ядра).

Microsoft использовала базовый набор инструкций Xtensa с примерно 300 расширениями для входного потока данных от различных подсистем шлема, которые комбинируются и выводятся на SoC в упрощённом формате. С самого начала в Рэдмонде не хотели загружать ни один вычислительный узел больше, чем на 50%, поэтому перегрузка HPU маловероятна и в будущем - всё сделано с запасом.

Компания также предъявила взыскательные требования к времени ожидания и рабочему циклу. Для их сокращения операции, которые не могут быть удовлетворительно произведены ядрами DSP, передаются на монофункциональные ускорители. Во многом это похоже на выделение транзисторов под конкретные задачи, такие как тесселяция или декодирование видео, в графике и . Microsoft реализовала автономные ускорителями и блоки аппаратных средств, тесно связанные с ядрами DSP для ускорения производительности критически важных операций. Эта связка производит порядка триллиона операций с пикселями в секунду, то есть в 200 раз больше, чем при программной обработке.

Наряду с 1 гигабайтом оперативной памяти LPDDR3 в HPU между узлами расположилось 8 мегабайт SRAM. Последовательные интерфейсы позволяют устанавливать связь между голографическим процессором и подсистемами шлема: например, CSI от MIPI Alliance используется для сбора входящих данных от камеры глубинного зондирования и четырёх камер распознавания среды, MIPI-DSI соединяет два дисплея, инерциальный датчик общается с HPU по SPI, а температурный - по I²C.

HPU и SoC от коммуницируют по шине PCI Express. Согласно спецификациям Atom Z8000, Cherry Trail предоставляет два корневых порта со скоростью до 5 гигатранзакций в секунду. Если данная информация соответствует имеющемуся в HoloLens, компоненты шлема передают друг другу код на скорости не больше 500 мегабайт в секунду. К сожалению, в не подтверждают ни одну из спецификаций центрального процессора.

Не пропускайте важнейшие новости о мире дополненной и виртуальной реальности - подписывайтесь на Голографику в

Виртуальная реальность – следующий шаг в развитии компьютерных технологий. Сегодня она популярна и востребована благодаря очкам Samsung Gear VR и Oculus Rift. Но Microsoft шагнула дальше и представила очки дополнительной реальности Microsoft HoloLens, обзор которых позволит вам понять, почему этот гаджет станет неотъемлемой составляющей современного мира.

Концепция

HoloLens – это очки дополнительной реальности. В этом их принципиальное отличие от конкурентов.

Одевая их, человек видит окружающий мир с «внедренными» в него голограммами, таблицами и другими объектами, которые кажутся трехмерными. Взаимодействовать с ними может только тот человек, который использует гаджет. Если группа из нескольких юзеров наденет очки, они погрузятся в один и то же мир дополнительной реальности.

Принцип работы HoloLens прост: голограммы, которые отображаются на стекле, воспринимаются мозгом как реальные предметы. Примерно такой же подход реализован в Google Glass, но в них объекты позиционировались как окна стандартных программ, а не настоящие предметы.

Технология

Очки Microsoft HoloLens – это компактный компьютер в виде шлема, одевающегося на голову. Он мобилен и не привязан к сторонним гаджетам: смартфону, ноутбуку, камере и проч. Отсутствует проводное подключение.

Устройство построено на основе собственного уникального процессора Holographic Processing Unit (HPU), имеет встроенную акустическую систему, камеру, видеоускоритель и сенсоры.

HoloLens оборудован двумя камерами, аналогичными тем, которые используются в Kinect: одна работает в обычном спектре, другая – в инфракрасном. Они анализируют и считывают окружающее пространство. Это – база устройства.

Голограммы выводятся на экран, представленный полупрозрачным стеклом, которое не мешает воспринимать настоящий мир. Такое взаимодействие и создает эффект дополнительной реальности.

Набор датчиков представлен гироскопом, магнитометром и акселерометром. HoloLens распознает жесты и следит за тем, куда смотрит человек. В зависимости от направления взгляда изменяется положение голограмм на экране. Помимо этого, устройство полностью совместимо с Cortana, поэтому поддерживает управление голосом.

Реалистичное взаимодействие с объектами дополнительной реальности обеспечивается двумя технологиями:

• Spatial Mapping (аналог Surface reconstruction) – технология пространственного сканирования, которая после обработки окружающего пространства преобразует его в группу треугольников. Эта информация записывается в память гаджета и используется в логике работы приложения. За счет этого виртуальные объекты полноценно взаимодействуют с голограммами.
• Spatial Audio – технология, отвечающая за реализацию эффекта присутствия. Если объект расположен в определенном месте помещения, звук исходит именно оттуда, где он находится. Благодаря открытому формату динамиков юзер не ущемлен в восприятии звуков из реальности: он полностью слышит все, что происходит вокруг него в настоящем мире.

Применение

1. Архитектура и строительство. Дизайн-проект нового здания можно представить в трехмерном виде, показать, что находится внутри помещения.
   
2. Образование. Педагог может наглядно продемонстрировать, как выглядит, работает механизм, конструкция. Особенно эта технология полезна в медицине, когда преподаватель сможет показать студентам работу внутренних органов человека.
3. Игровая индустрия. Это одно из главных направлений, для которого можно использовать очки дополнительной реальности.
   
4. Исследования. Ученые наглядно смогут увидеть исследуемую область. Это важно для реализации космических программ.

Внешний вид

По форме HoloLens похожи на Google Glass, но меньше аналогичных разработок от Oculus и Samsung. Дизайн очков проработан грамотно, поэтому они похожи на современное устройство, а не на маску, которая закрывает половину головы.

Для уменьшения веса в очках используется надежный пластик, а в передней части расположено прозрачное стекло. Крепится HoloLens на голове не как обычные очки, а охватывая голову, чтобы создать лучшую фиксацию. При этом пользователь поначалу может ощущать небольшой дискомфорт.

Техническая составляющая

Официально Microsoft не разглашает подробности о технических характеристиках устройства. Но поскольку первые модели уже поступили на руки разработчикам, некоторые из них стали известны.

HoloLens в отличие от других цифровых устройство имеет не два чипа (центральный и графический процессоры), а три. Разработчики дополнительно установили HPU (Holographic processing unit) – голографический процессор.

Центральный процессор – Intel Atom x5-Z8100 с тактовой частотой 1,04 ГГц, бъем оперативной памяти – 2 Гб, внутренний накопитель – 64 Гб, встроенный аккумулятор емкостью 16 500 мАч. Главная гордость Microsoft – графический чип, который, по заявлению разработчиков, обрабатывает большой массив данных, поступающих из окружающей среды.

Устройство работает под управлением 32-битной Windows 10. Не исключено, что в будущем очки дополнительной реальности получат более мощную техническую «начинку» и 64-разрядную ОС.

Управление

Управлять HoloLens можно тремя способами.

1. Физически. Управление осуществляется с помощью кнопок, расположенных по бокам гаджета. Они меняют громкость звука, яркость воспроизводимых объектов.
2. Голосом. Поскольку в устройство интегрирована Cortana, управлять им можно с помощью голосовых команд. Но, в отличие от голосового помощника для настольного ПК, ее функции расширены: пользователь с помощью голоса управляет голограммами на экране.
3. Жестами. Благодаря встроенным камерам устройство распознает жесты пользователя и выполняет определенную команду с голографическими объектами (поворот или перемещение).

При первом включении HoloLens его нужно откалибровать в соответствии со своим восприятием и активировать аккаунт Microsoft Account. Для упрощения этой процедуры используется Cortana, которая рассказывает о возможностях гаджета и учит юзера пользоваться жестами.

Существует два базовых жеста:

После этой процедуры перед пользователем открывается стандартное Start-меню, из которого происходит управление настройками, запуск программ, другие базовые действия.

Приложения для устройства распространяются через Windows Store, оптимизированного для HoloLens. Сейчас таких мало и большинство из них – это продукт Microsoft Studios. Они демонстрируют потенциал гаджета.

Помимо этого, юзер может запустить на экране устройства UWP приложения Windows 10. Они открываются в классическом оконном режиме. Для комфортной работы с ними понадобится стандартная периферия, но это не отражается на функциональности.

Функциональность

Учитывая функции устройства, в первую очередь HoloLens разработаны для корпоративного сегмента – партнеров Microsoft: NASA, Disney, Volvo и Universal. Им не нужно будет создавать сложные трехмерные модели, исследовать труднодоступные места, тратя большие суммы. Все это будет доступно с помощью очков дополнительной реальности.

Разработчики удачно продумали дизайн устройства, поэтому во время его использования не появляется дискомфорт. Что важно, линзы расположены на удаленном расстоянии от глаз, поэтому они не влияют на зрение человека.

Еще одно преимущество HoloLens – объекты, которые человек видит перед собой, остаются на том же месте и продолжают функционировать в фоне, если не находятся в зоне восприятия пользователя. Поэтому, когда он запустит Skype, прикрепит его к определенной части помещения и отвернется, после возвращения взгляда в исходную точку окно мессенджера останется на месте. При этом человек может просматривать браузер и параллельно общаться в Skype.

Недостатки

Поскольку технология HoloLens молодая и только развивается, она не лишена недостатков. Часть из них – технологические: пока что не созданы технологии, которые могли бы улучшить работу устройства.

1. Угол обзора. Одно из главных ограничений HoloLens – «скромный» угол обзора, который находится в пределах 120 на 120 градусов. На практике этот недостаток нивелируется через определенное время, когда человеческий глаз и мозг адаптируются к новым условиям.
2. Еще одно ограничение – способность каждого человека воспринимать информацию с помощью органов зрения. Это происходит со своей спецификой, в зависимости от организма, что тоже влияет на работу HoloLens.
3. Мощность «железа». Размеры HoloLens ограничены, поэтому установка внутрь компактного корпуса мощного «железа» невозможна по ряду причин, одна из которых – охлаждение. Система охлаждения в очках виртуальной реальности пассивная. Отведение тепла от компонент выполняется воздухом, который проходит через дужки очков, равномерно распределяясь по корпусу. Установка более мощного процессора повлечет увеличение тепловыделения и снижение комфортности использования гаджета.
4. Качество воспроизводимого изображения. Для полноценного восприятия дополнительной реальности необходимо, чтобы дисплей имел высокое качество, как и сами голограммы. Первое зависит от инженеров Microsoft и технологий, а второе – от разработчиков контента для HoloLens.

В то же время при использовании очков дополнительной реальности от Microsoft нет никаких побочных эффектов в отличие от Samsung Gear VR2 S6, когда поначалу человека подташнивает. С HoloLens такого не происходит даже на первых минутах использования устройства.

Microsoft HoloLens – уникальная разработка, которая имеет место быть. Но ее функциональность «упирается» в современные технологии с развитием которых разработчикам удастся сделать очки более производительными и массовыми.

Стоимость гаджета составляет 3 тысячи долларов и он выходит ограниченным тиражом, поэтому о глобальном использовании говорить пока рано.