Способы нашего взаимодействия с играми (и способы взаимодействия игр с нами) постоянно изменяются по мере появления новых технологий и новых возможностей. В отрасли компьютерных игр всегда быстро применяли потенциал новых интерактивных технологий. Развитие новых видов интерфейсов идет постоянно, и разработчики игр готовятся осваивать новые интересные идеи и технологии. Одна из таких перспективных технологий — Intel® RealSense™, сочетающая трехмерную камеру и усовершенствованное распознавание речи. С помощью Intel® RealSense™ SDK (бета-версия) разработчики только начинают изучать потенциал этой технологии для создания увлекательных игр, намного опережающих классические аппаратные контроллеры по возможностям интерактивности.
Эта статья (первая в серии из пяти статей о компьютерных системах с использованием перцептивных вычислений и о технологии Intel RealSense) содержит рассказ наших разработчиков, благодаря которым эта технология и увидела свет.
Изменение облика воображаемого мира
«Управление с помощью жестов интересно нам для создания ощущения преобразования и возможности использовать тактильные взаимодействия между вами и экраном компьютера», — говорит Робин Ханике из компании Funomena, описывая готовящуюся к выпуску игру на основе технологии Intel RealSense.
Будучи убежденным сторонником положительного влияния игр, Ханике приняла участие в основании компании Funomena в 2013 году. Одна из целей этой компании состоит в изучении пределов эмоционального взаимодействия между игроками и технологиями. «В нашей игре персонаж идет по пути преобразования индивидуальности. На концепцию игры серьезно повлияло искусство оригами. Нам нравится, что камера может обнаруживать мельчайшее изменение положения рук игрока». Высокая точность отслеживания жестов расширяет возможности ввода. Технология Intel RealSense дает играм возможность очень точно реагировать на то, как именно игроки будут двигаться перед камерой. «Мы можем использовать эту информацию, чтобы игроки могли обращаться с объектами в реальном времени».
Эта игра пока не представлена для открытого ознакомления, но известно, она опирается на высокую точность камеры Intel® RealSense™ 3D для распознавания жестов; игроки будут напрямую взаимодействовать с игровым миром, по-новому изучать загадки и головоломки в игре. «Нас всегда интересовала возможность расширить границы того, что может выразить игра. Мы создаем то, что бросает вызов вашим ощущениям, но при этом активно принимаем вашу реакцию как игрока. Вам понадобится в буквальном смысле собственными руками раскрывать загадки этого мира одну за другой и изменять каждый уровень в соответствии с вашим пониманием того, как должен выглядеть результат», — заявила Ханике.
Основы движения
Израильская компания Side-Kick Games уже несколько лет работает с контроллерами на основе распознавания движений, включая двухмерные веб-камеры (с помощью промежуточных систем PointGrab*, XTR* и EyeSight*), Kinect* и PrimeSense*. Благодаря накопленным знаниям внедрение технологии Intel RealSense оказалось весьма несложным процессом.
«Мы построили в наших играх уровень для контроллера движений, поэтому у нас много интерфейсов для обработки сигналов от промежуточных систем и стандартный интерфейс для управления движениями, — поясняет Таль Равив, операционный директор компании. — С помощью этой инфраструктуры и нашего опыта в области управления движением переход на технологию Intel RealSense с управления движением всем телом как на большом, так и на маленьком расстоянии прошел довольно гладко. Интерфейс технологии Intel RealSense очень прост и обладает отличными возможностями для отслеживания. По сравнению с другими технологиями пришлось преодолевать намного меньше затруднений».
В перспективной игре Warrior Wave компании Side-Kick игроки используют движения рук, чтобы укрыть солдат и защитить их от противника. Разработчики использовали разные функции технологии Intel RealSense в соответствии с игровым контекстом. «Мы используем два типа элементов управления. Первая часть — «силуэт». Это часть SDK, которая позволяет игре «видеть» руку, но не «знает», как она устроена (ладонь, пальцы). Отслеживаемая часть SDK — «скелет», она дает информацию о структуре руки (расположение каждого кончика пальца и середины ладони), — продолжает Равив. — Базовая механика игры работает с «силуэтом», но другие компоненты, такие как меню, работают со «скелетом».
Компания Side-Kick Games также заботится о том, чтобы технология Intel RealSense применялась в подходящем для нее контексте. Другие технологии используются в игре Warrior Waveвместе с ней для достижения оптимального удобства. «Игроки используют сенсорный экран для переходов по меню и включения различных функций, поскольку этот метод наиболее интуитивен. Управление движением применяется в игре для достижения более глубокого погружения в ее атмосферу, поскольку игрок не привязан к традиционной клавиатуре и мыши, — поясняет Равив. — Такое сочетание оптимально для игроков. В будущем сочетание голосового управления и управления движением будет играть более важную роль в пользовательском интерфейсе, но основное преимущество управления движением сейчас раскрывается в самой игре».
Выполнение приказов
Команда разработчиков Iridium Studios использует и управление движениями, и распознавание речи Intel RealSense для создания более реалистичного интерфейса для создаваемой игры There Came an Echo. в жанре стратегии реального времени. «В прошлом, управляя в стратегии в реальном времени небольшой группой боевых единиц, обычно мы использовали мышь, — говорит Джейсон Вишнов, основатель компании Iridium. — Но в реальном мире мы же не рисуем в воздухе воображаемый прямоугольник вокруг группы людей, чтобы заставить их идти. С людьми нужно общаться, а для этого мы используем жесты и голос».
В игре There Came an Echoголосовые команды крайне важны для реалистичного игрового процесса с высокой степенью вовлечения. Использование точных голосовых команд создает весьма интересный игровой процесс, более похожий на реальную жизнь. Впрочем, для Джейсона не менее важны и преимущества распознавания речи для игрового сюжета. «Мы потратили немало времени и сил на создание сценария и формирование персонажей, подобных обычным людям, каждый с настоящей мотивацией, настоящим страхом и изъянами характера. Распознавание речи помогает игроку лучше понять игровых персонажей, их характеры и роли в сценарии», — говорит Вишнов.
Возможности распознавания движений камерой Intel RealSense 3D сами по себе позволяют отдавать неголосовые команды в обстановке тактического боя, имитируемого в игре. «Некоторые жесты руками, используемые в войсках, можно связать напрямую с игровыми командами, и это очень интересно. Например, можно отдать команду впередили цель, сжав кулак, можно управлять движением солдат, поднимая руку - это очень здорово», — говорит Вишнов.
Впрочем, помимо точности самой технологии, ее удобство во многом зависит от контекста, в котором находится игрок. «Если просто взять и применить в игре набор жестов (не потому что это там нужно, а просто потому что у вас есть такая возможность), то игроки будут путаться, теряться и утрачивать ощущение связи с игрой, — говорит Вишнов. — Очень важно добиться того, чтобы жесты были правильными и естественными».
Измерение пульса
Одним из проектов, способных служить примером детализации и точности трехмерной камеры Intel RealSense, является приключенческая игра Nevermind с расширенной биологической обратной связью. В этой игре, которая будет выпущена компанией Flying Mollusk, игрок действует в качестве оператора «нейрозонда», способного путешествовать по разуму жертв психологических травм, решать головоломки и преодолевать защитные механизмы мозга, чтобы восстанавливать психическое здоровье пострадавших. Игра определяет стрессовое состояние игрока с помощью технологии биологической обратной связи. При обнаружении стресса среда динамически реагирует на страх игрока; по мере усиления беспокойства уровни стресса становятся все более сложными. Напротив, если игрок расслабляется, игра Nevermindприобретает более мягкий характер. За счет этого игра Nevermindпомогает игрокам внимательнее отслеживать свое стрессовое состояние и справляться с ним как в игре, так и в реальном мире.
«Меня всегда интересовали возможности биологической обратной связи в играх», — говорит Эрин Рейнольдс, творческий директор компании Flying Mollusk. Она с 2009 года изучает вопросы применения биологической обратной связи для построения более тесной взаимосвязи между игроком и игрой. Существовали разные варианты биологической обратной связи, но ни один из них не был достаточно пригоден для большинства потребителей. Технология Intel RealSense меняет такое положение.
«Камера Intel RealSense 3D может измерять пульс, а мы с этой помощью определяем стресс и страх игрока. На этом построена вся игра Nevermind , — говорит Эрин. — До этого игрокам в Nevermindприходилось надевать под одежду нагрудный ремень с датчиком пульса. А теперь, благодаря камере, они могут просто сесть за компьютер и играть. Так гораздо удобнее и интуитивнее».
Способность камеры Intel RealSense 3D измерить пульс, просто «глядя» на голову человека, открывает целый мир возможностей, поражающих воображение Эрин Рейнольдс. «Это означает, что разработчики могут сделать биологическую обратную связь важной частью своей продукции, будь то игры, медицинские системы или приложения для связи, — говорит она. — Все это чрезвычайно увлекательные возможности».
«Еще одна функция биологической обратной связи камеры — определение эмоций. Эта возможность очень нравится разработчикам, у нее огромный потенциал, чтобы изменить подход к тому, как мы будем играть в игры в будущем», — добавляет Чак Мак-Фадден, продукт-менеджер Intel, отвечающий за технологию Intel RealSense.
Новый уровень
Использование технологии Intel RealSense зависит от определенных нужд игры по созданию требуемых ощущений у игроков. Об этом свидетельствуют разные подходы этих разработчиков. Другие возможные области использования технологии Intel RealSense только открываются. «Мы проводим «хакатоны» и игровые конференции с использованием наших технологий, мы путешествуем по всему миру и общаемся с разработчиками игр, — говорит Мак-Фадден. — Мы даем разработчикам код и камеру Intel RealSense 3D и даем им полную свободу для творчества».
Корпорация Intel также проводит конкурс Intel® RealSense™ App challenge 2014 (по словам Мак-Фаддена, с миллионными призами), целью которого является поощрение изобретатели самых удачных, необычных и творческих идей использования новой технологии. «В числе предложенных были и такие идеи, которые лично я и представить бы себе не мог, например новый способ играть на музыкальных инструментах, — говорит Мак-Фадден. — Очень интересно наблюдать, как технология Intel RealSense выходит на новый уровень».
«Как разработчики, мы больше не загнаны в жесткие рамки соглашений тридцатилетней давности о том, как должен быть устроен интерфейс, — говорит Рейнольдс, подчеркивая преимущества технологии Intel RealSense. — Мы получили возможность увидеть нужды современного общества и изменить способ взаимодействия с компьютерами».
«Не знаю, сколько людей уже пользуются преимуществами этой новой технологии, — говорит Ханике о новых возможностях организации пользовательского интерфейса с помощью новой технологии Intel RealSense. — Мы на рубеже. Мы можем определять, какими будут эти интерфейсы, каким будет будущее. Мы можем задать контекст, создать эмоциональную связь с пользователями и вывести их из привычной зоны комфорта, — заключает Ханике. — Мы заставляем их привыкнуть к будущему».
Ресурсы и дополнительные сведения
Изучить технологию Intel® RealSense™, узнать о бета-версии Intel® RealSense™ SDK для Windows и заказать набор разработчика можно здесь.
Прочтите мнение о том, почему технология Intel RealSenseтак важна
Парить в воздухе без контроллера можно тут
Ваш проект готов к демонстрации? Станьте участником программы Intel® Software Innovator. Эта программа поддерживает разработчиков передовых проектов, дает возможность выступить с рассказом о своем проекте и устроить демонстрацию
Приступите к работе в центре ресурсов для разработчиков