Наша работа и мотивация
Цель проекта HELIOS* — расширение и дополнение возможностей человеческого восприятия за счет современных технологий зрения.
В исследовании, опубликованном Всемирной организацией здравоохранения, говорится о том, что около 285 миллионов человек в мире страдают нарушениями зрения: насчитывается 39 миллионов слепых и 246 миллионов человек с ослабленным зрением.
Мы считаем, что очень важно повысить мобильность, безопасность и возможности доступа к знаниям для людей с нарушениями зрения.
Мы используем компьютерное зрение, искусственный интеллект и технологию Intel® RealSense™, чтобы создать современные решения, способные помочь людям с нарушениями зрения в решении целого ряда повседневных проблем. Наш подход состоит в разработке интеллектуальной головной гарнитуры, помогающей людям с частичной или полной потерей зрения.
Модели и возможности головных гарнитур HELIOS
Головные гарнитуры HELIOS предоставляют ряд специальных возможностей для людей с нарушениями зрения, помогая им проще и увереннее выполнять различные действия и задачи.
HELIOS Light
Гарнитура HELIOS Light помогает людям с ослабленным зрением. С помощью технологий дополненной и виртуальной реальности гарнитура расширяет возможности визуального восприятия пользователей. Потоки цветного изображения и данных глубины, полученных от Intel RealSense, формируют адаптируемые визуальные подсказки, помогающие при выполнении разнообразных повседневных задач.
Трехмерная модель HELIOS Light
HELIOS Touch
Гарнитура HELIOS Touch предназначена для людей с тяжелым нарушением зрения или с полной слепотой. В этом решении применяется интерфейс HTI для передачи пользователю визуальных данных посредством тактильных сигналов. За счет этого реализуются возможности ориентации в ближайшем пространстве и уклонения от препятствий.
Трехмерная модель HELIOS Touch
Основное назначение HELIOS — предоставить пользователю более полную информацию об окружающем пространстве, что существенно повышает свободу движения и безопасность пользователя.
Еще одна важная функция — возможность чтения текста без использования шрифта Брайля. Гарнитура HELIOS может читать содержимое книг, журналов и других печатных материалов, например меню в ресторанах.
Кроме того, HELIOS предоставляет новый уровень контекста для личного взаимодействия за счет распознавания лиц друзей и социальных сигналов.
Описание оборудования
Технология Intel® RealSense™
Камеры Intel® RealSense™ обеспечивают съемку в цвете и измерение расстояния. Благодаря этому система HELIOS получает высококачественные данные глубины и цветное изображение. Благодаря своей функциональности, производительности и компактности эти компоненты идеально подходят для интеграции в систему HELIOS.
Камера Intel® RealSense™ R200. Дополнительные сведения см. в этой статье.
Razer* Stargazer— версия камеры Intel® RealSense™ SR300 стороннего производителя
Тактильный интерфейс HTI*
HTI — аппаратный компонент HELIOS Touch, разработанный нашей командой. Он предназначен для преобразования визуальных данных в тактильные сигналы, обеспечивая дополнительный уровень информации, которая подается точно и ненавязчиво.
Тестовая плата HTI
Виртуальная реальность и открытый исходный код
Razer OSVR Hacker Development Kit — платформа виртуальной и дополненной реальности с широкими возможностями настройки. Это идеальный готовый компонент для HELIOS Light благодаря использованию открытого исходного кода, возможностям расширения и удачной конструкции оборудования.
Razer OSVR HDK
Intel NUC
Последнее поколение компактных ПК Intel — мощная платформа для выполнения программных компонентов HELIOS в реальном времени с высокой производительностью, низким расходом электроэнергии и высокой мобильностью.
Intel® NUC
Программное обеспечение. Intel® RealSense™ SDK
Пакет Intel RealSense SDK — основной программный компонент системы HELIOS. Этот пакет без дополнительной настройки обеспечивает доступ к цветному изображению с высокой кадровой скоростью, к потокам изображения глубины и инфракрасного изображения, поддерживает широкий набор алгоритмов компьютерного зрения для таких задач, как отслеживание человека, распознавание лиц, создание трехмерных карт. SDK поставляется с огромным набором образцов проектов, для него подготовлена обширная документация.
В следующем примере кода показаны основные компоненты для разработки модуля преобразования текста в речь с помощью RealSense и UWP (универсальной платформы Windows):
public async void StartRealSenseStreaming()
{
Status streamingStatus;
// Set RealSense sample reader and bind SetOcrFrame event
SampleReader sampleReader = SampleReader.Activate(senseManager);
sampleReader.SampleArrived += SetOcrFrame;
// Set RGB stream profile and device info filter
Dictionary<StreamType, PerceptionVideoProfile> profiles = new Dictionary<StreamType, PerceptionVideoProfile>();
profiles[StreamType.STREAM_TYPE_COLOR] = ColorProfile;
sampleReader.EnableStreams(profiles);
readers.Add(sampleReader);
if (currentRealSenseDevice != null)
senseManager.CaptureManager.FilterByDeviceInfo(currentRealSenseDevice.DeviceInfo);
// Set streaming status message
if ((streamingStatus = await senseManager.InitAsync()) == Intel.RealSense.Status.STATUS_NO_ERROR)
{
if ((streamingStatus = senseManager.StreamFrames()) == Intel.RealSense.Status.STATUS_NO_ERROR)
{
StatusMessage = "Streaming started";
}
else
{
StatusMessage = "Failed to stream: " + streamingStatus.ToString();
}
}
else
{
StatusMessage = "Initialization failed: " + streamingStatus.ToString();
}
IsStreaming = true;
}
private void SetOcrFrame(Object module, SampleArrivedEventArgs args)
{
// Setting current frame for OCR processing
Sample sample = args.Sample;
if (sample == null) return;
var localOcrFrame = sample.Color;
if (localOcrFrame == null) return;
lock (sample)
{
ocrFrame = localOcrFrame.SoftwareBitmap;
}
}
private async void TextToSpeech()
{
// setup OCR engine for English
OcrEngine ocrEngine = OcrEngine.TryCreateFromLanguage(new Language("en"));
// recognize text from the RealSense OcrFrame
var ocrResult = await ocrEngine.RecognizeAsync(RealSense.OcrFrame);
if (!String.IsNullOrEmpty(ocrResult.Text))
{
// setup speech synthesizer
var voice = SpeechSynthesizer.AllVoices;
using (SpeechSynthesizer speechSynthesizer = new SpeechSynthesizer())
{
speechSynthesizer.Voice = voice.First(v => v.Gender == 0);
var voiceStream = await speechSynthesizer.SynthesizeTextToStreamAsync(ocrResult.Text);
// setup playback of voice synthesis
PlaybackVoice(voiceStream);
}
}
}Тестирование и проверка
Михай Леовенау (Mihai Leoveanu) обладает врожденным тяжелым нарушением зрения, но это не помешало ему стать выдающимся человеком.
Он убежденный оптимист и один из лучших учеников в своем выпускном классе. В настоящее время он работает над дипломным проектом, посвященным оснащению исторической достопримечательности — королевского двора Тырговиште— для повышения удобства в отношении специальных возможностей. Благодаря предполагаемым улучшениям туристы с нарушениями зрения смогут получить более полную информацию об этом историческом месте.
Михай стал первым испытателем нашей головной гарнитуры.
Михай тестирует HELIOS в действии
Михай читает с помощью HELIOS
В процессе экспериментов Михай предоставил отзывы обо всех использованных им возможностях системы HELIOS. Он естественным образом воспринял новые источники информации и уже через несколько минут смог успешно пользоваться головной гарнитурой для получения более точной информации об окружающем пространстве.
Заключение
Результаты разработки и тестирования весьма обнадеживающие. Для пользователей значительно упрощаются такие задачи, как восприятие окружающего мира и чтение без использования шрифта Брайля. При дальнейшем развитии система HELIOS станет незаменимым и очень полезным помощником для людей с нарушениями зрения.
Об авторах
Сильвиу-Тудор Сербан (Silviu-Tudor Serban), Кристиан Драгомир (Cristian Dragomir) и Андрей Нистор (Andrei Nistor) — эксперты по технологии Intel RealSense, обладающие опытом работы в области компьютерного зрения, искусственного интеллекта, разработки программного обеспечения и Интернета вещей. Дополнительные сведения см. на сайтах Helios Visionи Intel Devmesh.