Система управления медиаконтентом на базе зеркала с использованием дополненной реальности в рамках концепции интернета вещей::Журнал СА 5.2017
www.samag.ru
     
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Наука и технологии
Подписка
Где купить
Авторам
Рекламодателям
Магазин
Архив номеров
Вакансии
Контакты
   

  Опросы

Какие курсы вы бы выбрали для себя?  

Очные
Онлайновые
Платные
Бесплатные
Я и так все знаю

 Читать далее...

1001 и 1 книга  
20.12.2019г.
Просмотров: 4969
Комментарии: 0
Dr.Web: всё под контролем

 Читать далее...

04.12.2019г.
Просмотров: 6226
Комментарии: 0
Особенности сертификаций по этичному хакингу

 Читать далее...

28.05.2019г.
Просмотров: 7456
Комментарии: 2
Анализ вредоносных программ

 Читать далее...

28.05.2019г.
Просмотров: 7790
Комментарии: 1
Микросервисы и контейнеры Docker

 Читать далее...

28.05.2019г.
Просмотров: 6836
Комментарии: 0
Django 2 в примерах

 Читать далее...

Друзья сайта  

Форум системных администраторов  

sysadmins.ru

 Система управления медиаконтентом на базе зеркала с использованием дополненной реальности в рамках концепции интернета вещей

Архив номеров / 2017 / Выпуск №5 (174) / Система управления медиаконтентом на базе зеркала с использованием дополненной реальности в рамках концепции интернета вещей

Рубрика: Наука и технологии

Без фото КАЗАКОВ В.В., Национальный исследовательский университет «Высшая школа экономики», студент департамента компьютерной инженерии МИЭМ, vad_kazakov@mail.ru

Без фото РОЛИЧ А.Ю., Национальный исследовательский университет «Высшая школа экономики», аспирант 2-го г.о. департамента компьютерной инженерии МИЭМ, arolich@hse.ru

Система управления медиаконтентом
на базе зеркала с использованием дополненной реальности в рамках концепции интернета вещей

Новизна заключается в разработке нового устройства, позволяющего пользователям взаимодействовать с интернетом и управлять медиаконтентом с использованием дополненной реальности. Рассматриваются разработанные логическая и физическая модели аппаратной части системы и описываются алгоритмы работы программной части системы. Разработана программная оболочка и новые алгоритмы, позволяющие значительно увеличить количество способов взаимодействия пользователя со своим отражением, интернетом имедиаконтентом с использованием дополненной реальности. Приводятся примеры использования разработанной системы

Введение

Подавляющее большинство людей (83%) стремятся расширить и оптимизировать функционал находящихся в их пользовании технических средств. IDC опубликовала прогноз порынку интернета вещей, согласно которому эта высокотехнологичная отрасль будет развиваться со среднегодовым темпом прироста в 13%. Прогноз составлен сроком до 2020 года [1].

Специалисты аналитической компании Gartner сообщают о том, что в 2016 году объем рынка интернета вещей в натуральном выражении достигнет 6,4 миллиарда устройств повсему миру. По итогам 2015 года устройств было на 30% меньше. Аналитики также считают, что к 2020-му в мире будет насчитываться 20,8 миллиарда устройств, способных подключаться к глобальной сети [2]. С развитием интернета вещей и появлением новейших технологий беспроводной передачи данных создание и разработка новых систем человеко-машинного (H2M) и межмашинного (M2M) взаимодействия являются актуальной задачей.

Одними из главных задач при создании новых систем человеко-машинного (H2M) и межмашинного (M2M) в рамках концепции интернета вещей являются алгоритмизация бытовых задач и мультизадачность, т.е. способность выполнять несколько дел параллельно с минимальной потерей производительности. В связи с этим возникает необходимость создания устройства на основе обычного бытового предмета (зеркала), которое было бы способно частично выполнять задачи конечного пользователя и позволять ему совмещать выполнение двух и более дел одновременно с минимальными требованиями к самому пользователю.

Целью данной работы является предоставление пользователям новых возможностей человеко-машинного взаимодействия, взаимодействия с интернетом и управления медиаконтентом посредством разработки систем управления медиаконтентом Smart Mirror на базе зеркала с использованием дополненной реальности.

Объектом исследования являются программно-аппаратные комплексы на основе зеркал, позволяющие пользователям взаимодействовать с интернетом и управлять медиаконтентом сиспользованием дополненной реальности.

Предметом исследования являются методы пользовательского взаимодействия с интернетом и управления медиаконтентом.

Обзор и анализ системы управления медиаконтентом на базе зеркал

DailyMail сообщает, что в настоящее время системы управления медиаконтентом на базе зеркал, или «умные зеркала», уже применяются в некоторых магазинах одежды, где они способны продемонстрировать покупателю то, как будет выглядеть на нем та или иная вещь [3] . Существует такое устройство, как Cybertecture Mirror, работающее на базе Linux [4]. Эта система поставляется в комплекте с напольными весами, ее особенностью являются слежение за состоянием здоровья пользователя через весы и вывод соответствующей информации на экран. Устройство управляется посредством пульта.

У компании Panasonic есть собственное уникальное «умное зеркало», способное обнаружить дефекты кожи и удалить их в отражении [5]. Данное устройство используется длядемонстрации возможностей макияжа в косметических компаниях. Однако серийный выпуск данного устройства не запланирован. Проект остался на стадии прототипа из-завысокой стоимости производства.

Помимо высокобюджетных проектов, встречаются и менее затратные попытки людей получить в пользование «умное зеркало» в домашних условиях. Суть данного метода заключается в установке обычного планшетного компьютера, оснащенного специальным приложением под двустороннее стекло [6, 7, 8]. Такой подход ограничивает размеры экрана, ухудшает качество изображения, лишает пользователя возможности взаимодействовать с устройством, не разбирая корпус. Большое количество и активное обсуждение инструкций по разработке подобных систем говорит об его востребованности среди пользователей.

В таблице 1 представлен сравнительный анализ систем и устройств на базе зеркал, наглядно демонстрирующий недостатки и преимущества рассмотренных аналогов.

Таблица 1. Сравнение характеристик существующих устройств

Устройство MirrorMirror MemoMi Cybertecture Mirror Разрабатываемое устройство
Диагональ экрана 5 100 21 21
Возможность взаимодействия - Пульт Пульт Голосовой ввод
Интеграция с умным домом - - Только весы +
Синхронизация сосмартфоном - - + +
Цветной дисплей - + + +
Встроенная фотокамера - + - +
Распознавание лиц + + - +
Интеграция с социальными сетями - - - +
Цена и доступность на рынке Не производится серийно Временно нет впродаже От 250 000 руб. до 580 000 руб. в зависимости от конфигурации (указаны преимущества полной) Около 80 000 руб.

Описание разработанной системы

Разработанная система управления медиаконтентом Smart Mirror представляет собой программно-аппаратный комплекс, допускающий синхронизацию с любыми устройствами категории «Умный дом», оснащенный камерой, сенсорным вводом, интеграцией с социальными сетями и системой распознавания лиц. Кроме того, наша система позволяет людям получать информацию о времени, погоде, котировках акций, читать новости, просматривать почту – проводить время, затрачиваемое на умывание или причесывание, смаксимальной пользой и продуктивностью. Разработанная система обладает полностью кастомизируемым интерфейсом, появляющимся поверх отражения благодаря функции распознавания лиц и способным вывести заранее выбранную информацию. С помощью данной системы можно получать расписание автобусов и поездов, киносеансов, занятий вуниверситете или деловых встреч, не выполняя никаких действий.

Одной из сфер применения разработанной системы является сфера маркетинга и рекламы. Устройства такого рода могут устанавливаться где угодно, заменяя обычные зеркала, ипозволять выводить динамическую и контекстную рекламу при приближении к ним пользователя на основе анализа входящего изображения со встроенной камеры.

Smart Mirror может применяться и в бизнесе: оборудованные такими устройствами примерочные позволят пользователю понять, как на нем будет выглядеть та или иная вещь, попросить консультанта принести понравившуюся вещь в примерочную, отправив команду зеркалу. Более того, этот способ применения не ограничивается лишь магазином одежды: подобные действия могут быть совершены как с устройства, расположенного в общественном месте, так и с персонального домашнего зеркала.

Система строится на базе специального зеркала. Поверх зеркальной поверхности укрепляется инфракрасная touchscreen-панель. После проведенных тестов также было принято решение о добавлении слоя олеофобного покрытия поверх touchscreen-панели. Это сделано в целях минимизации отпечатков и других загрязнений, возникающих при работе ссенсорной панелью, т.к. через нее должно проявляться максимально чистое и качественное отражение пользователя.

Под зеркальной поверхностью с установленной на ней сенсорной панелью располагается экран высокой яркости, выводящий изображение интерфейса дополненной реальности. Дляразрабатываемого устройства было решено применить двустороннее зеркало (зеркало Гезелла, зеркало-шпион). Впервые такое зеркало использовал в своей работе американский психолог А.Л. Гезелл [9]. В разработанной системе используется принцип зеркала Гезелла: яркий экран излучает большое количество света, и этот свет «пробивает» зеркальную поверхность, а темные участки экрана не дают значительного количества света, поэтому при взгляде на зеркало с внутренней стороны (со стороны, где расположен темный экран) можно увидеть окружающий мир, как через обычное стекло. Данный эффект происходит лишь в тех областях зеркала, где экран передает черный цвет. В тех областях зеркала, которые задействованы для визуализации медиаконтента (они являются светлым), пользователь не наблюдет своего отражения.

Описание внутренней архитектуры разработанной системы

Основой данной системы является одноплатный компьютер. Этот тип устройств был выбран благодаря их малым размерам, что позволяет сделать корпус устройства тоньше, инизкому энергопотреблению, что является важным фактором, т.к. «умное зеркало» должно работать непрерывно. В результате обзора и анализа различных одноплатных компьютеров была выбрана модель Raspberry Pi 3, т.к. данное устройство обеспечивает наибольшую производительность при наименьшей стоимости, а данные устройства официально поддерживаются корпорацией Microsoft при выпуске сборок Windows 10 IoT.

Корпус первого прототипа разработанной системы был выполнен из PLA-пластика с использованием технологий 3D-печати (см. рис. 1). Однако от данного способа изготовления корпуса пришлось отказаться по причине его хрупкости и дороговизны путей увеличения жесткости корпуса. Позднее было решено изготовить корпус из деревянных материалов, что сильно снизило стоимость, помогло сохранить относительно небольшой вес устройства, а использование термоклея в местах стыков и в месте крепления зеркала и touchscreen-панели добавило степень герметичности, достаточной для использования устройства в ванной комнате (см. рис. 2). Однако после проведения длительных тестов было выявлено, чтосредний уровень температуры внутри данного корпуса слишком высок, что ускоряет износ компонентов. В связи с этим было принято решение изготовить корпус третьей версии устройства из авиационного алюминия. Этот материал будет отводить лишнее тепло, сохранит вес устройства, а малая толщина стенок позволит сделать устройство компактнее.

Рисунок 1. Корпус первого прототипа системы

Рисунок 1. Корпус первого прототипа системы

Рисунок 2. Корпус второго прототипа системы

Рисунок 2. Корпус второго прототипа системы

Внутри корпуса располагается веб-камера, которая необходима для использования технологии распознавания лиц, съемки фото с публикацией в социальных сетях и т.д., микрофон идинамики, которые используются для создания голосовых заметок, воспроизведения видео- и аудиофайлов и для взаимодействия с голосовым помощником.

В качестве ОС была выбрана система Windows 10 IoT. Это специальная ОС от компании Microsoft, разработанная для запуска на ней различных систем интернета вещей. Этамалообъемная ОС рассчитана на использование маломощными компьютерами, но при этом она предоставляет разработчикам практически весь доступный полной Windows 10функционал при работе конкретного приложения.

Ключевой особенностью интерфейса разработанной системы управления контентом Smart Mirror является оптимизация окон приложений и виджетов таким образом, чтобы пользователь даже при работе с ними мог наблюдать собственное отражение и работа не отвлекала от обычных бытовых задач. Была поставлена задача свести к минимуму количество касаний, необходимых для управления системой. Это сделано для минимизации загрязнений и отвлечения пользователя от бытовых процедур, поэтому большинство элементов настраиваются и управляются посредством использования голосового помощника, а тактильные прикосновения используются чаще для перетаскивания имасштабирования элементов интерфейса.

Разработано иерархическое меню с уникальным дизайном и анимацией, позволяющее пользователю получить доступ к различным функциям, а также провести настройку устройства. На сегодняшний день уже существует подсистема, способная распознавать различные типы касаний, созданы заготовки для формирования программных классов множества виджетов предметов «умного дома». В части программной реализации были добавлены основные виджеты главного экрана, такие как время, дата и день недели (приложение обращается к системной информации, которая обновляется при подключении к интернету и сохраняется до отключения питания устройства при отсутствии соединения с сетью). Доступен виджет погоды, получающий информацию со специализированного интернет-сервиса в виде json-кода, а затем преобразует его графический вид, доступный пользователю. Реализована возможность добавления RSS-подписок, которые могут отображаться в различном виде (на весь экран, в виде бегущей строки, в виде окна).

Разработка основана на объектно-ориентированном языке, вследствие чего вся структура кода приняла типичный для ООП классовый характер. В системе существует множество интерфейсов, отвечающих за работу с определенными типами элементов, классов, наследованных от данных интерфейсов, объектов этих классов, играющих непосредственно практическую роль в межкомпонентном взаимодействии, методов, из которых классы состоят, и т.д. В качестве основных элементов программы можно выделить интерфейс страницы и классы конкретных страниц (экранов), унаследованных от него, главный класс, объявляющий возможности голосового помощника, классы, посвященные конкретным виджетам экрана, классы обработки изображения, классы синтеза речи, базы данных грамматики речевого распознавания, страницы адаптивной верстки элементов, главный класс загрузки изображения.

На рис. 3 представлена схема взаимодействия программных модулей разработанной системы. Представленная схема взаимодействия модульных компонентов демонстрирует порядок действий, выполняемых программной оболочкой, при приближении пользователя к разработанной системе. Когда пользователь подходит к зеркалу, видеокамера передает захваченный видеопоток на одноплатный компьютер, где он подвергается кадровой дискретизации, среди кадров отбираются лучшие (наиболее четкие), кадры подвергаются обработке и построению схем по ключевым точкам, точки анализируются, на основе полученных данных программа приходит к определенным заключениям. В данном примере программа сравнивает полученную схему ключевых точек с загруженной схемой ключевых точек пользователя, и если обнаруживает сходство, то анализатор передает команду вглавный класс, который начинает процесс снятия блокировки с экрана: создается объект страницы, подгружается анимация перехода с экрана блокировки на пользовательский экран, а в параллельном потоке происходит построение потока аудио специальным классом, после чего синтезатор речи передает в главный класс аудиопоток, который воспроизводится параллельно с анимацией смены экрана.

Рисунок 3. Схема взаимодействия программных модулей

Рисунок 3. Схема взаимодействия программных модулей

На рис. 4 представлена логическая модель аппаратной части системы, демонстрирующая общие принципы работы и взаимодействия основных компонентов разработанной системы. Информация поступает с touchscreen-панели, микрофона и камеры, обрабатывается одноплатным компьютером, который выводит звук на динамики, а изображение на монитор таким образом, что оно выстраивается фрагментарно, не перекрывая собой отражение пользователя.

Рисунок 4. Логическая модель аппаратной части системы

Рисунок 4. Логическая модель аппаратной части системы

Физическая модель аппаратной части (см. рис. 5) разработанной системы подробно представляет, какие компоненты использованы для реализации поставленных задач. Веб-камера от Microsoft, микрофон Sven и динамики Acer показали лучшее соотношение цена/качество. Из этого ряда несколько выбивается Microsoft LifeCam, но ее стоимость обусловлена высоким качеством захватываемого видео, которое необходимо для нормальной работы алгоритмов распознавания.

Рисунок 5. Физическая модель аппаратной части системы

Рисунок 5. Физическая модель аппаратной части системы

При сборке все указанные комплектующие были лишены заводских корпусов и вмонтированы в деревянный корпус разработанной системы (см. рис. 6).

Рисунок 6. Расположение компонентов аппаратной части комплекса внутри корпуса

Рисунок 6. Расположение компонентов аппаратной части комплекса внутри корпуса

В разработанной системе используется проводной способ связи компонентов ввиду его повышенной надежности и требований к высокой пропускной способности для некоторых соединений (вывод Full HD изображения по интерфейсу DVI-HDMI). Электронные компоненты взаимодействуют, используя интерфейсы USB, micro-USB, HDMI-DVI, Jack 3.5, Bluetooth. Как было сказано выше, в устройстве применяется проводной способ связи компонентов, однако мышь и клавиатура используются лишь в данном тестовом образце дляотладки. Также в нем предусмотрена отдельная панель управления экраном (см. рис. 7).

Рисунок 7. Панель управления экраном

Рисунок 7. Панель управления экраном

На данном этапе разработки удалось добиться качественного отражения благодаря использованию зеркала Гезелла повышенной прозрачности (5% титанового напыления вместо12%), также удалось добиться достаточного уровня герметичности. Устройство прошло тесты на влагозащиту и может использоваться в ванной комнате.

Устройство было продемонстрировано на множестве выставок. Система показала свою работоспособность на протяжении этих мероприятий, отклонений от нормальной работы выявлено не было.

Заключение

Разработанная система управления медиаконтентом на базе зеркала с использованием дополненной реальности отлично впишется в активно развивающееся пространство интернета вещей. Эта система сможет не просто исполнять свои функции по оптимизации временных затрат пользователя, но взаимодействовать с иными объектами интернета вещей в доме: предоставлять пользователю данные о температуре, влажности воздуха, отправлять команды другим устройствам, например запускать кофемашину, включать новостную программу на телевизоре и менять температуру воздуха в квартире через систему кондиционирования, пока пользователь занят чисткой зубов.

Разработанная система займет свое место на рынке в частном сегменте в качестве базовой станции для управления системами умного дома, так как позволит автоматизировать множество рутинных задач и получить контроль над множеством процессов, выполнять одни задачи и следить за выполнением других, не отвлекаясь от привычных бытовых дел. Вкоммерческом секторе наша система Smart Mirror выступит в качестве стенда для демонстрации контекстной цифровой рекламы в местах большого скопления людей, чем увеличит полезный отклик для заказчиков indoor-рекламы, т.к. будет способна демонстрировать ролики определенным целевым группам пользователей, основывая решение о показе наанализе внешности подошедшего человека; система позволит собирать подробную статистику о людях, просмотревших рекламу, анализировать их эмоции, что поможет маркетологам отработать более эффективные механизмы демонстрации рекламы. Система способна выступать в качестве демонстрационной панели в сфере торговли икосметических услуг, позволяя взглянуть на свое отражение в различной одежде, макияже, добавленными посредством компьютерной графики.

В дальнейшем планируется увеличить точность алгоритмов распознавания лиц; добавить возможность упрощенной обработки изображения, не требующей серверных мощностей, чтобы сделать устройство менее зависимым от интернет-соединения; реализовать аппаратную часть устройства с различными диагоналями отражающей поверхности.

Статья подготовлена в ходе проведения исследования №17-05-0017 в рамках программы «Научный фонд Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ)» в 2017-2018 годах и в рамках государственной поддержки ведущих университетов Российской Федерации «5-100».

  1. В 2016 году рынок интернета вещей вырастет на 30%. [Электронный ресурс]. – Режим доступа: http://www.dailycomm.ru/m/33398. (19.04.2016) – Статья в интернете.
  2. Gartner Says 6.4 Billion Connected «Things» Will Be in Use in 2016, Up 30 Percent From 2015. [Электронный ресурс]. – Режим доступа: http://www.gartner.com/newsroom/id/3165317. (19.04.2016) – Статья в интернете.
  3. DailyMail: The end of fitting room queues? Smart mirrors lets you virtually try on clothes and order drinks. [Электронный ресурс]. URL: http://www.dailymail.co.uk/sciencetech/article-2906563/The-end-fitting-room-queues-Smart-mirrors-lets-virtually-try-clothes-order-drinks.html (дата обращения: 14.01.2016) – Статья в интернете.
  4. IQ.Intel: «Умное зеркало»: отражение реальности. [Электронный ресурс]. URL: http://iq.intel.ru/umnoe-zerkalo-otrazhenie-realnosti (дата обращения: 14.01.2016) – Статья винтернете.
  5. Recode: CES Snapshot: Try New Makeup, or a Mustache, With Panasonic Smart Mirror. [Электронный ресурс]. URL: http://recode.net/2015/01/06/ces-snapshot-new-make-up-and-a-mustache-with-panasonic-smart-mirror/ (дата обращения: 14.01.2016) – Статья в интернете.
  6. Geektimes: «Умное зеркало» c информером. [Электронный ресурс]. URL: http://geektimes.ru/post/262322 (дата обращения: 14.01.2016) – Статья в интернете.
  7. Geektimes: Самодельное «умное зеркало» показывает уведомления с Android Wear. [Электронный ресурс]. URL: http://geektimes.ru/post/247332 (дата обращения: 14.01.2016) – Статья в интернете.
  8. Dezinfo: «Умное зеркало» для жены своими руками. [Электронный ресурс]. URL: http://www.dezinfo.net/foto/76142-umnoe-zerkalo-dlya-zheny-svoimi-rukami.html (дата обращения: 14.01.2016) – Статья в интернете.
  9. Википедия; Зеркало Гезелла. [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki/Зеркало_Гезелла (дата обращения: 14.01.2016) – Статья в интернете.

Ключевые слова: система управления, медиаконтент, интернет вещей, дополненная реальность, человеко-машинное взаимодействие, умное зеркало, умный дом.


Media content management system based on the mirror using augmented reality as a part of Internet of Things concept

Kazakov V.V., National Research University Higher School of Economics, student of the MIEM Department of Computer Engineering, vad_kazakov@mail.ru

Rolich A.Y., National Research University Higher School of Economics, graduate student of the MIEM Department of Computer Engineering, arolich@hse.ru

Abstract: The paper presents the results of the review and analysis of media content management systems on the basis of the mirrors. We present descriptive model and architecture of the developed system. The novelty consists in the development of a new device that allows users to interact with the Internet and manage media content using augmented reality. The article considers designed logical and physical model of system hardware and describes developed algorithms of the system. There are described a soft shell and new algorithms that significantly increase the amount of user interaction with his reflection, internet and media content using augmented reality.

Keywords: Management system, media content, Internet of Things, augmented reality, human-computer interaction, smart mirror, smart house.


Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-41
Fax: (499) 277-12-45
E-mail: sa@samag.ru