 |
|
|
|
Система управления медиаконтентом на базе зеркала с использованием дополненной реальности в рамках концепции интернета вещей
Система управления медиаконтентом Новизна заключается в разработке нового устройства, позволяющего пользователям взаимодействовать с интернетом и управлять медиаконтентом с использованием дополненной реальности. Рассматриваются разработанные логическая и физическая модели аппаратной части системы и описываются алгоритмы работы программной части системы. Разработана программная оболочка и новые алгоритмы, позволяющие значительно увеличить количество способов взаимодействия пользователя со своим отражением, интернетом имедиаконтентом с использованием дополненной реальности. Приводятся примеры использования разработанной системы Введение Подавляющее большинство людей (83%) стремятся расширить и оптимизировать функционал находящихся в их пользовании технических средств. IDC опубликовала прогноз порынку интернета вещей, согласно которому эта высокотехнологичная отрасль будет развиваться со среднегодовым темпом прироста в 13%. Прогноз составлен сроком до 2020 года [1]. Специалисты аналитической компании Gartner сообщают о том, что в 2016 году объем рынка интернета вещей в натуральном выражении достигнет 6,4 миллиарда устройств повсему миру. По итогам 2015 года устройств было на 30% меньше. Аналитики также считают, что к 2020-му в мире будет насчитываться 20,8 миллиарда устройств, способных подключаться к глобальной сети [2]. С развитием интернета вещей и появлением новейших технологий беспроводной передачи данных создание и разработка новых систем человеко-машинного (H2M) и межмашинного (M2M) взаимодействия являются актуальной задачей. Одними из главных задач при создании новых систем человеко-машинного (H2M) и межмашинного (M2M) в рамках концепции интернета вещей являются алгоритмизация бытовых задач и мультизадачность, т.е. способность выполнять несколько дел параллельно с минимальной потерей производительности. В связи с этим возникает необходимость создания устройства на основе обычного бытового предмета (зеркала), которое было бы способно частично выполнять задачи конечного пользователя и позволять ему совмещать выполнение двух и более дел одновременно с минимальными требованиями к самому пользователю. Целью данной работы является предоставление пользователям новых возможностей человеко-машинного взаимодействия, взаимодействия с интернетом и управления медиаконтентом посредством разработки систем управления медиаконтентом Smart Mirror на базе зеркала с использованием дополненной реальности. Объектом исследования являются программно-аппаратные комплексы на основе зеркал, позволяющие пользователям взаимодействовать с интернетом и управлять медиаконтентом сиспользованием дополненной реальности. Предметом исследования являются методы пользовательского взаимодействия с интернетом и управления медиаконтентом. Обзор и анализ системы управления медиаконтентом на базе зеркал DailyMail сообщает, что в настоящее время системы управления медиаконтентом на базе зеркал, или «умные зеркала», уже применяются в некоторых магазинах одежды, где они способны продемонстрировать покупателю то, как будет выглядеть на нем та или иная вещь [3] . Существует такое устройство, как Cybertecture Mirror, работающее на базе Linux [4]. Эта система поставляется в комплекте с напольными весами, ее особенностью являются слежение за состоянием здоровья пользователя через весы и вывод соответствующей информации на экран. Устройство управляется посредством пульта. У компании Panasonic есть собственное уникальное «умное зеркало», способное обнаружить дефекты кожи и удалить их в отражении [5]. Данное устройство используется длядемонстрации возможностей макияжа в косметических компаниях. Однако серийный выпуск данного устройства не запланирован. Проект остался на стадии прототипа из-завысокой стоимости производства. Помимо высокобюджетных проектов, встречаются и менее затратные попытки людей получить в пользование «умное зеркало» в домашних условиях. Суть данного метода заключается в установке обычного планшетного компьютера, оснащенного специальным приложением под двустороннее стекло [6, 7, 8]. Такой подход ограничивает размеры экрана, ухудшает качество изображения, лишает пользователя возможности взаимодействовать с устройством, не разбирая корпус. Большое количество и активное обсуждение инструкций по разработке подобных систем говорит об его востребованности среди пользователей. В таблице 1 представлен сравнительный анализ систем и устройств на базе зеркал, наглядно демонстрирующий недостатки и преимущества рассмотренных аналогов. Таблица 1. Сравнение характеристик существующих устройств
Описание разработанной системы Разработанная система управления медиаконтентом Smart Mirror представляет собой программно-аппаратный комплекс, допускающий синхронизацию с любыми устройствами категории «Умный дом», оснащенный камерой, сенсорным вводом, интеграцией с социальными сетями и системой распознавания лиц. Кроме того, наша система позволяет людям получать информацию о времени, погоде, котировках акций, читать новости, просматривать почту – проводить время, затрачиваемое на умывание или причесывание, смаксимальной пользой и продуктивностью. Разработанная система обладает полностью кастомизируемым интерфейсом, появляющимся поверх отражения благодаря функции распознавания лиц и способным вывести заранее выбранную информацию. С помощью данной системы можно получать расписание автобусов и поездов, киносеансов, занятий вуниверситете или деловых встреч, не выполняя никаких действий. Одной из сфер применения разработанной системы является сфера маркетинга и рекламы. Устройства такого рода могут устанавливаться где угодно, заменяя обычные зеркала, ипозволять выводить динамическую и контекстную рекламу при приближении к ним пользователя на основе анализа входящего изображения со встроенной камеры. Smart Mirror может применяться и в бизнесе: оборудованные такими устройствами примерочные позволят пользователю понять, как на нем будет выглядеть та или иная вещь, попросить консультанта принести понравившуюся вещь в примерочную, отправив команду зеркалу. Более того, этот способ применения не ограничивается лишь магазином одежды: подобные действия могут быть совершены как с устройства, расположенного в общественном месте, так и с персонального домашнего зеркала. Система строится на базе специального зеркала. Поверх зеркальной поверхности укрепляется инфракрасная touchscreen-панель. После проведенных тестов также было принято решение о добавлении слоя олеофобного покрытия поверх touchscreen-панели. Это сделано в целях минимизации отпечатков и других загрязнений, возникающих при работе ссенсорной панелью, т.к. через нее должно проявляться максимально чистое и качественное отражение пользователя. Под зеркальной поверхностью с установленной на ней сенсорной панелью располагается экран высокой яркости, выводящий изображение интерфейса дополненной реальности. Дляразрабатываемого устройства было решено применить двустороннее зеркало (зеркало Гезелла, зеркало-шпион). Впервые такое зеркало использовал в своей работе американский психолог А.Л. Гезелл [9]. В разработанной системе используется принцип зеркала Гезелла: яркий экран излучает большое количество света, и этот свет «пробивает» зеркальную поверхность, а темные участки экрана не дают значительного количества света, поэтому при взгляде на зеркало с внутренней стороны (со стороны, где расположен темный экран) можно увидеть окружающий мир, как через обычное стекло. Данный эффект происходит лишь в тех областях зеркала, где экран передает черный цвет. В тех областях зеркала, которые задействованы для визуализации медиаконтента (они являются светлым), пользователь не наблюдет своего отражения. Описание внутренней архитектуры разработанной системы Основой данной системы является одноплатный компьютер. Этот тип устройств был выбран благодаря их малым размерам, что позволяет сделать корпус устройства тоньше, инизкому энергопотреблению, что является важным фактором, т.к. «умное зеркало» должно работать непрерывно. В результате обзора и анализа различных одноплатных компьютеров была выбрана модель Raspberry Pi 3, т.к. данное устройство обеспечивает наибольшую производительность при наименьшей стоимости, а данные устройства официально поддерживаются корпорацией Microsoft при выпуске сборок Windows 10 IoT. Корпус первого прототипа разработанной системы был выполнен из PLA-пластика с использованием технологий 3D-печати (см. рис. 1). Однако от данного способа изготовления корпуса пришлось отказаться по причине его хрупкости и дороговизны путей увеличения жесткости корпуса. Позднее было решено изготовить корпус из деревянных материалов, что сильно снизило стоимость, помогло сохранить относительно небольшой вес устройства, а использование термоклея в местах стыков и в месте крепления зеркала и touchscreen-панели добавило степень герметичности, достаточной для использования устройства в ванной комнате (см. рис. 2). Однако после проведения длительных тестов было выявлено, чтосредний уровень температуры внутри данного корпуса слишком высок, что ускоряет износ компонентов. В связи с этим было принято решение изготовить корпус третьей версии устройства из авиационного алюминия. Этот материал будет отводить лишнее тепло, сохранит вес устройства, а малая толщина стенок позволит сделать устройство компактнее.
Рисунок 1. Корпус первого прототипа системы
Рисунок 2. Корпус второго прототипа системы Внутри корпуса располагается веб-камера, которая необходима для использования технологии распознавания лиц, съемки фото с публикацией в социальных сетях и т.д., микрофон идинамики, которые используются для создания голосовых заметок, воспроизведения видео- и аудиофайлов и для взаимодействия с голосовым помощником. В качестве ОС была выбрана система Windows 10 IoT. Это специальная ОС от компании Microsoft, разработанная для запуска на ней различных систем интернета вещей. Этамалообъемная ОС рассчитана на использование маломощными компьютерами, но при этом она предоставляет разработчикам практически весь доступный полной Windows 10функционал при работе конкретного приложения. Ключевой особенностью интерфейса разработанной системы управления контентом Smart Mirror является оптимизация окон приложений и виджетов таким образом, чтобы пользователь даже при работе с ними мог наблюдать собственное отражение и работа не отвлекала от обычных бытовых задач. Была поставлена задача свести к минимуму количество касаний, необходимых для управления системой. Это сделано для минимизации загрязнений и отвлечения пользователя от бытовых процедур, поэтому большинство элементов настраиваются и управляются посредством использования голосового помощника, а тактильные прикосновения используются чаще для перетаскивания имасштабирования элементов интерфейса. Разработано иерархическое меню с уникальным дизайном и анимацией, позволяющее пользователю получить доступ к различным функциям, а также провести настройку устройства. На сегодняшний день уже существует подсистема, способная распознавать различные типы касаний, созданы заготовки для формирования программных классов множества виджетов предметов «умного дома». В части программной реализации были добавлены основные виджеты главного экрана, такие как время, дата и день недели (приложение обращается к системной информации, которая обновляется при подключении к интернету и сохраняется до отключения питания устройства при отсутствии соединения с сетью). Доступен виджет погоды, получающий информацию со специализированного интернет-сервиса в виде json-кода, а затем преобразует его графический вид, доступный пользователю. Реализована возможность добавления RSS-подписок, которые могут отображаться в различном виде (на весь экран, в виде бегущей строки, в виде окна). Разработка основана на объектно-ориентированном языке, вследствие чего вся структура кода приняла типичный для ООП классовый характер. В системе существует множество интерфейсов, отвечающих за работу с определенными типами элементов, классов, наследованных от данных интерфейсов, объектов этих классов, играющих непосредственно практическую роль в межкомпонентном взаимодействии, методов, из которых классы состоят, и т.д. В качестве основных элементов программы можно выделить интерфейс страницы и классы конкретных страниц (экранов), унаследованных от него, главный класс, объявляющий возможности голосового помощника, классы, посвященные конкретным виджетам экрана, классы обработки изображения, классы синтеза речи, базы данных грамматики речевого распознавания, страницы адаптивной верстки элементов, главный класс загрузки изображения. На рис. 3 представлена схема взаимодействия программных модулей разработанной системы. Представленная схема взаимодействия модульных компонентов демонстрирует порядок действий, выполняемых программной оболочкой, при приближении пользователя к разработанной системе. Когда пользователь подходит к зеркалу, видеокамера передает захваченный видеопоток на одноплатный компьютер, где он подвергается кадровой дискретизации, среди кадров отбираются лучшие (наиболее четкие), кадры подвергаются обработке и построению схем по ключевым точкам, точки анализируются, на основе полученных данных программа приходит к определенным заключениям. В данном примере программа сравнивает полученную схему ключевых точек с загруженной схемой ключевых точек пользователя, и если обнаруживает сходство, то анализатор передает команду вглавный класс, который начинает процесс снятия блокировки с экрана: создается объект страницы, подгружается анимация перехода с экрана блокировки на пользовательский экран, а в параллельном потоке происходит построение потока аудио специальным классом, после чего синтезатор речи передает в главный класс аудиопоток, который воспроизводится параллельно с анимацией смены экрана.
Рисунок 3. Схема взаимодействия программных модулей На рис. 4 представлена логическая модель аппаратной части системы, демонстрирующая общие принципы работы и взаимодействия основных компонентов разработанной системы. Информация поступает с touchscreen-панели, микрофона и камеры, обрабатывается одноплатным компьютером, который выводит звук на динамики, а изображение на монитор таким образом, что оно выстраивается фрагментарно, не перекрывая собой отражение пользователя.
Рисунок 4. Логическая модель аппаратной части системы Физическая модель аппаратной части (см. рис. 5) разработанной системы подробно представляет, какие компоненты использованы для реализации поставленных задач. Веб-камера от Microsoft, микрофон Sven и динамики Acer показали лучшее соотношение цена/качество. Из этого ряда несколько выбивается Microsoft LifeCam, но ее стоимость обусловлена высоким качеством захватываемого видео, которое необходимо для нормальной работы алгоритмов распознавания.
Рисунок 5. Физическая модель аппаратной части системы При сборке все указанные комплектующие были лишены заводских корпусов и вмонтированы в деревянный корпус разработанной системы (см. рис. 6).
Рисунок 6. Расположение компонентов аппаратной части комплекса внутри корпуса В разработанной системе используется проводной способ связи компонентов ввиду его повышенной надежности и требований к высокой пропускной способности для некоторых соединений (вывод Full HD изображения по интерфейсу DVI-HDMI). Электронные компоненты взаимодействуют, используя интерфейсы USB, micro-USB, HDMI-DVI, Jack 3.5, Bluetooth. Как было сказано выше, в устройстве применяется проводной способ связи компонентов, однако мышь и клавиатура используются лишь в данном тестовом образце дляотладки. Также в нем предусмотрена отдельная панель управления экраном (см. рис. 7).
Рисунок 7. Панель управления экраном На данном этапе разработки удалось добиться качественного отражения благодаря использованию зеркала Гезелла повышенной прозрачности (5% титанового напыления вместо12%), также удалось добиться достаточного уровня герметичности. Устройство прошло тесты на влагозащиту и может использоваться в ванной комнате. Устройство было продемонстрировано на множестве выставок. Система показала свою работоспособность на протяжении этих мероприятий, отклонений от нормальной работы выявлено не было. Заключение Разработанная система управления медиаконтентом на базе зеркала с использованием дополненной реальности отлично впишется в активно развивающееся пространство интернета вещей. Эта система сможет не просто исполнять свои функции по оптимизации временных затрат пользователя, но взаимодействовать с иными объектами интернета вещей в доме: предоставлять пользователю данные о температуре, влажности воздуха, отправлять команды другим устройствам, например запускать кофемашину, включать новостную программу на телевизоре и менять температуру воздуха в квартире через систему кондиционирования, пока пользователь занят чисткой зубов. Разработанная система займет свое место на рынке в частном сегменте в качестве базовой станции для управления системами умного дома, так как позволит автоматизировать множество рутинных задач и получить контроль над множеством процессов, выполнять одни задачи и следить за выполнением других, не отвлекаясь от привычных бытовых дел. Вкоммерческом секторе наша система Smart Mirror выступит в качестве стенда для демонстрации контекстной цифровой рекламы в местах большого скопления людей, чем увеличит полезный отклик для заказчиков indoor-рекламы, т.к. будет способна демонстрировать ролики определенным целевым группам пользователей, основывая решение о показе наанализе внешности подошедшего человека; система позволит собирать подробную статистику о людях, просмотревших рекламу, анализировать их эмоции, что поможет маркетологам отработать более эффективные механизмы демонстрации рекламы. Система способна выступать в качестве демонстрационной панели в сфере торговли икосметических услуг, позволяя взглянуть на свое отражение в различной одежде, макияже, добавленными посредством компьютерной графики. В дальнейшем планируется увеличить точность алгоритмов распознавания лиц; добавить возможность упрощенной обработки изображения, не требующей серверных мощностей, чтобы сделать устройство менее зависимым от интернет-соединения; реализовать аппаратную часть устройства с различными диагоналями отражающей поверхности. Статья подготовлена в ходе проведения исследования №17-05-0017 в рамках программы «Научный фонд Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ)» в 2017-2018 годах и в рамках государственной поддержки ведущих университетов Российской Федерации «5-100».
Ключевые слова: система управления, медиаконтент, интернет вещей, дополненная реальность, человеко-машинное взаимодействие, умное зеркало, умный дом. Media content management system based on the mirror using augmented reality as a part of Internet of Things concept Kazakov V.V., National Research University Higher School of Economics, student of the MIEM Department of Computer Engineering, vad_kazakov@mail.ru Rolich A.Y., National Research University Higher School of Economics, graduate student of the MIEM Department of Computer Engineering, arolich@hse.ru Abstract: The paper presents the results of the review and analysis of media content management systems on the basis of the mirrors. We present descriptive model and architecture of the developed system. The novelty consists in the development of a new device that allows users to interact with the Internet and manage media content using augmented reality. The article considers designed logical and physical model of system hardware and describes developed algorithms of the system. There are described a soft shell and new algorithms that significantly increase the amount of user interaction with his reflection, internet and media content using augmented reality. Keywords: Management system, media content, Internet of Things, augmented reality, human-computer interaction, smart mirror, smart house. |
КАЗАКОВ В.В., Национальный исследовательский университет «Высшая школа экономики», студент департамента компьютерной инженерии МИЭМ, 
Комментарии отсутствуют
| Добавить комментарий |
|
Комментарии могут оставлять только зарегистрированные пользователи |
|
