БАГУТДИНОВ Р.А., аспирант Отделения автоматизации и робототехники Инженерной школы информационных технологий и робототехники Национального исследовательского Томского политехнического университета, 634034, г. Томск, ул. Усова, 15б, ravil_bagutdinov@yahoo.com

Разработка мультисенсорной системы
для задач мониторинга и интерпретации разнородных данных

Различные современные мультисенсорные системы мониторинга и интерпретации данных оперируют несколькими типами гетерогенных сенсорных сетей и используют множество достаточно хороших алгоритмов сегментации и отслеживания. В рамках работы предлагается реализация мультисенсорной системы мониторинга и интерпретации разнородных данных, которая поможет в разработке и проектировании для создания широкого спектра приложений для мониторинга и интерпретации данных, позволяющих взаимодействовать с различными модулями, и повторного использования кода

Современные компании, занимающиеся добычей (сбором) данных, сталкиваются с проблемой обеспечения их верной интерпретации.

Существует огромное количество способов и методов добычи данных и их последующей обработки. Анализ данных или поисковый анализ данных с большими и сложными наборами данных объединяет множество знаний и исследований в области статистики и машинного обучения для изучения новых фрагментов знаний в больших базах данных.

При всем разнообразии методов и способов отсутствуют унифицированные подходы к решению задач интерпретации полученных разнородных, разномасштабных данных и метаданных. Основная задача сводится к извлечению достоверной и еще неизвестной информации из больших объемов данных и использованию ее для принятия важных решений.

Введение

В последние годы система мониторинга и интерпретации пережила большую эволюцию. Исходные системы были основаны на камерах с низким разрешением, непосредственно подключенных к монитору. В настоящее время принято работать с распределенными системами, в которых взаимодействуют несколько датчиков с целью отслеживания объектов, представляющих интерес, и выявления подозрительного, неявного поведения. Это относится и к электронным средам, которые чувствительны к присутствию людей.

Основная часть

Определение структуры имеет важное значение для разработки схем проектирования и реализации, способных генерировать широкое разнообразие приложений для мониторинга и интерпретации данных. Такая структура позволяет взаимодействовать с различными модулями системы.

Очевидно, что любой новый подход к интеллектуальному мониторингу и интерпретации должен быть адаптивным при рассмотрении вопроса о внедрении постоянно растущего и более широкого диапазона датчиков. Поэтому современные системы мониторинга должны объединять несколько разнородных гетероструктур и использовать самые выдающиеся алгоритмы сегментации и отслеживания.

Вот почему методы слияния разнородных данных становятся ключевой проблемой для сложной интерпретации поведения и анализа ситуации. Информационное слияние данных из нескольких источников в общем обеспечивает более высокую точность и устойчивость к отказам. Это также помогает уменьшить шум и неопределенность при получении наилучшего результата.

Кроме того, мультисенсорная система может быть спроектирована как распределенная многоуровневая архитектура, обеспечивающая вездесущую связь и передовой человеко-машинный коммуникационный протокол.

Таким образом, повышается синергия между пользователем и окружающей средой, повышается уровень профессиональной подготовки и безопасность в окружающей среде человека [19, 3, 4]. Например, есть система, которая объединяет звуковые датчики и камеры безопасности для повышения безопасности в сетях общественного транспорта. Система состоит из сети распределенных систем обработки (видеонаблюдения, IP-камер, аудиодатчиков) и центрального узла, который собирает данные из удаленных систем и реализует пользовательский интерфейс [15].

Наиболее популярными тенденциями в системах мониторинга и интерпретации являются сегментация и отслеживание людей, а также распознавание человеческой активности [12]. Текущие системы мониторинга состоят из нескольких датчиков, охватывающих широкие области, сгруппированные в обрабатывающих узлах, которые обеспечивают высокую масштабируемость и надежность [1, 2]. Узлы выполняют мониторинг в режиме реального времени, чтобы предупредить оператора о заранее выявленных определенных событиях (угрозах). Некоторые общие требования выполняются слиянием различной сенсорной информации [11], сетевыми ограничениями, качеством связи между узлами [18] и автоматическим обучением [10].

В последнее время многие предложения сосредоточены в сочетании нескольких камер для отслеживания людей и анализа активности. В контексте домашнего мониторинга предлагается система отслеживания с множеством камер [14].

Наконец, одним из примеров является использование гетерогенных сенсорных сетей для мультимодального отслеживания транспортных средств [13].

В этой работе предлагается создание новой мультисенсорной системы мониторинга и интерпретации данных. Структура основана на парадигме модели-представления-контроллера, где некоторые функции расширены и адаптированы к требованиям распределенной интеллектуальной системы [17]. Предложенная гибридная распределенная система состоит из центрального узла и набора удаленных узлов. Удаленные узлы отвечают за сбор данных и обработку более низкого уровня (например, сегментацию и отслеживание), тогда как центральный узел собирает информацию и выполняет задачи обработки более высокого уровня (например, обнаружение активности).

Обычно логический домен изолирован от пользовательского интерфейса, чтобы обеспечить независимую разработку, тестирование и управление. Таким образом, приложения делятся на три части.

Модель отвечает за управление данными приложения (поступает из баз данных, текстовых файлов, файлов XML, компьютерных регистров и т.д.), инициализирует объекты приложения, предоставляет информацию журнала и примитивы для обновления состояния системы (через ее объекты). Кроме того, модель уведомляет об изменениях информации другим системным компонентам, представлению и контроллеру.

Кроме того, представление обеспечивает представление модели, адаптированной к потребностям пользователя, даже генерируя несколько представлений одной и той же модели (концепция мультимодальности).

Поскольку представление не содержит логики приложения, оно должно быть максимально простым.

Наконец, контроллер получает входы, вызывая примитивы модели для обновления своих объектов. Контроллер получает входные данные пользователя, которые запускают действия в модели и режиме просмотра.

Предлагаемая работа расширяет такую традиционную архитектуру для обеспечения большей гибкости. Это необходимо не только для удовлетворения потребностей систем мониторинга и интерпретации, но и для включения существующих алгоритмов или вновь разрабатываемых без больших изменений. Для этих целей логический блок отделяется от модели, генерируя новый исполнительный блок, управляемый контроллером.

Новый блок называется алгоритмом, а его функциональность дается различными модулями, составляющими уровни структуры. Таким образом, можно легко включать новые или существующие функциональные возможности в структуру, а не только разработчики структуры, но и другие пользователи, заинтересованные в тестировании своих предложений.

Каждый уровень реализуется как расширенные модули (см. рис. 1), работающие с более низкого уровня – сбор данных или связь с узлами – до более высоких уровней, таких как отслеживание, классификация или обнаружение активности. Здесь функциональность модели сводится к хранению и управлению данными приложений, обеспечивая примитивы для доступа к данным.

Рисунок 1. Расширение традиционного подхода

В традиционном подходе все элементы включены в три исходных модуля. Но предлагаемое расширение рассматривает структуру как комбинацию расширенных модулей мультисенсорной системы. Каждый модуль посвящен одному уровню предлагаемой структуры мониторинга и интерпретации данных.

Тем не менее модульные блоки интегрируются благодаря добавлению нового модуля, который содержит модель данных и основу для интеграции остальных модулей. Этот модуль реализует общую модель (см. рис. 3), рассматриваемую как некий «спинной мозг» структуры, поскольку он содержит данные, сгенерированные каждым уровнем, предлагая его на верхних уровнях через набор интерфейсов.

Общая модель уменьшает зависимости между модулями и упрощает доступ к данным через набор четко определенных методов ввода и вывода. Определено общее представление, которое содержит интерфейс каждого модуля. Благодаря каждому представлению каждый модуль предоставляет интерфейс для отображения своих результатов и настройки параметров в режиме онлайн. Наконец, модуль также реализует контроллер для контроля за выполнением всех модулей инфраструктуры.

Перед подробным описанием каждого уровня структуры необходимо описать модель исполнения. Модель исполнения следует за гибридной распределенной схемой, где удаленные узлы выполняют обработку на уровне процесса, а центральный узел отвечает за сбор и слияние данных, а также за выполнение обработки высокого уровня.

На рис. 2 показано схематическое представление каркасных модулей. Удаленные модули включают расширенную структуру. Общая модель, глобальный контроллер и общее представление также хранятся в центральном узле с расширенной структурой.

Рисунок 2. Модель исполнения. Гибридная схема

Уровни структуры, состоящие из расширенных модулей, представлены на рис. 3.

Рисунок 3. Структурные уровни мультисенсорной системы

На первом месте выделяется общая модель. Как указано выше, этот блок доступен с любого уровня. Ниже описывается функциональность каждого уровня.

Обратите внимание, что алгоритм не предоставлен, чтобы поддерживать структуру как можно более общую. Разумеется, предлагаемые уровни являются лишь ориентиром для создания структуры, но можно включить новые уровни в соответствии с требованиями приложения.

Уровень получения данных напрямую взаимодействует с цифровыми аналоговыми устройствами посредством измерения из физического мира. В данном случае имеются в виду данные от датчиков, а также данные из других источников информации (диск, база данных и т.д.). Уровень получения данных также выполняет предварительную обработку информации.

Уровень слияния данных объединяет данные с датчиков для улучшения качества информации (более полной и точной). Алгоритмы слияния данных также работают с различными спектральными изображениями и вводят данные о домене.

Третий уровень структуры, сегментирование уровня пикселей, предназначен для выделения объектов, представляющих интерес, которые содержатся во входных изображениях. Этот уровень может содержать широкий спектр методов – от самого простого (простой бинаризации инфракрасных (ИК) изображений) до других более сложных подходов, дающих лучшие результаты [16]. С другой стороны, этот уровень также фильтрует данные, соответствующие объектам, представляющим интерес, с целью устранения шума.

Уровень слияния данных уровня сегментации на уровне пикселей объединяет изображения, полученные на этапе локализации и фильтрации, поскольку в рамках может быть несколько подходов к локализации и фильтрации (например, один, посвященный цветным изображениям, другой для ИК-изображений). Таким образом, ищутся наиболее полезные функции входного изображения.

Уровень обнаружения незначительных отклонений фильтрует изображения, неправильно обнаруженные на предыдущих уровнях. Кроме того, уровень обнаружения отвечает за извлечение информации, связанной с теми изображениями, которые позволяют более эффективно анализировать объекты. Эта информация зависит от приложения.

Уровень идентификации объекта работает с объектами, а не с блоками. Это улучшает абстракцию информации, сопоставляет координаты объектов в реальном мире, а не просто работает с координатами изображения.

Уровень классификации объектов особенно важен для проведения хорошего анализа активности, поскольку он предоставляет знания о том, что представляет собой объект. Кроме того, объектная классификация предоставляет информацию об ориентации объектов.

Уровень отслеживания объектов отвечает за сопоставление координат объектов изображений в реальной картинке. Таким образом, он вычисляет траектории, за которыми следуют движущиеся объекты внутри сценария, независимо от конкретного датчика, который их обнаружил. Он также делает прогнозы о будущих позициях объектов на основе ранее обнаруженных траекторий. Используется информация из общей модели, ситуациям датчиков и их диапазону охвата.

Уровень обнаружения событий генерирует семантическую информацию, связанную с поведением объектов в сценарии. Это последний слой структуры, хранящийся в удаленных узлах (см. рис. 2). Остальные слои реализованы в центральном узле вместе с общей моделью, центральным контроллером и центральным представлением. В мультисенсорной системе мониторинга и интерпретации, где несколько датчиков контролирует общий сценарий, события, генерируемые из разных источников, обычно не совпадают. Вот почему уровень объединения события необходим для унификации информации, поступающей из различных сенсорных данных, сгенерированных на предыдущем уровне.

Конечный уровень структуры, обнаружение активности отвечают за анализ и обнаружение действий, уже связанных с временными особенностями. После объединения событий текущий уровень лучше знает, что происходит в сценарии в соответствии с обнаруженными событиями. Следовательно, действия, обнаруженные на этом уровне, могут быть переведены в действия по сценарию, обеспечивая более высокий уровень.

Общая модель упрощает обмен информацией между каркасными слоями. Слой собирает всю информацию с разных уровней, обеспечивая при этом примитивы для доступа к информации. Общая модель – это вариация традиционной модели. Действительно, общая модель отвечает только за то, что общая информация должна быть доступна для каждого модуля выполнения.

Для этой цели предоставляются примитивы, которые позволяют управлять данными. Чтобы правильно определить общую модель, мы начнем со слоев, которые составляют структуру. Поскольку входные и выходные параметры известны, можно оценить, какие из них принадлежат общей модели.

Выводы

В этой работе представлено предложение для проектирования мультисенсорной системы мониторинга и интерпретации разнородных данных, которая состоит из распределенной многоуровневой архитектуры, обеспечивающей вездесущую связь и усовершенствованный протокол связи между человеком и машиной.

Структура основана на парадигме модели-представления-контроллера, хотя она улучшена для удовлетворения требований распределенной мультисенсорной системы мониторинга. Кроме того, в предложении представлена модель исполнения, основанная на гибридной распределенной схеме, позволяющей вездесущее вычисление и связь между центральным узлом и удаленными узлами.

В настоящее время работа сосредоточена на создании метамодели, способной управлять иерархией модулей, необходимой для реализации всех структурных слоев. С другой стороны, общая модель также определяется для заполнения стандартного набора входов и выходов, которые должны предоставить все модули. Это необходимое ограничение, позволяющее легко интегрировать модули на разных уровнях.

Данная разработка может быть полезна не только для разработки мультисенсорных систем безопасности различного назначения, но и под широкий круг прикладных задач.

1. Багутдинов Р.А. Гносеологические аспекты к определению назначения и состава СТЗ в задачах проектирования и разработки робототехнических комплексов. // «Программные системы и вычислительные методы», № 1, 2017 г. – С. 39-45.
2. Багутдинов Р.А. Идея многоракурсной системы технического зрения для формирования 3D-моделей поверхности объекта в задачах разработки мобильных роботов. // «Программные системы и вычислительные методы», № 4, 2017 г. – С. 1-6.
3. Островский О.А. Алгоритмы проведения осмотров цифровых носителей информации для предотвращения компьютерных преступлений. // «Военно-юридический журнал», № 11, 2017 г. – С. 3-6.
4. Островский О.А. Дефиницальный анализ корреляционной зависимости информационной модели и криминалистической характеристики преступления в сфере компьютерной информации. // «Евразийский юридический журнал», № 7, 2017 г. – С. 221-225.
5. Островский О.А. Криминалистический анализ, описывающий состояние детерминированного конечного автомата в модели наблюдателя при расследовании преступлений в сфере компьютерной информации. // «Евразийский юридический журнал», № 3, 2018 г. – С. 294-296.
6. Островский О.А. Принцип объектной декомпозиции в систематизации идентификационных кодов, характеризующих преступления в сфере компьютерной информации. // «Полицейская деятельность», № 3, 2017 г. – С. 10-18.
7. Петренко Н.А., Багутдинов Р.А. Анализ мультисенсорных систем и сенсорного слияния данных / В сборнике: Молодежь и современные информационные технологии. Сборник трудов XV Международной научно-практической конференции студентов, аспирантов и молодых ученых. Национальный исследовательский Томский политехнический университет. 2018. – С. 73-74.
8. Bagutdinov R.A. Classification characteristic for heterogeneous data processing tasks/ International Journal of Open Information Technologies. 2018. Т. 6. № 8. P. 14-18.
9. Bagutdinov R.A. The processing of heterogeneous data for multisensory systems of technical vision on the example of analysis of temperature and gas concentration / In the collection: MSIT collection of works of the XV International scientific-practical conference of students, graduate students and young scientists. Tomsk Polytechnic University. 2018. P. 25-26.
10. Buxton, H. (2003). Learning and understanding dynamic scene activity: a review. Image and Vision Computing, 21(1):125-136.
11. Collins, R., Lipton, A., Kanade, T., Fujiyoshi, H., Duggins, D., Tsin, Y., Tolliver, D., Enomoto, N., Hasegawa, O. (2000). A system for video surveillance and monitoring. Technical Report CMU-RI-TR-00-12, Robotics Institute, Pittsburgh, PA.
12. Haritaoglu, I., Harwood, D., Davis, L. (2000). W4: real-time surveillance of people and their activities. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):809-830.
13. Kushwaha, M., Oh, S., Amundson, I., Koutsoukos, X., Ledeczi, A. (2008). Target tracking in urban environments using audio-video signal processing in heterogeneous wireless sensor networks. In 42nd Asilomar Conference on Signals, Systems and Computers.
14. Krumm, J., Harris, S., Meyers, B., Brumitt, B., Hale, M., Shafer, S. (2000). Multi-camera multi-person tracking for easyliving. In Third IEEE International Workshop on Visual Surveillance, 3-10.
15. Lo, B. P.L., Sun, J., Velastin, S.A. (2003). Fusing visual and audio information in a distributed intelligent surveillance system for public transport systems. Acta Automatica Sinica, 29(3):393-407.
16. Moreno-Garcia J., Rodriguez-Benitez L., Fernґandez-Caballero A. Lґopez M.T. (2010). Video sequence motion tracking by fuzzification techniques. Applied Soft Computing 10(1):318-331.
17. Pavґon, J., Gґomez-Sanz, J.J., Fernґandez-Caballero, A., Valencia- Jimґenez, J.J. (2007). Development of intelligent multi-sensor surveillance systems with agents. Robotics and Autonomous Systems, 55(12):892-903.
18. Foresti G. L. and Regazzoni C. S. (2001). Video processing and communications in real-time surveillance systems, J. Real-Time Imaging, 7(3):381-388.
19. Remagnino, P., Foresti, G.L. (2005). Ambient intelligence: A new multidisciplinary paradigm. IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 35(1):1-6.

Ключевые слова: мультисенсорные системы, гетерогенные данные, модульность, гибкость, проектирование.

Development of a multisensory system for the tasks of monitoring and interpreting heterogeneous data

Bagutdinov R.A., Post-Graduate Student, Department of Automation and Robotics, School of Engineering Information Technologies and Robotics, National Research Tomsk Polytechnic University, 634034, Tomsk, ul. Usova 15b, ravil_bagutdinov@yahoo.com

Abstract: Various modern multisensory systems for monitoring and interpreting data operate on several types of heterogeneous sensor networks and use a variety of reasonably good segmentation and tracking algorithms. The work proposes the implementation of a multisensory system for monitoring and interpreting heterogeneous data, which will help in the development and design of a wide range of applications for monitoring and interpreting data that allow interacting with different modules and reusing code.

Keywords: multi-touch systems, heterogeneous data, modularity, flexibility, design.

Комментарии могут оставлять только зарегистрированные пользователи