Савельев Н.А.,
Национальный исследовательский университет «Высшая школа экономики»,
департамент компьютерной инженерии, МИЭМ НИУ ВШЭ

Проектирование и исследование
архитектуры высоконагруженной системы анализа событий
в реальном времени

Исследование посвящено проектированию и анализу архитектуры распределенной системы, предназначенной для обработки событий в реальном времени в задачах кибербезопасности и финансового мониторинга. Основной фокус сделан на синтезе компонентов, обеспечивающих горизонтальную масштабируемость, задержку менее 100 мс, устойчивость к экстремальным нагрузкам (до 50 000 RPS) и интеграцию механизмов защиты от DDoS-атак. В рамках исследования предложена гибридная модель, сочетающая масштабирование узлов, событийно-ориентированную архитектуру (EDA) и бинарную сериализацию данных на базе MessagePack. Планируемые результаты включают верификацию производительности через нагрузочное тестирование и сравнение с аналогами (Kafka, Cassandra, RabbitMQ).

Введение

В условиях активного развития цифровой экономики и повсеместного распространения информационных технологий значительно возрастает объем данных, требующих обработки в реальном времени.

Для обработки и анализа таких данных нужны специализированные системы. Такие системы имеют высокую нагрузку как по данным, так и по количеству вычислений. К системам такого типа предъявляют требования, которые ставят серьезные инженерные задачи в области проектирования программных систем. Несмотря на обилие существующих подходов и инструментов, реализация систем, сочетающих в себе низкую задержку обработки, устойчивость к отказам и возможность масштабирования в условиях высоких нагрузок является нетривиальной задачей. Это обусловлено необходимостью поиска способов оптимального использования вычислительных ресурсов, синтеза подходящей архитектуры, определения языка программирования, протоколов передачи данных, выбора программных компонентов: базы данных, брокеры сообщений и иных аспектов. Традиционные подходы к проектированию систем часто не обеспечивают должной производительности при увеличении нагрузки, требуют значительных ресурсов для вертикального масштабирования, не адаптированы к горизонтальному масштабированию и динамическому обновлению логики анализа данных [1].

<...>

Ключевые слова: highly loaded system, stream processing, architecture, scalability, event processing, antifraud

Полную версию статьи читайте в журнале
Подпишитесь на журнал

Комментарии могут оставлять только зарегистрированные пользователи