 |
|
|
|
Использование Cassandra в системах сбора и анализа данных
Использование Cassandra В статье рассмотрены плюсы и минусы NoSQL Cassandra на примере использования в системах сбора и анализа данных Введение в Cassandra Частой задачей многих специализированных веб-проектов является сбор данных для последующего их анализа. При большом потоке входных данных их сохранение втрадиционных RMDB может стать проблемой. В таких случаях лучше использовать нереляционные БД, которые называют NoSQL (т.е. не SQL БД). Одной из таких NoSQL-систем хранения и является Cassandra. Cassandra (далее по тексту С*) относится к семейству поколоночных (ColumnFamily) NoSQL-хранилищ данных [1]. Основным свойством данного типа баз данных является быстрая вставка данных. Поэтому рационально их использовать в системах сбора и логирования информации для ее дальнейшего анализа. Второй важной особенностью C* является то, чтоэто кластерное решение, и разработчику не нужно задумываться о масштабировании, все «работает из коробки». По этим двум причинам и рационально ее использовать в системах сбольшим потоком входных данных: баннерные, рекламные или партнерские сети, счетчики интернет-статистики, разного рода телеметрические системы. Данные в C* хранятся в виде колонок, которые представляются как ключ, значение и время сохранения (timestamp). Сохранность данных осуществляется их дублированием наразные узлы кластера. При настройке кластера нам необходимо задать коэффициент дублирования, еще его называют уровнем репликации. По умолчанию значение уровня репликации равно трем. Это значит, что одни и те же данные будут храниться на трех разных узлах кластера, и при выходе из строя одного из узлов данные будут взяты с другого узла. C* – это надежное хранилище данных. В соответствии с теоремой CAP [2] в кластерных распределенных системах одновременно невозможно иметь согласованные и не противоречивые данные. Поэтому при настройке кластера выбираются разные уровни согласованности:
При использовании разных уровней согласованности осуществляется разная скорость отдачи. Самая быстрая – при установке значения уровня согласованности в ONE и самая медленная – при установке в ALL. Еще одной важной особенностью С* является возможность связи географически разнесенных кластеров, т.е. мы можем связать несколько кластеров, находящихся в разных дата-центрах. Итак, C* – это высоконадежное, хорошо масштабируемое, распределенное хранилище данных с архитектурой взаимодействия узлов peer-to-peer (каждый с каждым). Оно хорошо подходит для систем сбора информации, так как вставка в традиционные РСУБД, основанные на b-tree, происходит относительно медленно, особенно на больших объемах информации. Статью целиком читайте в журнале «Системный администратор», №01-02 за 2016 г. на страницах 76-81. PDF-версию данного номера можно приобрести в нашем магазине.
|
АЛЕКСАНДР КАЛЕНДАРЕВ, РБК Медиа, программист, Комментарии отсутствуют
| Добавить комментарий |
|
Комментарии могут оставлять только зарегистрированные пользователи |
|
