 |
|
|
|
ClickHouse в системах сбора статистики
ClickHouse в системах сбора статистики Еще не прошло и полгода, как компания Yandex открыла исходный код cвоей аналитической БД ClickHouse, а сегодня на GitHub она уже завоевала 1500+ лайков. Попытаемся разобраться, зачем нужна БД и как ей пользоваться, на примере системы сбора статистики Возможности ClickHouse ClickHouse [1] была разработана в рамках проекта Яндекс.Метрики, являющегося второй по величине в мире системой веб-аналитики. ClickHouse принадлежит семейству колоночных СУБД. Система хранения данных колоночных СУБД предполагает хранение данных не по записям (одна запись одна строка), как это реализовано у классических СУБД типа Oracle, MS SQL Server, MySQL, PostgreSQL и т.д., а по колонкам, т.е. у колоночных БД данные привязываются к значениям колонки, которая является первичным ключом. Ниже представлен пример построчного хранения данных:
Эти же данные хранятся поколоночно в следующем порядке:
Примеры колоночных БД: Cassandra, Hbase, MonetDB, Vertica, Paraccel, Sybase IQ, Exasol, Infobright, InfiniDB, LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+ ит.п. Разный порядок хранения данных лучше подходит для разных сценариев работы СУБД. Не существует серебряной пули, одинаково хорошо подходящей под существенно различные нужды пользователей. Чем больше нагрузка на систему, тем более важной становится специализация под данный сценарий работы. Специфика колоночных БД такова, что они очень быстры на запись, что очень важно для систем, разработанных под большие нагрузки. Для онлайн-обработки аналитических запросов предполагается следующий сценарий работы:
Если в ваших проектах требуется система с вышеперечисленными критериями, то эта система для вас. Если бы мне пришлось вновь заняться архитектурой разработки систем учета партнерских программ, то мой выбор остановился бы на ClickHouse. Кратко рассмотрим, что собой представляет «партнерка». Есть множество рекламодателей, которым необходимо продать свой товар. Есть большое множество владельцев веб-сайтов, которые размещают на своих сайтах JS-код партнерской программы. Есть множество пользователей, которые посещают эти сайты, кликают по баннерам, показывающимся JS-кодом «партнерки», и приобретают товары или услуги. Все эти клики, посещения или покупки учитываются партнерской системой и владельцы веб-сайтов получают свою комиссию. Рассмотрим «партнерку» с технической точки зрения. При переходе с сайта партнера (владельца веб-сайта) на «партнерку» необходимо учесть клик, в котором содержится информация: с какого сайта (site_id) был осуществлен переход, номер баннера (banner_id), по которому кликнул пользователь, и учетный номер партнерской программы (partner_id), по которой идет учет и выплачиваются гонорары и комиссии. Для сбора статистики необходимо учесть по кликам следующие данные:
Как это работает: при переходе на «партнерку» по ссылке с баннера из быстрого key-value-хранилища в основном используют Redis, по ключу site_id:partner_id извлекается недостающая информация: webmaster_id, client_id, адрес перехода, учитывается клик, которому присваивается уникальный номер, формируется адрес перехода и осуществляется сам переход по url, в котором передается некая информация, включающая click_id. К сожалению, в рамках данного материала мы не рассматриваем алгоритмы показа баннера, учитывающие интересы пользователя. Если пользователь приобрел товары или услуги, то партнер (рекламодатель) делает так называемый кэллбэк, в котором указывает номер заказа, сумму или величину комиссии (определяется типом партнерской программы). Эта информация также учитывается, но уже в таблице лидов. Статью целиком читайте в журнале «Системный администратор», №1-2 за 2017 г. на страницах 56-59. PDF-версию данного номера можно приобрести в нашем магазине.
|
АЛЕКСАНДР КАЛЕНДАРЕВ, OTG, руководитель группы (ТимЛид), Комментарии отсутствуют
| Добавить комментарий |
|
Комментарии могут оставлять только зарегистрированные пользователи |
|
