 |
|
|
|
SQL, noSQL, немного ВКонтакте
SQL, noSQL, немного ВКонтакте 3-4 октября в Москве состоялась V конференция разработчиков высоконагруженных систем HighLoad++ Первый день работы конференции начался с рассказа о сервере очередей RabbitMQ. Он несильно отличался от канонического readme на сайте проекта, но венцом доклада стал очень красивый с архитектурной точки зрения use case для распределенной системы сбора логов. Следующий доклад – «Improving web performance at scale» – поведал о том, что долгое ожидание для пользователя есть зло. По данным докладчика, пользователь в среднем рассчитывает на двухсекундную загрузку страницы. Пожалуй, на мой взгляд, самым полезным в докладе было упоминание библиотеки boomerang.js для мониторинга скорости загрузки страницы в реальных условиях на клиентской части. В другом зале рассказывали про то, как социальная сеть Badoo рассылает по 50 (в пике – 70) миллионов писем в день. Краткие тезисы – кластер из 10 машин: 2 на прием, 8 на отправку, среднее время доставки – 25 секунд, 97% попаданий в Inbox. Отправка асинхронная, письма хранятся в файловой структуре, MTA – CommunigatePro для основной массы отправок и Postfix для проблемных серверов. Интересующимся данной темой советую просмотреть видео доклада. Также участники конференции услышали немало советов о масштабировании MySQL от разработчиков Facebook. В слайдах доклада эти тезисы вполне понятно расписаны. Несмотря на очевидную полезность доклада, зал ярче всего отреагировал на фразу «Facebook – это как ВКонтакте, только мирные». В докладе по теме SQL шла речь о построении крупномасштабных приложений для сбора данных на примере системы сбора статистики с ветряных генераторов (примерный масштаб – до 1000 фактов/с, около 1 Гб новых данных в час) и на приемнике баг-репортов об аварийном завершении браузера Firefox (3000/мин, около 40 Тб данных за весь период сбора). Системы хранения – HBase и PostgreSQL, архитектура системы разобрана достаточно подробно. Первый из докладов о системном администрировании был построен в непривычном для конференции формате холивара – двое докладчиков рассказывали о том, как они решали одну и ту же проблему. В ее роли выступала задача фильтрации трафика для защиты клиентов от DDoS. Товарищеский матч шел на следующих уровнях:
Второй день конференции начался с блока докладов по SQL/noSQL-решениям. Сначала рассказывали о Tarantool – высокопроизводительном key/value storage. Любителям высоких нагрузок рекомендуется для ознакомления. Следующим докладом стал рассказ-инструкция о Redis, его шардинге и, самое главное, о том, что делать, когда изначально созданное количество шардов меньше, чем нужно, и их количество нужно менять на лету. В процессе используется дополнительное ПО, интересующимся вопросом – слайды для просмотра обязательны. Далее следовал доклад о Apache Cassandra – еще одно noSQL-хранилище, успешно сочетающее в себе преимущества Big Table от Google и Dynamo от Amazon. БД децентрализована, гибка в настройке и масштабировании, но не лишена и некоторых недостатков. Каких, и как с ними бороться – смотрите в соответствующих слайдах. Одним из самых интересных выступлений дня стал доклад Олега Илларионова, работающего в ВКонтакте. Он рассказывал о том, как удалось добиться плавной и быстрой загрузки страниц на не самом простом и малопосещаемом сайте в Рунете. Обычная загрузка страниц – долго и некрасиво, загрузка через AJAX – медленно и не всегда корректно обрабатывается нажатие кнопок «Вперед»/«Назад» в браузере. В итоге, как бы странно это ни звучало, используется iframe. Слайды для просмотра строго рекомендуются любому веб-разработчику, но лучше найти видео. Спасибо организатору «Онтико» за конференцию. Еще раз рекомендую всем интересующимся тематикой пересмотреть слайды, а если удастся, и видео. Со всеми слайдами конференции можно ознакомиться на http://www.highload.ru/2011/abstracts. |
Комментарии отсутствуют
| Добавить комментарий |
|
Комментарии могут оставлять только зарегистрированные пользователи |
|
