SQL, noSQL, немного ВКонтакте::Журнал СА 11.2011
www.samag.ru
Льготная подписка для студентов      
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
О журнале
Журнал «БИТ»
Подписка
Где купить
Авторам
Рекламодателям
Магазин
Архив номеров
Вакансии
Контакты
   

Jobsora


  Опросы

Какие курсы вы бы выбрали для себя?  

Очные
Онлайновые
Платные
Бесплатные
Я и так все знаю

 Читать далее...

1001 и 1 книга  
28.05.2019г.
Просмотров: 2219
Комментарии: 2
Анализ вредоносных программ

 Читать далее...

28.05.2019г.
Просмотров: 2207
Комментарии: 1
Микросервисы и контейнеры Docker

 Читать далее...

28.05.2019г.
Просмотров: 1762
Комментарии: 0
Django 2 в примерах

 Читать далее...

28.05.2019г.
Просмотров: 1277
Комментарии: 0
Введение в анализ алгоритмов

 Читать далее...

27.03.2019г.
Просмотров: 1826
Комментарии: 1
Arduino Uno и Raspberry Pi 3: от схемотехники к интернету вещей

 Читать далее...

Друзья сайта  

Форум системных администраторов  

sysadmins.ru

 SQL, noSQL, немного ВКонтакте

Архив номеров / 2011 / Выпуск №11 (108) / SQL, noSQL, немного ВКонтакте

Рубрика: Информбюро /  События

Евгений Зиндер ЕВГЕНИЙ ЗИНДЕР, веб-программист. Прошел путь от верстальщика до системного архитектора высоконагруженных систем. Специализация – биллинги, системы финансового учета

SQL, noSQL, немного ВКонтакте

3-4 октября в Москве состоялась V конференция разработчиков высоконагруженных систем HighLoad++

Первый день работы конференции начался с рассказа о сервере очередей RabbitMQ. Он несильно отличался от канонического readme на сайте проекта, но венцом доклада стал очень красивый с архитектурной точки зрения use case для распределенной системы сбора логов.

Следующий доклад – «Improving web performance at scale» – поведал о том, что долгое ожидание для пользователя есть зло. По данным докладчика, пользователь в среднем рассчитывает на двухсекундную загрузку страницы. Пожалуй, на мой взгляд, самым полезным в докладе было упоминание библиотеки boomerang.js для мониторинга скорости загрузки страницы в реальных условиях на клиентской части.

В другом зале рассказывали про то, как социальная сеть Badoo рассылает по 50 (в пике – 70) миллионов писем в день. Краткие тезисы – кластер из 10 машин: 2 на прием, 8 на отправку, среднее время доставки – 25 секунд, 97% попаданий в Inbox. Отправка асинхронная, письма хранятся в файловой структуре, MTA – CommunigatePro для основной массы отправок и Postfix для проблемных серверов. Интересующимся данной темой советую просмотреть видео доклада.

Также участники конференции услышали немало советов о масштабировании MySQL от разработчиков Facebook. В слайдах доклада эти тезисы вполне понятно расписаны. Несмотря на очевидную полезность доклада, зал ярче всего отреагировал на фразу «Facebook – это как ВКонтакте, только мирные».

В докладе по теме SQL шла речь о построении крупномасштабных приложений для сбора данных на примере системы сбора статистики с ветряных генераторов (примерный масштаб – до 1000 фактов/с, около 1 Гб новых данных в час) и на приемнике баг-репортов об аварийном завершении браузера Firefox (3000/мин, около 40 Тб данных за весь период сбора). Системы хранения – HBase и PostgreSQL, архитектура системы разобрана достаточно подробно.

Первый из докладов о системном администрировании был построен в непривычном для конференции формате холивара – двое докладчиков рассказывали о том, как они решали одну и ту же проблему. В ее роли выступала задача фильтрации трафика для защиты клиентов от DDoS. Товарищеский матч шел на следующих уровнях:

  • защита сети vs защита сетевых приложений;
  • собственные разработки vs решения от вендоров;
  • распределенная сеть vs сеть оператора связи;
  • специализация vs интеграция.

Второй день конференции начался с блока докладов по SQL/noSQL-решениям.

Сначала рассказывали о Tarantool – высокопроизводительном key/value storage. Любителям высоких нагрузок рекомендуется для ознакомления. Следующим докладом стал рассказ-инструкция о Redis, его шардинге и, самое главное, о том, что делать, когда изначально созданное количество шардов меньше, чем нужно, и их количество нужно менять на лету. В процессе используется дополнительное ПО, интересующимся вопросом – слайды для просмотра обязательны.

Далее следовал доклад о Apache Cassandra – еще одно noSQL-хранилище, успешно сочетающее в себе преимущества Big Table от Google и Dynamo от Amazon. БД децентрализована, гибка в настройке и масштабировании, но не лишена и некоторых недостатков. Каких, и как с ними бороться – смотрите в соответствующих слайдах.

Одним из самых интересных выступлений дня стал доклад Олега Илларионова, работающего в ВКонтакте. Он  рассказывал о том, как удалось добиться плавной и быстрой загрузки страниц на не самом простом и малопосещаемом сайте в Рунете. Обычная загрузка страниц – долго и некрасиво, загрузка через AJAX – медленно и не всегда корректно обрабатывается нажатие кнопок «Вперед»/«Назад» в браузере. В итоге, как бы странно это ни звучало, используется iframe. Слайды для просмотра строго рекомендуются любому веб-разработчику, но лучше найти видео.

Спасибо организатору «Онтико» за конференцию. Еще раз рекомендую всем интересующимся тематикой пересмотреть слайды, а если удастся, и видео.

Со всеми слайдами конференции можно ознакомиться на http://www.highload.ru/2011/abstracts.


Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-41
Fax: (499) 277-12-45
E-mail: sa@samag.ru