SQL, noSQL, немного ВКонтакте::Журнал СА 11.2011
www.samag.ru
     
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Наука и технологии
Подписка
Где купить
Авторам
Рекламодателям
Архив номеров
Контакты
   

  Опросы
  Статьи

Разбор полетов  

Ошибок опыт трудный

Как часто мы легко повторяем, что не надо бояться совершать ошибки, мол,

 Читать далее...

Принципы проектирования  

Dependency Inversion Principle. Принцип инверсии зависимостей в разработке

Мы подошли к последнему принципу проектирования приложений из серии SOLID – Dependency

 Читать далее...

Рынок труда  

Вакансия: Администратор 1С

Администратор 1С – это специалист, который необходим любой организации, где установлены программы

 Читать далее...

Книжная полка  

Книги для профессионалов, студентов и пользователей

Книги издательства «БХВ» вышли книги для тех, кто хочет овладеть самыми востребованными

 Читать далее...

Принципы проектирования  

Interface Segregation Principle. Принцип разделения интерфейсов в проектировании приложений

Эта статья из серии «SOLID» посвящена четвертому принципу проектирования приложений – Interface

 Читать далее...

1001 и 1 книга  
19.03.2018г.
Просмотров: 10307
Комментарии: 0
Потоковая обработка данных

 Читать далее...

19.03.2018г.
Просмотров: 8496
Комментарии: 0
Релевантный поиск с использованием Elasticsearch и Solr

 Читать далее...

19.03.2018г.
Просмотров: 8597
Комментарии: 0
Конкурентное программирование на SCALA

 Читать далее...

19.03.2018г.
Просмотров: 5479
Комментарии: 0
Машинное обучение с использованием библиотеки Н2О

 Читать далее...

12.03.2018г.
Просмотров: 6158
Комментарии: 0
Особенности киберпреступлений в России: инструменты нападения и защита информации

 Читать далее...

Друзья сайта  

 SQL, noSQL, немного ВКонтакте

Архив номеров / 2011 / Выпуск №11 (108) / SQL, noSQL, немного ВКонтакте

Рубрика: Информбюро /  События

Евгений Зиндер ЕВГЕНИЙ ЗИНДЕР, веб-программист. Прошел путь от верстальщика до системного архитектора высоконагруженных систем. Специализация – биллинги, системы финансового учета

SQL, noSQL, немного ВКонтакте

3-4 октября в Москве состоялась V конференция разработчиков высоконагруженных систем HighLoad++

Первый день работы конференции начался с рассказа о сервере очередей RabbitMQ. Он несильно отличался от канонического readme на сайте проекта, но венцом доклада стал очень красивый с архитектурной точки зрения use case для распределенной системы сбора логов.

Следующий доклад – «Improving web performance at scale» – поведал о том, что долгое ожидание для пользователя есть зло. По данным докладчика, пользователь в среднем рассчитывает на двухсекундную загрузку страницы. Пожалуй, на мой взгляд, самым полезным в докладе было упоминание библиотеки boomerang.js для мониторинга скорости загрузки страницы в реальных условиях на клиентской части.

В другом зале рассказывали про то, как социальная сеть Badoo рассылает по 50 (в пике – 70) миллионов писем в день. Краткие тезисы – кластер из 10 машин: 2 на прием, 8 на отправку, среднее время доставки – 25 секунд, 97% попаданий в Inbox. Отправка асинхронная, письма хранятся в файловой структуре, MTA – CommunigatePro для основной массы отправок и Postfix для проблемных серверов. Интересующимся данной темой советую просмотреть видео доклада.

Также участники конференции услышали немало советов о масштабировании MySQL от разработчиков Facebook. В слайдах доклада эти тезисы вполне понятно расписаны. Несмотря на очевидную полезность доклада, зал ярче всего отреагировал на фразу «Facebook – это как ВКонтакте, только мирные».

В докладе по теме SQL шла речь о построении крупномасштабных приложений для сбора данных на примере системы сбора статистики с ветряных генераторов (примерный масштаб – до 1000 фактов/с, около 1 Гб новых данных в час) и на приемнике баг-репортов об аварийном завершении браузера Firefox (3000/мин, около 40 Тб данных за весь период сбора). Системы хранения – HBase и PostgreSQL, архитектура системы разобрана достаточно подробно.

Первый из докладов о системном администрировании был построен в непривычном для конференции формате холивара – двое докладчиков рассказывали о том, как они решали одну и ту же проблему. В ее роли выступала задача фильтрации трафика для защиты клиентов от DDoS. Товарищеский матч шел на следующих уровнях:

  • защита сети vs защита сетевых приложений;
  • собственные разработки vs решения от вендоров;
  • распределенная сеть vs сеть оператора связи;
  • специализация vs интеграция.

Второй день конференции начался с блока докладов по SQL/noSQL-решениям.

Сначала рассказывали о Tarantool – высокопроизводительном key/value storage. Любителям высоких нагрузок рекомендуется для ознакомления. Следующим докладом стал рассказ-инструкция о Redis, его шардинге и, самое главное, о том, что делать, когда изначально созданное количество шардов меньше, чем нужно, и их количество нужно менять на лету. В процессе используется дополнительное ПО, интересующимся вопросом – слайды для просмотра обязательны.

Далее следовал доклад о Apache Cassandra – еще одно noSQL-хранилище, успешно сочетающее в себе преимущества Big Table от Google и Dynamo от Amazon. БД децентрализована, гибка в настройке и масштабировании, но не лишена и некоторых недостатков. Каких, и как с ними бороться – смотрите в соответствующих слайдах.

Одним из самых интересных выступлений дня стал доклад Олега Илларионова, работающего в ВКонтакте. Он  рассказывал о том, как удалось добиться плавной и быстрой загрузки страниц на не самом простом и малопосещаемом сайте в Рунете. Обычная загрузка страниц – долго и некрасиво, загрузка через AJAX – медленно и не всегда корректно обрабатывается нажатие кнопок «Вперед»/«Назад» в браузере. В итоге, как бы странно это ни звучало, используется iframe. Слайды для просмотра строго рекомендуются любому веб-разработчику, но лучше найти видео.

Спасибо организатору «Онтико» за конференцию. Еще раз рекомендую всем интересующимся тематикой пересмотреть слайды, а если удастся, и видео.

Со всеми слайдами конференции можно ознакомиться на http://www.highload.ru/2011/abstracts.


Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-41
Fax: (499) 277-12-45
E-mail: sa@samag.ru