Кэширование с Varnish. Готовим HTTP-сервер к слэшдот-эффекту

 ДЕНИС СИЛАКОВ, кандидат ф.-м. н., начальник отдела технологических разработок и сопровождения ООО «НТЦ ИТ РОСА», denis.silakov@rosalab.ru

Кэширование с Varnish
Готовим HTTP-сервер к слэшдот-эффекту

Ускорить обработку входящих запросов можно с помощью кэширования ответов сервера. В этой статье мы познакомимся с одним из лидеров в сфере обработки запросов HTTP

У большинства системных администраторов слова «кэширование» и «веб» ассоциируются с прокси-сервером Squid – популярным решением, позволяющим кэшировать практически любой вид трафика и существенно снижать нагрузку на сетевые каналы. Squid является настоящим комбайном, допускающим разнообразные сценарии использования. Но нередко оборотной стороной многофункциональности является недостаточная проработка каждого конкретного сценария. Универсальный алгоритм – это хорошо, но алгоритм, заточенный на конкретную задачу, обычно решает ее быстрее.

Именно таким частным решением и является Varnish, главная и единственная задача которого – ускорение работы HTTP-сервера. Никакого кэширования FTP, никакой поддержки развертывания на шлюзе в локальную сеть для экономии внешнего трафика – исключительно прослойка между HTTP-сервером и обращающимися к нему пользователями, позволяющая снизить нагрузку на первого и в то же время ускорить время обработки запросов последних.

Принципы работы

Базовый принцип работы Varnish ничем не отличается от других программ кэширования – он принимает запрос от клиента и смотрит, не было ли такого запроса ранее и не присутствует ли ответ на него в кэше. Если ответ имеется, то он извлекается из кэша, а если нет, то запрос передается серверу, а ответ от сервера передается клиенту и помещается в кэш для будущего использования. По оценкам разработчиков Varnish, извлечение ответа из кэша происходит на два порядка быстрее, чем обработка запроса сервером, и в реальной жизни с помощью Varnish можно добиться ускорения работы HTTP-сервиса в десятки, а то и в сотни раз.

Varnish использует многопоточную (multithread) модель работы – каждый запрос от клиента обрабатывается в отдельном потоке. В версии 3.0 и ранее в том же потоке происходило и обращение к HTTP-серверу (при необходимости), но в версии 4.0 эти две задачи (получение запроса от пользователя и передача запроса серверу) разнесли по разным потокам. Такая реализация предоставляет больше гибкости, а также увеличивает отзывчивость Varnish.

Многопоточность реализуется с помощью стандартных потоков POSIX и производительность Varnish напрямую связана с качеством реализации этих потоков в ОС. Собственно, этим и обусловлена сложность развертывания Varnish на Windows.

Число потоков не бесконечно и ограничено настройками Varnish. При достижении предела, новые запросы помещаются в очередь на обработку и извлекаются оттуда по мере освобождения потоков. Однако и эта очередь не бесконечна, и при достижении ее лимита запросы начинают отбрасываться. Впрочем, «пресытить» Varnish гораздо сложнее, чем непосредственно HTTP-сервер, и для организации атак типа «отказ в обслуживании» злоумышленникам придется приложить гораздо больше усилий.

Другой особенностью Varnish является использование памяти. По умолчанию, приложение хранит весь кэш в виртуальной памяти, доступной процессу Varnish. Что из этого находится в оперативной памяти, а что кэшируется на диск – полностью отдается на откуп ОС. В этом заключается одно из корневых отличий архитектуры Varnish от многих других схожих приложений, включая Squid.

По мнению автора Varnish (имеющего за плечами многолетний опыт работы над внутренностями FreeBSD), многие современные приложения нередко используют принципы, которые были актуальны лет тридцать назад. Тогда был дорог каждый байт оперативной памяти, объемы жестких дисков были довольно ограничены, а возможности ОС далеки от совершенства. Как следствие, многие сложные приложения самостоятельно пытались определить, какие данные в текущий момент времени должны размещаться в оперативной памяти, а какие на диске. По мнению автора Varnish [1], ядра современных ОС справляются с этим как минимум не хуже, а попытка дублировать их работу приводит только к излишним вычислительным издержкам и к ненужному усложнению логики работы программ. Судя по результатам, демонстрируемым Varnish, это утверждение очень даже обоснованно.

Отметим, что Varnish хорошо подходит для кэширования динамических страниц. Во-первых, он поддерживает ESI (Edge Side Includes) – механизм, позволяющий разбивать страницу на логические части, а при обработке страницы делать дополнительные запросы для получения содержимого этих частей. Кроме того, в качестве идентификатора страницы в кэше может использоваться не только URL, но и любая другая информация, пришедшая в запросе, – например, значения различных cookie.

Установка

Пакеты Varnish можно найти в репозиториях большинства дистрибутивов, правда, обычно в неофициальных, наподобие EPEL или Ubuntu Universe. Включен Varnish и в систему портов FreeBSD – ww w/varnish (удивляться этому не стоит, поскольку создатель и основной архитектор программы имеет большой стаж работы над системными компонентами FreeBSD). Благодаря сторонним контрибьюторам Varnish доступен на многих *nix-системах – NetBSD, OpenBSD, OS X, Solaris и производных. С Windows ситуация сложнее – установить Varnish можно, но только с использованием библиотек Cygwin. Далеко не факт, что производительность результирующего продукта вас устроит.

Если вы работаете в Ubuntu, Debian, RHEL и производных, то можно взять готовые пакеты непосредственно с сайта проекта [2].

Обычно версии на сайте более свежие; последние версии серверного ПО нередко вызывают опасения у опытных администраторов, но Varnish – не тот случай. В настоящее время разработчики поддерживают линейки 3.0.x и 4.0.x. Обе считаются стабильными, последнее обновление для 3.0 вышло в октябре 2014 года, а в апреле 2015-го планируется прекратить поддержку этой версии – к этому времени исполнится год с момента выпуска 4.0. К слову, 3.0 была выпущена в июне 2011-го и за три года претерпела довольно мало изменений (сводившихся к исправлению немногочисленных ошибок), добравшись до версии 3.0.6.

В наших экспериментах мы использовали версию 4.0.2 с сайта в дистрибутиве ROSA Server 6.6 (основанного на RHEL 6.6). Для установки пакета Varnish понадобилось также подключить репозитории EPEL. Отметим, что Varnish четвертой версии для RHEL и его клонов доступен только в 64-битном варианте.

Статью целиком читайте в журнале «Системный администратор», №12 за 2014 г. на страницах 26-30.

PDF-версию данного номера можно приобрести в нашем магазине.

Комментарии могут оставлять только зарегистрированные пользователи