WrSpy – cчитаем и контролируем трафик почтовых и прокси-серверов

РОМАН МАРКОВ

WrSpy – cчитаем и контролируем трафик почтовых и прокси-серверов

Тема контроля за интернет-трафиком пользователей не теряет своей актуальности. Различные решения этой задачи неоднократно описывались, но всегда приятнее выбирать из множества решений, нежели без вариантов использовать что-то единственное. Сегодня вы познакомитесь с WrSpy – продуктом, который я сам активно применяю уже несколько лет.

Немного истории. Название этого лог-анализатора пошло от популярного продукта для Windows – Kerio WinRoute Pro, несмотря на то что сейчас данный продукт распознает форматы логов почти всех популярных прокси- и почтовых серверов. Причина в том, что сначала WrSpy был написан его автором «исключительно для собственной сети». Начало развития было положено около трех лет назад на одной из интернет-конференций, посвященной администрированию локальных сетей. Аркадий Патрушев – системный администратор и программист из Новосибирска, известный в сети под псевдонимом Walker, на очередной вопрос в стиле: «Как считать трафик?» – предложил всем желающим свою программу, честно предупредив, она что «жутко сырая» и была написана для себя.

Я также использовал встроенный прокси-сервер WinRoute 4 Pro, и поэтому попросил выслать и мне данный анализатор. В процессе попыток внедрить данную систему у себя выявилось много неточностей и недоработок, которые автор программы оперативно устранял по нашим советам. В результате такой совместной работы продукт «отполировали», добавили возможность анализа лог-файлов других популярных серверов, прибавив при этом целый букет новых функций. Программа абсолютно бесплатна, за это огромная благодарность Аркадию Патрушеву.

Итак, начнем с традиционного описания возможностей.

Программа предназначена для анализа логов и формирования разнообразных отчетов как в автоматическом (пакетном), так и в интерактивном режиме. Именно изначальное наличие пакетного режима и, разумеется, бесплатность сделало программу столь привлекательной, вытеснив уже существовавшие на тот момент аналогичные Windows-системы. Однажды настроив систему импорта и анализа логов и прописав в планировщике задач автоматический запуск администратор получал систему класса «настроил и забыл». Помимо этого, автор использовал, казалось бы, простой, но остроумный способ блокировки доступа пользователей, превысивших персональный лимит. Автоматически корректируя необходимые настройки программы в реестре, WrSpy переносил пользователя в другую группу безопасности, не имеющую никаких прав. Позднее при развитии продукта этот же принцип лег в основу блокировки пользователей в Squid-NT. Кстати, несмотря на то, что WrSpy работает под управлением ОС Windows, поддерживается анализ лог-файлов популярных прокси- и почтовых серверов для UNIX-систем. В данный момент WrSpy и утилиты поддерживают анализ лог-файлов следующих систем.

Proxy-серверы: WinRoute 4 Pro, Kerio WinRoute Firewall 5, Kerio WinRoute Firewall 6, Kerio Network Monitor, BSB, UserGate, Squid NT, Squid OS/2, WinGate, ISA, ExtraSystems Proxy Server, WinProxy CZ, WinProxy, ISA2004.

Почтовые серверы: WinRoute, MDaemon, Kerio Mail Server, CommuniGate Pro, Postfix, SendMail, Weasel, WinProxy CZ и POPCon.

Помимо этого, на сайте программы имеется большое количество отдельных утилит.

Отдельные анализаторы для: MDaemon, Kerio Mail Server, Kerio Network Monitor, Serv-U, Apache, IIS.

Системные требования

Работа программы основана на анализе файлов формата plain-text, что накладывает определенные требования к производительности дисковой системы, процессорной мощности и количеству памяти. Однако никаких минимальных требований нет, поскольку работоспособной окажется практически любая система. С другой стороны, для получения определенной скорости обработки лучше все-таки обеспечить разумный минимум. Тут все зависит от размера лог-файлов (соответственно – активности пользователей) и необходимой частоты обновления статистики. Если размер анализируемых файлов не превышает 10-100 Мб в месяц, а статистику достаточно обновлять один-два раза в сутки, когда отсутствует активность пользователей, – с поставленной задачей справится абсолютно любой компьютер, на котором работают поддерживаемые программные продукты.

При большом количестве пользователей, приросте размера лог-файлов до 1-2 Гб в месяц, рекомендуется реже обновлять статистику – 1-2 раза в сутки. При необходимости более частого переиндексирования размещайте лог-файлы и формируемые отчеты на быстрых дисках SATA или SCSI. Рекомендуется также озаботиться созданием ежедневных копий информации, находящейся на таком диске. Личный пример: для обновления статистики для 100 пользователей прокси-сервера Kerio WinRoute 4 Pro и 250 почтовых ящиков Alt-N Mdaemon с интервалом один раз в час я использую компьютер следующей конфигурации: Intel Celeron 1.3 ГГц, 256 Мб RAM, 2 SATA HDD 40 Гб, SATA-RAID-1, OS Windows 2000 Server.

При наличии неоспоримых достоинств этой программы, таких как подробнейшие отчеты (вплоть до того, какой именно файл скачал конкретный пользователь с определенного ресурса), нельзя не заметить, что, пожалуй, единственным недостатком WrSpy является именно большая нагрузка на дисковую систему. Однако глубокий анализ plain-text файлов с накоплением статистики всегда подразумевает это.

Установка

Рассмотрим пример настройки системы. Для написания данной статьи я использовал связку Kerio WinRoute Firewall 6 и Alt-N Mdaemon 8, установленные на OS Windows Server 2003. Принцип настройки взаимодействия c другими поддерживаемыми ПП аналогичен. Если есть какие-либо особенности (например, настройка блокировки пользователей в Squid или Kerio WinRoute Pro 4), то они подробно описаны на официальном сайте WrSpy.

Скачиваем дистрибутив (WrSpySetup.rar) и последнее обновление (WrSpyUpXXX.rar – где XXX номер версии) с официального сайта программы (ссылки приведены в конце статьи). Распаковываем архивы, устанавливаем основной дистрибутив.

Обратите внимание на предупреждение: «Будьте особенно внимательны, если в системе уже установлен Visual FoxPro 6.0 (VFP6.0) или приложения, созданные с его использованием. Возможно нарушение их функционирования». Если при запуске обнаружится сообщение: «Несовпадение версии файла ресурсов», то скорее всего в системе установлен VFP6.0 или программа, из-под него писанная, с несовпадающей версией обновления. Чтобы обойти данную ошибку, необходимо использовать режим полной установки поверх существующей версии VFP.

Выполняем стандартные действия, отвечая на вопросы инсталлятора о варианте установки и местоположении файлов (рекомендуется устанавливать WrSpy на быстрые дисковые системы, как рекомендовалось выше). В конце установки отказываемся от запуска WrSpy (снимаем соответствующий флажок). Вы можете прочитать файл Readme.txt (нажатием кнопки после завершения установки). В нем кратко описываются принципы настройки, которые я рассмотрю более подробно. Сразу после установки основного дистрибутива обновляем его до последней версии, запустив файл обновления. Внимательно проверьте путь для установки, так как инсталлятор не проверяет, куда именно был установлен WrSpy. Это сделано не случайно, так как иногда требуется произвести несколько установок с разными настройками на один компьютер (например, для анализа архивных лог-файлов, не прерывая работу основной системы анализа). После установки обновления соглашаемся с предложением инсталлятора запустить WrSpy (либо запускаем вручную файл WrSpy.exe). Запустится интерактивная первоначальная настройка (рис. 1).

Рисунок 1. Список поддерживаемых продуктов

Выбираем используемые нами прокси- и почтовый серверы, задаем параметры сети (подсеть и маску). Создаем на диске папку для отчетов (именно в нее будут помещаться формируемые программой результаты) и указываем путь к ней. Затем указываем пути к лог-файлам, а также почтовые домены. Если какой-то из лог-файлов (почтовый или прокси) анализироваться не должен – оставляем соответствующее поле пустым. Переходим к следующему экрану настроек (рис. 2).

Рисунок 2. Настройка вида отчета

Обычно наибольшие трудности возникают при настройке именно этих параметров.

Для краткости скажу, что обычно использую настройки, приведенные на рис. 2. Поясню функции каждого переключателя:

Глубина анализа:

• Отчет по пользователям – анализ будет осуществляться по имени пользователя прокси-сервера.
• Отчет по станциям – учет по IP-адресам (DNS-именам) станций независимо от имен пользователей прокси-сервера.
• Отчет по почте – при анализе также будут учитываться лог-файлы почтового сервера.
• Отчет по группам – разделение пользователей по группам (например, по отделам).

Графы сводного отчета:

• Группа – выводится статистика по заданным группам.
• Суммарный входящий – весь входящий трафик (прокси и почтовый).
• Суммарный прокси – суммарный трафик прокси-сервера.
• Суммарный почтовый – входящий и исходящий почтовый трафик.
• Входящий почтовый – только входящий с детализацией по ящикам.
• Исходящий почтовый – только исходящий по почтовым ящикам (можно отключить, в противном случае в отчет попадут адреса получателей, которых может быть очень много).
• Стоимость – рассчитанная стоимость потраченного трафика, исходя из заданной стоимости 1 Мб. Внимание! Не задавайте стоимость трафика равной нулю, так как все внутренние расчеты программа ведет не в мегабайтах, а именно по итоговой стоимости. Если стоимость непринципиальна – лучше просто скрыть эту графу из раздела сводного отчета.
• Дата и время в имени – при включении этой опции WrSpy будет формировать отчеты с разными именами файлов, накапливая историю изменений. Я не использую этот режим в ежечасной статистике – он полезен только для формирования и архивации ежемесячного отчета.
• Учитывать служебный – при установке данного переключателя будет подсчитан не только «полезный» трафик, но и зарегистрированные служебные пакеты.
• Почтовый бесплатно – почтовый трафик не будет учитываться для ограничения трафика.
• Лимит по умолчанию – каждый новый пользователь автоматически получит заданную квоту на период расчета (на месяц, неделю, день или ручной интервал).

Разделы сводного отчета:

• Открывать при создании – при установленном переключателе в интерактивном режиме после создания отчет автоматически будет открыт.
• Сортировка по трафику – в HTML-отчете список пользователей будет выводиться в соответствии с использованным трафиком – первыми будут идти «рекордсмены».
• Выделение цветом – наглядное отображение о приближении к персональному лимиту – от белого к красному. Синий цвет графы пользователя означает, что персональный лимит превышен и пользователь отключен.
• Трафик по дням – при установке данной опции для каждого пользователя будет формироваться и сохраняться в персональной папке дополнительный ежедневный отчет (что, разумеется, увеличит нагрузку на систему).

Формировать с головным – интеграция дополнительных отчетов с основным:

• Сайты по пользователям – для ежечасного автоматического режима формирования отчетов рекомендуется включить только эту опцию – детализация трафика пользователя по посещенным ресурсам.

Остальные возможности используются не так часто, поэтому для снятия нагрузки с системы их можно формировать только при необходимости в интерактивном режиме. Например, очень интересен отчет «Бюджет времени», позволяющий получить общую картину активности пользователя в разрезе временного интервала. Данный режим не предназначен для временной тарификации – он всего лишь показывает приблизительные графики активности и относительно время, проведенное в сети. Для того чтобы понять, чем занят сотрудник (если, конечно, серфинг по сайтам – не его прямые обязанности), – этого вполне достаточно.

В следующем окне настроек задаем параметры режимов анализа, а также рабочий интервал (рис. 3).

Рисунок 3. Настройка режимов анализа

Минимально необходимо настроить два режима – интерактивный и автоматический. Автоматических режимов существует несколько. Каждый из них можно настроить в соответствии со своими задачами – например, добавить дополнительный режим для формирования и сохранения ежемесячного отчета, так как после начала нового рабочего периода отчеты обнуляются.

Режим «0» – интерактивный: формирование отчета происходит в окне программы, в ручном режиме. Переключатель «Блокировка пользователей» предназначен для приостановки доступа пользователям, превысившим свой персональный лимит в Kerio WinRoute 4 Pro или SquidNT, поскольку в этих популярных продуктах нет встроенной системы ограничения. В нашем случае этот влажок можно снять, так как Kerio WinRoute Firewall уже имеет встроенную функцию ограничения. Если вы используете Kerio WinRoute 4 Pro или SquidNT – включите этот режим и для интерактивного, и для автоматического режима. Более подробно про настройку блокировки пользователей при использовании этих продуктов можно прочитать на сайте программы.

Итак, в режиме «0» включаем опцию «Отчет в html», отключаем рассылку отчетов, при использовании Squid, ISA, ESPS или WinProxy указываем, какой трафик подсчитывать (логичнее всего, конечно, считать «мимо кэша», так как именно он берется снаружи. Задаем интервал сбора статистики до обнуления (например, текущий месяц).

Затем настроим один из автоматических режимов. Переключаем опцию режим до «Автоматический-2» и также настраиваем его.

Опция «Ротация логов» в настройках режимов позволяет настроить специальный режим для очистки накопившихся лог-файлов в тех ПП, которые не предусматривают автоматическое удаление. Однако даже если указанная возможность автоматической очистки лог-файлов присутствует в используемом вами прокси или почтовом сервере – использовать указанный способ предпочтительнее во избежание потерь в логах. При запуске программы в данном режиме база отчетов очищается от введенной информации, сбрасываются внутренние счетчики, после чего запускается файл savelog.bat из папки WrSpy. Универсальность метода заключается в том, что в этот файл вы можете поместить любые команды, которые необходимо выполнить после очистки базы данных WrSpy. Чаще всего это копирование и архивация старых лог-файлов, секундная остановка прокси и почтовых служб, удаление лог-файлов, запуск служб.

Настройка «Рассылка отчетов» используется для оповещения пользователей по e-mail о их персональном трафике. Для введения этого режима необходимо задать соответствие почтовых адресов для пользователей и зарегистрировать в системе дополнительную компоненту SMTP, которая доступна для скачивания на официальном сайте программы.

На следующем экране «Учет реального трафика» необходимо указать, какой интерфейс является внешним. Данный режим доступен для продуктов Kerio и может не появиться при использовании других ПП.

Последним шагом первоначальной настройки необходимо задать ширину полей формируемого отчета. Меню «Настройка» – «Ширина полей» (из меню «Настройка» также можно изменить заданные при первоначальном запуске параметры). Помните, что чем больше задана ширина полей, тем дольше будет формироваться отчет, поэтому необходимо найти разумную середину. В принципе значения по умолчанию оптимальны. Можно только увеличить поле «адреса и доменные имена» до 30-40 символов.

Если вы используете Kerio WinRoute Pro 4, то для настройки блокировки пользователей, превысивших персональный лимит, создайте в конфигурации группу, которая не будет иметь никакого доступа к веб-ресурсам. После этого зайдите в меню «Настройка» – «Блокировка доступа» и выделите эту группу. При превышении персонального лимита пользователь будет перенесен в нее и доступ прекратится. Настройка блокировки пользователей в SquidNT описана на сайте программы.

Теперь произведем первичный ввод информации. Меню «Данные» – «Очистка и закачка с нуля». Если лог-файлы велики, то потребуется довольно продолжительное время для первоначального ввода (дальнейший ввод будет быстрее, так как чтение информации будет осуществляться только с последней обработанной позиции).

После окончания ввода информации будет выдано сообщение о добавление новых пользователей и предложено исправить их. После утвердительного ответа мы получим таблицу с четырьмя закладками:

• Адреса и имена. Здесь хранится информация о пользователях и их лимитах. Поле «Пользователь» заполняется автоматически, по логину пользователя. Для удобства восприятия значение этого поля можно менять на любое, например на ФИО пользователя. Поле «Адрес» заполняется автоматически либо IP-адресом компьютера, с которого пользователь подключается к прокси-серверу, либо случайной последовательностью символов, если пользователь мигрирует между компьютерами (или наоборот – с одного IP подключались разные пользователи). Поле «Логин» оставляем, как есть, а лимит – также можно свободно изменять – каждому персональный. При импорте новых пользователей это значение берется из настройки «Лимит по умолчанию». Значение «0» – отсутствие ограничений. Если указать в поле «Группа» наименование подразделения – можно будет выводить отчет и суммарный трафик групп.
• Переходим на закладку «Почтовые сервера» и удаляем уже прописанные туда значения – там для примера указаны внешние почтовые сервера, которые должны восприниматься как корпоративные.
• На закладке «Внешние ящики» (если мы импортировали лог-файлы почтового сервера) будут внесены найденные при обработке почтовые адреса. В поле «Пользователь» при этом будет автоматически подставлено значение вида <@unknownNN>. Внимание! Если вы хотите суммировать почтовый трафик пользователя с его трафиком на прокси-сервере – необходимо, сначала заполнив в закладке «Адреса и Имена» поле «Пользователь», в точности повторить значение этого поля для конкретных пользователей в строке его почтового ящика. Только в суммарном отчете можно будет увидеть, что почтовый трафик прибавился нужному пользователю. Если этого не сделать – трафик по почтовым ящикам будет выделен в HTML-отчете в отдельные строки. Все изменения отражаются только после обновления информации в БД и формирования нового отчета. Учтите, что отчет не обновится, если ни в одном из лог-файлов не было изменений – программа поймет, что новой информации нет и анализировать ей, собственно, нечего.

После всех корректировок и переформирования отчета можно получить красивый и удобочитаемый отчет о трафике пользователей (если при первоначальных настройках была установлена опция «Открывать при создании», то HTML-страница с отчетом будет открываться после каждого формирования в интерактивном режиме).

Результат выглядит примерно так (см. рис. 4).

Рисунок 4. Общий отчет

Кликнув по логину пользователя, можно просмотреть подробную статистику – с какого ресурса и сколько было скачано (см. рис. 5).

Рисунок 5. Подробный отчет по пользователю

Настройка автоматического формирования отчетов

Осталось решить главную задачу – обеспечение функционирования системы в автоматическом режиме, без участия администратора. Здесь все крайне просто и удобно.

Формируем командный файл StartLog.bat для добавления новых данных и их анализа в пакетном режиме. Ранее мы настроили для этого один из автоматических режимов. Номер этого режима используется в качестве параметра запуска исполняемого файла WrSpy.exe.

@echo off

; переходим в рабочую папку программы

cd  /D c:wrspy

; запускаем программу с параметром "2" - указание номера

; режима

wrspy.exe 2

Все! Настраиваем в любом планировщике задач запуск написанного нами bat-файла, повторяем задание с необходимой периодичностью и проверяем работу системы в целом. Результатом будет автоматическая биллинговая система, не претендующая на абсолютную точность (ведь подсчитывается только трафик, прошедший через прокси- и почтовый сервера, а не весь прошедший через интерфейс), но полностью достаточная для малых и средних компаний.

Отчеты создаются в папке, указанной вами при первоначальной настройке (каталог отчетов). В зависимости от настроек они включают в себя различные файлы. При указанных выше па-раметрах формирования отчетов на диске будет создана структура папок, соответствующая logon-именам пользователей и файлом общего отчета (Report.htm) в корне папки. Report.htm – это общий отчет, а html-файлы в персональных папках пользователей – детализация их активности. Для просмотра отчетов по сети просто организуйте общий доступ в эту папку. Однако из соображений конфиденциальности рекомендуется предоставлять пользователям доступ только к детализации их собственных отчетов. Если для авторизации на прокси-сервере используется сквозная проверка (т.е. например, на контроллере домена), то названия папок будут соответствовать их logon-именам. Делегировав права на чтение каждой папки только для соответствующей учетной записи, вы создадите необходимый уровень конфиденциальности. Для удобства можно подключать поль-зователям папки с их персональными отчетами как сетевой диск, используя переменные типа %USERNAME% в сценарии входа в систему. При использовании такой методики каждый пользо-ватель сможет самостоятельно контролировать свою активность, не имея при этом возможности получить информацию о детализации трафика своих коллег, что соответствует принципам морали и неразглашения личной информации. При этом контролирующему руководству делегируются права на чтение всех отчетов, включая корневой отчет Report.htm. Просмотрев общую картину, такой руководитель сможет самостоятельно просмотреть детальную информацию об активности пользователя, не дергая каждый раз системного администратора.

Детализация по пользователям крайне удобна для демократичного регулирования ситуаций с превышением персонального лимита. Если пользователь жалуется на то, что необходимо увеличить ему квоту, так как это необходимо для работы, достаточно просто совместно с ним просмот-реть его подробную статистику.

Создание истории отчетов

Для того чтобы иметь возможность просматривать статистику за предыдущие месяцы, не изменяя рабочий интервал и не формируя отчеты заново, рекомендуется настроить автоматиче-ское копирование статистики в конце выбранного интервала. То есть написать скрипт создания архивных копий и выполнять в последние часы перед сменой рабочего интервала (например, в последний день месяца или недели – в зависимости от ваших настроек).

Например, используя консольную версию общеизвестного архиватора WinRar – rar.exe можно создавать архивы, содержащие рабочую дату в имени файла. Приведенный пример создаст файл Report_<текущая_дата>.rar и поместит в него содержимое папки E:WrSpyReport и всех ее подпапок, с максимальным сжатием, сохранением информации о правах и владельцах файлов.

rar.exe a -m5 -os -ow -dh -ep1 -r -ag_dd-mm-yyyy D:BackUpReport.rar E:WrSpyReport*.*

Отчеты интерактивного режима

В интерактивном режиме WrSpy позволяет формировать еще более гибкие и удобные отчеты. Например, вы можете посмотреть – а какой именно файл скачал с определенного ресурса конкретный пользователь. Запускаем программу без параметров, выбираем меню «По пользователям – Файлы и сайты по пользователям». После вывода на экран таблицы можно перемещаться по ней, выделяя курсором интересующий нас ресурс и в нижней части просматривая список закачек (рис. 6):

Рисунок 6. Отчет «Файлы и сайты по пользователям»

По таблице видно, что пользователь romadm закачивал с сайта speedownload.nai.com некие ZIP-архивы.

Отчет «Бюджет времени пользователя» покажет вам соотношение времени, которое сотрудники проводят на веб-сайтах. Обратите внимание – это не точное время, проведенное пользователем в сети, а относительная оценка времени, проведенного пользователем или станцией в Интернете, которая осуществляется косвенным методом. Однако общую картину данный отчет хорошо показывает, и согласно ему можно понять, кто «беспрерывно» занимается серфингом по веб-сайтам. Принцип расчета довольно прост:

Весь интервал времени анализа разбивается на кванты от 1 до 30 минут. Величина кванта задается (см. рис. 2 – «Интервал для учета бюджета времени») исходя из стиля работы ваших пользователей. Для быстрого серфинга – меньшие значения, для длительного скачивания – большие. Если пользователь проявлял какую-то активность в течение данного кванта, в его бюджет заносится его (кванта) величина. Суммирование всех этих значений и дает величину оценки времени. Кроме того, формируется усредненное распределение суммарного трафика по времени суток.

Почтовые сервера

Отчеты, формируемые по лог-файлам почтовых серверов, также удобны для восприятия и отличаются наличием более глубокой статистики в интерактивном режиме. Возможна детализация по каждому пользователю (сколько писем, на какой/с какого адреса, созданный трафик и пр.), наглядные графики по самым активным пользователям и пр.

Анализ лог-файлов UNIX-систем

Как было упомянуто, WrSpy понимает форматы популярных UNIX-MTA и прокси. Для осуществления анализа данных файлов можно использовать два способа: анализ рабочих лог-файлов или их копий. Первый способ более прост, так как не придется копировать файлы большого размера (либо также писать обработку для копирования только новых данных).

В первом случае необходимо создать и предоставить сетевой доступ к папке с этими файлами для учетной записи, от имени которой WrSpy запускается в пакетном режиме.

Во втором случае данные файлы необходимо копировать, что не всегда приемлемо по описанной выше причине. Остальная работа с этими логами аналогична уже описанной.

Я описал лишь некоторые, наиболее популярные возможности программы WrSpy. Если ее функции показались вам интересными – рекомендую установить ее для тестирования и самостоятельно оценить удобство (или неудобство – решать вам). Тем более, что никаких следов в ОС она не оставляет и удаляется без последствий. Вкупе с этим – наличие сайта поддержки и при этом абсолютная бесплатность продукта делают его крайне привлекательным для построения разнообразных отчетов.

Ссылки:

1. Официальный сайт программы: http://www.wrspy.ru. Дистрибутивы и обновления доступны для загрузки на главной странице сайта.