 |
|
|
|
Создаём собственный хостинг, или Сам себе ISP
Создаём собственный хостинг, или Сам себе ISP Только ленивый не писал на тему виртуального веб-хостинга. Это хорошо. Плохо то, что большая часть информации очень слабо структурирована и не имеет отношения к высокопроизводительному, безопасному и массовому виртуальному веб-хостингу. Как создать полностью рабочую систему «с нуля»? Задачи
Общая схема построения хостинга В качестве веб-сервера будем использовать Apache 1.3 с модулем mod_php и возможностью запуска cgi-скриптов, как наиболее популярный среди вебмастеров. В качестве СУБД – MySQL 5.1. Для «продвинутых» клиентов предоставим в пользование компилятор gcc. Не следует бояться давать пользователю доступ к компилятору – на правильно настроенной системе даже при наличии компилятора ничего сломать не получится. Мы строим именно правильно настроенную систему, поэтому в распоряжении пользователя будет весь комплекс программного обеспечения. Чтобы снизить нагрузку на Apache, установим акселерирующий прокси-сервер. Из собственной многолетней практики наиболее подходящим акселератором на данный момент является nginx – стабильный и качественный многофункциональный веб-сервер/акселератор, разрабатываемый Игорем Сысоевым. Таким образом, сначала запрос от пользователя поступает на акселератор nginx, который ожидает приема всех данных и проксирует данные на Apache только после полного его получения. Этим мы снижаем нагрузку на Apache, который каждый запрос обрабатывает в отдельном тяжеловесном процессе. Для по-настоящему безопасной работы необходимо, чтобы программы на площадке каждого клиента выполнялись от своего пользователя. Для cgi-скриптов эта задача решается путем настройки suexec. Модуль PHP, который по определению является частью Apache, выполняется с правами пользователя, от которого запущен веб-сервер. Есть альтернативный вариант с использованием suphp, однако это очень сильно нагружает систему, и потому такая схема для массового веб-хостинга неприменима. Мы выберем компромиссный вариант: PHP будет работать как модуль Apache, а безопасность обеспечим настройками файловой системы и модуля PHP. Осталось решить последнюю проблему, а именно – создание файлов при работе mod_php с правами пользователя-владельца площадки, а не с правами веб-сервера. Обратимся к руководству по команде mount(8), из которого следует, что для наследования владельца при создании объектов внути каталога необходимо замонтировать раздел с опцией suiddir. Доступ по FTP следует предоставлять только через виртуальных пользователей. Это требование обусловлено тем, что пароли по протоколу FTP передаются в нешифрованном виде и их очень легко перехватить. Чтобы исключить возможность вторжения в систему по SSH, перехватив пароль для FTP, необходимы виртуальные пользователи – не существующие в системе, следовательно, бесполезные для потенциального взломщика. Полученная нами схема отображена на рис. 1.
Рисунок 1. Общая схема построения хостинга Помните, все сервисы, собранные в одном месте, – не более чем тестовая машина. В реальной конфигурации, способной обслуживать тысячи запросов в секунду, сервер MySQL должен быть на отдельной машине. Это же касается и акселератора nginx. Попытка собрать все воедино на одном физическом сервере резко снизит скорость работы всего комплекса ПО из-за слишком высокой нагрузки на дисковую систему. Первоначальная подготовка сервера
К сожалению, стандартные GENERIC и SMP-ядра не позволяют монтировать файловые системы с SUIDDIR, а потому требуется пересборка. Также неплохо было бы поменять в сторону увеличения параметры, заведующие выделением разделяемой памяти и оперативной памяти на процесс. Создаем файл /usr/src/sys/i386/conf/SMP-stellar со следующим содержимым: include GENERIC ident SMP-GENERIC-STELLAR options SMP options SUIDDIR options SYSVSHM options SYSVSEM options SYSVMSG options SHMMAXPGS=65536 options SEMMNI=40 options SEMMNS=240 options SEMUME=40 options SEMMNU=120 options MAXDSIZ=(1024UL*1024*1024) options MAXSSIZ=(128UL*1024*1024) options DFLDSIZ=(1024UL*1024*1024) Пересобираем ядро и перегружаемся: cd /usr/src make buildkernel KERNCONF=SMP-stellar make installkernel KERNCONF=SMP-stellar shutdown -r now После перезагрузки FreeBSD может монтировать файловые системы с опцией suiddir. Изменяем файл /etc/fstab так, чтобы раздел /home монтировался с suiddir. Дополнительно отключаем запись времени последнего доступа к файлам; это дает некоторый выигрыш в производительности: /dev/ar0s1g /home ufs rw,suiddir,noatime 2 2 Проверяем результат:
Сборка и настройка комплекса ПО Устанавливаем MySQL. Собственно, здесь нет ничего экстраординарного: cd /usr/ports/databases/mysql51-server export WITH_CHARSET=cp1251 export WITH_XCHARSET=all export BUILD_OPTIMIZED=yes make install clean После установки сервера указываем в /etc/rc.conf: # # MySQL for virtual hosts # mysql_enable="YES" Записываем файл конфигурации MySQL /var/db/mysql/my.cnf: [client] port = 3306 socket = /tmp/mysql.sock default-character-set=cp1251 [mysqld] bind-address = 127.0.0.1 port = 3306 socket = /tmp/mysql.sock skip-character-set-client-handshake default-character-set=cp1251 skip-locking key_buffer = 32M max_allowed_packet = 16M table_cache = 256 sort_buffer_size = 1M read_buffer_size = 1M read_rnd_buffer_size = 4M myisam_sort_buffer_size = 64M thread_cache_size = 8 query_cache_size = 16M thread_concurrency = 8 max_connections = 128 max_user_connections = 126 log-slow-queries log binlog_ignore_db = mysql expire_logs_days = 5 max_binlog_size = 400M # Если нет необходимости в работе по сети, включаем опцию skip-networking #skip-networking log-bin = mysql-bin server-id = 1 [mysqldump] quick max_allowed_packet = 16M [mysql] no-auto-rehash [isamchk] key_buffer = 128M sort_buffer_size = 128M read_buffer = 2M write_buffer = 2M [myisamchk] key_buffer = 128M sort_buffer_size = 128M read_buffer = 2M write_buffer = 2M [mysqlhotcopy] interactive-timeout Запускаем сервер: /usr/local/etc/rc.d/mysql-server start и проверяем, все ли работает нормально:
Задаем пароль для MySQL root:
На этом установка MySQL окончена. В качестве фронтэнда у нас будет работать веб-сервер nginx, задача которого – проксировать HTTP-запросы на сервер Apache. Это дает резкое снижение нагрузки из-за того, что nginx – мультиплексирующий сервер, способный обслуживать десятки тысяч одновременных подключений без порождения сотен дополнительных процессов или тредов. Смотрите схему на рис. 2.
Рисунок 2. Схема прохождения запроса При такой схеме все запросы, приходящие на Apache, будут иметь один и тот же адрес – адрес, на котором запущен nginx. Для того чтобы Apache воспринимал запросы с IP-адресов посетителей, а не прокси nginx, необходимо дополнительно установить модуль mod_realip. Итак, устанавливаем nginx: cd /usr/ports/www/nginx make install clean Устанавливаем Apache: cd /usr/ports/www/apache13 export WITH_APACHE_SUEXEC=yes export APACHE_SUEXEC_LOG=/var/log/apache/suexec_log export APACHE_SUEXEC_USERDIR=www make install clean Устанавливаем mod_realip: cd /usr/ports/www/mod_realip make install clean На этом установка веб-сервера окончена. Следующий шаг – сборка php и mod_php. Из портов можно установить PHP4 или PHP5 – принципиальной разницы в технологии установки и конфигурирования нет, а потому будет описана только сборка mod_php5. Для нормальной работы с временными файлами (сессии, загрузка файлов и т. п.) требуется дополнительный патч, изменяющий права доступа с 0600 до 0660, чтобы веб-сервер имел право записи в них (патч доступен по адресу: для PHP4 – http://www.reki.ru/hosting/patch-main::open_temporary_file.c.4 и PHP5 –http://www.reki.ru/hosting/patch-main::open_temporary_file.c.5): cd /usr/ports/lang/php5 fetch http://www.reki.ru/hosting/patch-main::open_temporary_file.c.5 mv patch-main::open_temporary_file.c.5 files/ make install clean В появившемся меню указываем требуемые опции:
Проверить работоспособность установленного PHP можно командой: echo "<? phpinfo(); ?>" | php В выводе команды полностью отсутствуют упоминания о mysql, gd, iconv и прочих функциях. Что неудивительно, ибо в системе FreeBSD все дополнительные модули ставятся отдельно. Чтобы установить необходимые модули, можно воспользоваться двумя тактиками: поставить все за один раз, подав команды: cd /usr/ports/lang/php5-extensions make install clean и выбрав необходимый набор модулей из меню. Или собрать каждый модуль по отдельности: cd /usr/ports/www/php5-session make install clean cd /usr/ports/graphics/php5-gd make install clean ... В случае необходимости можно дополнительно установить Zend Optimizer (http://www.zend.com/products/zend_optimizer). Он также есть в портах FreeBSD (/usr/ports/devel/ZendOptimizer). Установка Zend не представляет никакой сложности; а сам продукт практически не нуждается в настройке. По окончании установки прописываем в файл /etc/rc.conf параметры для запуска nginx и Apache: # # Nginx Accelerator # nginx_enable="YES" # # Apache Backend # apache_enable="YES" Конфигурируем nginx (файл /usr/local/etc/nginx/nginx.conf): user www; worker_processes 2; pid /var/run/nginx.pid events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] $request ' '"$status" $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log off; sendfile on; keepalive_timeout 65; gzip on; server { listen XXX.YYY.ZZZ.DDD:80; server_name localhost; location / { # Максимальный размер отдаваемого файла client_max_body_size 20M; # Адрес, на который будем проксировать proxy_pass http://127.0.0.1:80; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_send_lowat 12000; proxy_buffer_size 4k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; proxy_temp_path /var/tmp/nginx; } } } Конфигурируем Apache (файл /usr/local/etc/apache/httpd.conf): LoadModule realip_module libexec/apache/mod_realip.so ServerName 127.0.0.1 Listen 127.0.0.1:80 RealIP localhost on <Directory /home/www/*/*/www> AllowOverride All Options +Indexes +ExecCGI FollowSymLinks DirectoryIndex index.php index.html index.htm </Directory> <Directory /home/www/*/*/cgi> AllowOverride All Options -Indexes +ExecCGI FollowSymLinks DirectoryIndex index.cgi index.html index.htm index.cgi </Directory> NameVirtualHost 127.0.0.1:80 Запускаем nginx и Apache: /usr/local/etc/rc.d/nginx start /usr/local/etc/rc.d/apache.sh start Проверяем, все ли работает так, как надо:
Для FTP-доступа установим сервер pure-ftpd. Pure-ftpd – один из самых надежных и одновременно удобных FTP-серверов, зарекомендовавший себя великолепной работой на протяжении многих лет: cd /usr/ports/ftp/pure-ftpd make install clean Указываем, что собирать сервер следует с поддержкой СУБД PostgreSQL, в которой будут храниться виртуальные пользователи. Выбор базы данных зависит от используемой системы управления хостингом. В нашем случае она построена на основе собственной разработки, базирующейся на СУБД PostgreSQL:
При выборе установки с PostgreSQL автоматически поставятся порты databases/postgresql82-client и databases/postgresql82-server. После установки добавляем в файл /etc/rc.conf строчки: # # BILLING DATABASE # postgresql_enable="YES" Меняем домашний каталог для пользователя pgsql на /var/db/pgsql: mkdir /var/db/pgsql chown pgsql:pgsql /var/db/pgsql chmod 0700 /var/db/pgsql pw usermod pgsql -d /var/db/pgsql и инициализируем базу данных:
Конфигурируем файл /var/db/pgsql/data/postgresql.conf: max_connections = 150 shared_buffers = 40MB max_fsm_pages = 76800 log_destination = 'syslog' silent_mode = on autovacuum = on datestyle = 'iso, dmy' lc_messages = 'ru_RU.UTF-8' lc_monetary = 'ru_RU.UTF-8' lc_numeric = 'ru_RU.UTF-8' lc_time = 'ru_RU.UTF-8' Файл прав доступа к базе данных /var/db/pgsql/data/pg_hba.conf # TYPE DATABASE USER CIDR-ADDRESS METHOD # "local" is for Unix domain socket connections only local all all md5 # IPv4 local connections: host all all 127.0.0.1/32 md5 # IPv6 local connections: host all all ::1/128 md5 и запускаем сервер PostgreSQL: /usr/local/etc/rc.d/postgresql start Проверяем работу:
Конфигурируем Pure-FTPD (/usr/local/etc/pure-ftpd.conf): ChrootEveryone yes BrokenClientsCompatibility no MaxClientsNumber 50 Daemonize yes MaxClientsPerIP 8 VerboseLog no DisplayDotFiles yes AnonymousOnly no NoAnonymous yes SyslogFacility ftp DontResolve yes MaxIdleTime 15 PGSQLConfigFile /usr/local/etc/pureftpd-pgsql.conf LimitRecursion 2000 8 AnonymousCanCreateDirs no MaxLoad 4 AntiWarez yes Umask 110:007 MinUID 100 AllowUserFXP no AllowAnonymousFXP no ProhibitDotFilesWrite no ProhibitDotFilesRead no AutoRename no AnonymousCantUpload no MaxDiskUsage 99 CustomerProof yes Указываем, откуда брать информацию о виртуальных пользователях (/usr/local/etc/pureftpd-pgsql.conf): PGSQLServer 127.0.0.1 PGSQLPort 5432 PGSQLUser pureftpd PGSQLPassword topsecret PGSQLDatabase billing PGSQLCrypt cleartext PGSQLGetPW SELECT passwd FROM ftp.ftpusers WHERE ftpuser='\L' AND enabled = 1 PGSQLGetUID SELECT user_id FROM ftp.ftpusers WHERE ftpuser='\L' AND enabled = 1 PGSQLGetGID SELECT group_id FROM ftp.ftpusers WHERE ftpuser='\L' AND enabled = 1 PGSQLGetDir SELECT homedir FROM ftp.ftpusers WHERE ftpuser='\L' AND enabled = 1 Создаем таблицу пользователей в СУБД PostgreSQL: psql -U pgsql CREATE USER billing WITH PASSWORD='supersecret' NOCREATEDB NOCREATEUSER; CREATE DATABASE billing WITH ENCODING='UTF8' OWNER=billing; CREATE SCHEMA ftp; CREATE TABLE ftp.ftpusers ( ftpuser VARCHAR(255) NOT NULL CHECK (LENGTH(ftpuser) > 0), passwd VARCHAR(255) NOT NULL CHECK (LENGTH(passwd) > 0), user_id INT NOT NULL DEFAULT '-1', group_id INT NOT NULL DEFAULT '-1', homedir VARCHAR(255) NOT NULL CHECK (LENGTH(homedir) > 0), expires bigint not null default '-1', enabled bigint not null default '0', descr text, CONSTRAINT ftpusers_pk PRIMARY KEY (ftpuser) ) WITHOUT OIDS; CREATE USER pureftpd WITH PASSWORD 'topsecret' NOCREATEDB NOCREATEUSER; GRANT SELECT ON ftp.ftpusers TO pureftpd; Продолжение следует Во второй части мы проведем предварительный аудит безопасности системы, рассмотрим создание пользователей хостинга, вопросы нагрузочного тестирования полученного комплекса ПО, аудит системы во время работы и тонкости, связанные с работой некоторых модулей PHP. |
Андрей Шетухин
Комментарии отсутствуют
| Добавить комментарий |
|
Комментарии могут оставлять только зарегистрированные пользователи |
|
