Master-Master репликация MariaDB 10.1 в Ubuntu 16.04
Сергей Яремчук


$ sudo apt-get install software-properties-common
$ sudo apt-key adv --recv-keys --keyserver hkp://keyserver.ubuntu.com:80 0xF1656F24C74CD1D8
$ sudo add-apt-repository 'deb [arch=amd64,i386,ppc64el] http://lon1.mirrors.digitalocean.com/mariadb/repo/10.1/ubuntu xenial main'



$ sudo apt install mariadb-server rsync



$ sudo systemctl stop mariadb



$ sudo nano /etc/mysql/conf.d/cluster.cnf

[mysqld]
binlog_format=ROW
default-storage-engine=innodb
innodb_autoinc_lock_mode=2
bind-address=0.0.0.0
query_cache_size=0
query_cache_type=0
wsrep_on=ON

wsrep_provider=/usr/lib/galera/libgalera_smm.so
#wsrep_provider_options="gcache.size=32G"

# имя кластера, IP или DNS имена узлов
wsrep_cluster_name="mysql_cluster"
wsrep_cluster_address="gcomm://srv01,srv02,srv03"
wsrep_sst_method=rsync

# IP и имя текущего узла
wsrep_node_address=192.0.0.1
wsrep_node_name=srv01



$ sudo sudo systemctl start mariadb --wsrep-new-cluster



$ sudo /usr/bin/galera_new_cluster



$ sudo systemctl start mariadb



mysql -u root -p -e "SHOW STATUS LIKE 'wsrep_cluster_size'"



SHOW STATUS LIKE 'wsrep_%';

-----------------------------------------------------------------------------------------

Автономный репозиторий для FreeBSD
Игорь Орещенков


FreeBSD_install_cdrom: {
  url: "file:///dist/packages/${ABI}",
  mirror_type: "none",
  enabled: yes
}
FreeBSD: {
  enabled: no
}



$ pkg -vv | grep ABI



ABI = "FreeBSD:11:i386"
ALTABI = "freebsd:11:x86:32"



# mkdir -p packages/FreeBSD:11:i386



# pkg fetch -d -o packages/FreeBSD:11:i386 pkg
# pkg fetch -d -o packages/FreeBSD:11:i386 ИмяПакета
# pkg fetch -d -o packages/FreeBSD:11:i386 -x ^ПрефиксИмениПакета



FreeBSD_repo_cd1: {
  url: "file:///dist/packages/${ABI}",
  mirror_type: "none",
  enabled: yes
}
FreeBSD: {
  enabled: no
}



# cd packages
# ln -s FreeBSD:11:i386 freebsd:11:x86:32
# mkdir FreeBSD:11:i386/Latest
# cd FreeBSD:11:i386/Latest
# mkdir -s `ls -1 ../All/pkg-*.txz` pkg.txz



# pkg bootstrap



# cd ../../..
# pkg repo packages/repos/FreeBSD:11:i386



# mkdir repo
# mv packages repo
# ln -s ~/repo /dist



# ls /dist/packages/repos/*.conf



# setenv REPOS_DIR /dist/packages/repos



# pkg update



#pkg search pkg



# mkisofs -V FreeBSD_repo_cd1 -r -o repo_cd1.iso repo



# mdconfig -a -t vnode repo_cd1.iso
# mount -rt cd9660 /dev/md0 /dist



# setenv REPOS_DIR /dist/packages/repos



# pkg update
# pkg install ИмяПакета ...



# umount /dev/md0
# mdconfig -d -u md0



# mkdir -p packages/FreeBSD



# pkg fetch -d -o packages/FreeBSD pkg
# pkg fetch -d -o packages/FreeBSD ИмяПакета ИмяПакета ...



# mkdir packages/repos
# ee packages/repos/FreeBSD_repo_cd1.conf



FreeBSD_repo_cd1: {
  url: "file:///dist/packages/FreeBSD",
  mirror_type: "none",
  enabled: yes
}
FreeBSD: {
  enabled: no
}



# mkdir packages/FreeBSD/Latest
# cd packages/FreeBSD/Latest
# ln -s `ls -1 ../All/pkg-*.txz` pkg.txz



# cd ../../..
# pkg repo packages/FreeBSD



# mkisofs -V FreeBSD_repo_cd1 -r -o repo_cd1.iso -root packages packages



# freebsd-update fetch
# tar cvf freebsd-update.tar /var/db/freebsd-update



# tar xvf freebsd-update.tar -C /
# freebsd-install

-----------------------------------------------------------------------------------------

Учет удаленных подключений
Сергей Болдин


Username din.sv password 111 mschap



Username din.sv attributes



vpn-framed-ip-address 192.168.9.99 255.255.255.0



access-list VPN_FOR_WEB extended permit tcp any host 192.168.2.40 eq www
access-list VPN_FOR_WEB extended permit udp any host 192.168.6.5 eq domain



vpn-filter value VPN_FOR_WEB



username din.sv attributes
vpn-simultaneous-logins 0

-----------------------------------------------------------------------------------------

Настройка AWStats для nginx в Ubuntu 16.04
Сергей Яремчук


$ sudo apt update
$ sudo apt install awstats



$ sudo cp /etc/awstats/awstats.conf /etc/awstats/awstats.example.com.conf



$ sudo nano /etc/awstats/awstats.example.com.conf

SiteDomain="example.com"
HostAliases="www.example.com"
LogFile="/var/log/nginx/example.com.access.log"
DirData="/var/www/example.com/awstats"



$ sudo mkdir -p /var/www/example.com/awstats



$ sudo /usr/lib/cgi-bin/awstats.pl -update -config=example.com



$ sudo apt install -y libfcgi-perl



$ sudo wget http://nginxlibrary.com/downloads/perl-fcgi/fastcgi-wrapper -O /usr/bin/fastcgi-wrapper.pl
$ sudo wget http://nginxlibrary.com/downloads/perl-fcgi/perl-fcgi -O /etc/init.d/perl-fcgi



$ chmod +x /usr/bin/fastcgi-wrapper.pl
$ chmod +x /etc/init.d/perl-fcgi



su - $FASTCGI_USER -c $PERL_SCRIPT



sudo -u $FASTCGI_USER $PERL_SCRIPT



$ sudo sed -i -e 's/su\ -/sudo\ -u/g' -e '/sudo/s/-c\ //g' /etc/init.d/perl-fcgi



$ sudo systemctl enable perl-fcgi.service
$ sudo systemctl start perl-fcgi.service



$socket = FCGI::OpenSocket( "127.0.0.1:8999", 10 );



$ netstat -anp | grep -i 8999



location ~ \.pl$ {
	try_files $uri =404;
	gzip off;
	fastcgi_pass  127.0.0.1:8999;
	fastcgi_index index.pl;
	fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
	include fastcgi_params;
	}



location /awstats/ {
	root   /usr/lib/cgi-bin;
	index  index.html index.pl;
	}

location /awstatsclasses/ {
	alias /usr/share/awstats/lib/;
	}

location /awstats-icon/ {
	alias /usr/share/awstats/icon/;
	}
location /awstatscss {
	alias /usr/share/doc/awstats/examples/css/;
	}



$ sudo nginx -t && sudo nginx -s reload

-----------------------------------------------------------------------------------------

Ставим мониторинг Prometheus + Grafana
Сергей Яремчук


<metric name>{<label name>=<label value>, ...}



per_cpu_pct_user{device="cpu9",host="Stage"} 2.56



$ curl http://localhost:9126/metrics



$ wget -c https://github.com/prometheus/prometheus/releases/download/v1.5.2/prometheus-1.5.2.linux-amd64.tar.gz



$ sudo nano /etc/systemd/system/prometheus.service

[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network-online.target

[Service]
User=prometheus
Restart=on-failure
ExecStart=/usr/bin/prometheus
            \ -config.file=/etc/prometheus/prometheus.yml
            \ -storage.local.path=/var/lib/prometheus/metrics

[Install]
WantedBy=multi-user.target



$ sudo systemctl daemon-reload
$ sudo systemctl enable prometheus



scrape_configs:
- job_name: 'node'
  scrape_interval: 5s
  scrape_timeout: 10s

static_configs:
- targets: ['localhost:9090']
      labels:  {'host': 'prometheus'}


  
$ promtool check-config /etc/prometheus/prometheus.yml



$ prometheus -config.file /etc/prometheus/prometheus.yml



$ sudo systemctl start prometheus
$ sudo systemctl status prometheus



$ wget https://dl.influxdata.com/telegraf/releases/telegraf_1.2.1_amd64.deb
$ sudo dpkg -i telegraf_1.2.1_amd64.deb



deb https://repos.influxdata.com/ubuntu xenial stable



$ sudo apt update
$ sudo apt install telegraf



$ telegraf -sample-config > telegraf.conf



$ telegraf -sample-config -filter cpu:mem:disk -outputfilter prometheus > telegraf.conf



$ telegraf -usage sysstat > /etc/telegraf/telegraf.d/sysstat.conf



[[inputs.mysql]]
servers = ["user:password@tcp(127.0.0.1:3306)/?tls=false"]



[[inputs.rabbitmq]]
url = "http://localhost:15672"
username = "rabbit"
password = "password"



$ telegraf -config /etc/telegraf/telegraf.d/ -input-filter sysstat -test



[[outputs.prometheus_client]]
  listen = "127.0.0.1:9126"
  
  
  
autossh -M 0 user@telegraf.host -F /home/user/.ssh/config -L 9126:127.0.0.1:9126 -N &



$ sudo systemctl restart telegraf
$ curl http://127.0.0.1:9126/metrics



$ sudo systemctl status telegraf



$ wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana_4.2.0_amd64.deb
$ sudo dpkg -i grafana_4.2.0_amd64.deb



$ mysql -u root -p
mysql> create database grafana;
mysql> GRANT USAGE ON `grafana`.* to 'grafana'@'localhost' identified by 'grafanapasswd';
mysql> GRANT ALL PRIVILEGES ON `grafana`.* to 'grafana'@'localhost' with grant option;
mysql> flush privileges;
mysql> use grafana;
mysql> create table `session` (
        -> `key`   char(16) not null,
        -> `data`  blob,
        -> `expiry` int(11) unsigned not null,
        -> primary key (`key`)
        -> ) ENGINE=MyISAM default charset=utf8;



[database]
type = mysql
host = 127.0.0.1:3306
name = grafana
user = grafana
password = grafanapasswd
[session]
provider = mysql
provider_config = `grafana:grafanapasswd@tcp(localhost:3306)/grafana`



$ sudo systemctl grafana restart



mem_available_percent{exported_host="ci",host="CI",instance="localhost:9126",job="node"}



mem_available_percent{host="CI"}



label_values(host)



mem_available_percent{host="$host"}



$ git clone https://github.com/kubernetes/heapster
$ cd heapster



  ports:
  - port: 80
    targetPort: 3000
	
	
	
  type: NodePort
  ports:
  - port: 80
    targetPort: 3000
    nodePort: 30300
	
	
	
value: /



value: /api/v1/proxy/namespaces/kube-system/services/monitoring-grafana/



value: "%(protocol)s://%(domain)s:%(http_port)s/monitoring"



$ kubectl create -f deploy/kube-config/influxdb

-----------------------------------------------------------------------------------------

Тотальная автоматизация для 1C-разработчика
Игорь Антонов


ext install language-1c-bsl



Language 1C (BSL): Create tasks.json for current workspace.



Листинг 1. Очистка клиентского кэша на OneScript

#Использовать logos

Перем ЖурналЛогирования;
Процедура ВыполнитьОчистикуКэша(Параметры)

    Для Каждого ДиректорияОбработки Из Параметры.ДиректорииДляОбработки Цикл

        ЖурналЛогирования.Информация("----- Очистка каталога: " + ДиректорияОбработки);

        РабочийКаталог = Новый Файл(ДиректорияОбработки);

        Если НЕ РабочийКаталог.Существует() Тогда
            ЖурналЛогирования.Ошибка("!!! Директория " + ДиректорияОбработки + " не существует. Пропускаем.");
            Продолжить;
        КонецЕсли;

        ФайлыДляУдаления = НайтиФайлы(ДиректорияОбработки, "*", Ложь);

        Для Каждого ОбнаруженныйФайл Из ФайлыДляУдаления Цикл

            Если ОбнаруженныйФайл.ЭтоКаталог() И Параметры.Исключения.Найти(ОбнаруженныйФайл) <> Неопределено Тогда
                ЖурналЛогирования.Информация("----- Совпало исключение. Пропускаем");
                Продолжить;
            КонецЕсли;

            Попытка
                УдалитьФайлы(ОбнаруженныйФайл.ПолноеИмя);
            Исключение
                ЖурналЛогирования.Ошибка("!!! Не удалось удалить директорию: " + ОбнаруженныйФайл.ПолноеИмя);
            КонецПопытки;

        КонецЦикла;

    КонецЦикла;

КонецПроцедуры

Функция ПодготовитьПараметры()

    СистемнаяИнформация = Новый СистемнаяИнформация;
    ДиректорияПрофиляПользователя = СистемнаяИнформация.ПолучитьПеременнуюСреды("USERPROFILE");

    Результат = Новый Структура();
    Результат.Вставить("ДиректорииДляОбработки", Новый Массив);
    Результат.Вставить("Исключения", Новый Массив);

    Результат.ДиректорииДляОбработки.Добавить(ДиректорияПрофиляПользователя + "\Application Data\1C\1Cv8");
    Результат.ДиректорииДляОбработки.Добавить(ДиректорияПрофиляПользователя + "\Local Settings\Application Data\1C\1Cv8");
    Результат.ДиректорииДляОбработки.Добавить(ДиректорияПрофиляПользователя + "\Local Settings\Application Data\1C\1Cv82");
    Результат.ДиректорииДляОбработки.Добавить(ДиректорияПрофиляПользователя + "\Application Data\1C\1Cv82");

    Результат.Исключения.Добавить("ExtCompT");

    Возврат Результат;

КонецФункции

ЖурналЛогирования = Логирование.ПолучитьЛог("oscript.app.cleaner");
Параметры = ПодготовитьПараметры();

ВыполнитьОчистикуКэша(Параметры);



opm install logos



oscript ourscript.os –firstname Игорь –lastname Антонов



Листинг 2. Эффективная работа с параметрами командной строки

#Использовать cmdline

Процедура КакТебяЗовут()

    ПарсерКоманднойСтроки = Новый ПарсерАргументовКоманднойСтроки();
    ПарсерКоманднойСтроки.ДобавитьИменованныйПараметр("-firstname");
    ПарсерКоманднойСтроки.ДобавитьИменованныйПараметр("-lastname");

    РазобранныеПараметры = ПарсерКоманднойСтроки.Разобрать(АргументыКоманднойСтроки);

Сообщить("Тебя зовут:" + РазобранныеПараметры["-firstname"] + " " + РазобранныеПараметры["-lastname"]);

КонецПроцедуры

КакТебяЗовут()



#Использовать v8runner

Конфигуратор = Новый УправлениеКонфигуратором();
Конфигуратор.УстановитьКонтекст("/IBConnectionString" "Srvr=server:1560; Ref='database'""","Admin", "123456");
Конфигуратор.ЗагрузитьКонфигурациюИзФайла("C:\buh.cf");



Листинг 3. Пример файла с тестами

Функция ПолучитьСписокТестов(ЮнитТестирование) Экспорт

    юТест = ЮнитТестирование;
    ВсеТесты = Новый Массив;

    ВсеТесты.Добавить("ТестДолжен_ПроверитьУмножениеЧисле2и2");

    сообщить(ЮнитТестирование);
    Возврат ВсеТесты;

КонецФункции

Процедура ТестДолжен_ПроверитьУмножениеЧисле2и2() Экспорт
    Утверждения.ПроверитьРавенство(4, ВыполнитьУмножение());
КонецПроцедуры

Функция ВыполнитьУмножение() Экспорт
    Возврат 2*2;
КонецФункции



oscript "C:\Program Files (x86)\OneScript\lib\1testrunner\testrunner.os" -run E:\mydisk\articles\sysadm\2017\automize-it-with-one-script\samples\exampleTest.os



oscript -make <ваш_сценарий.os> <имя_файла.exe>

-----------------------------------------------------------------------------------------

Взаимодействие Tarantool и MySQL
Александр Календарев


#!/usr/bin/tarantool

-- задаем конфигурацию серверу
box.cfg{
    log_level = 5;
    logger = "tarantool.log";
    log_nonblock = true;

   -- слушаем порт, по умолчанию
   listen = 3301;

    -- задаем разрешение на доступ
    box.schema.user.grant('guest', 'read,write,execute', 'universe')
}

-- тут объявляется функция, которая вызывается только один раз при начальной загрузке
local function bootstrap()
    -- создаем пространство profile
    local space = box.schema.create_space('profile')

    -- в пространстве profile создаем три индекса
    space:create_index('primary', { type='hash', parts={ 1, unsigned} )
    space:create_index('pvp',  { type='tree', parts={ 2, array }  )
    space:create_index('rating',  { type='tree', parts={ 3, array }  )
    space:create_index('updated',  { type='tree', parts={ 4, array }  )
    -- подключаем модуль  mysql
    local mysql = require('mysql')
    local conn = mysql.connect({host = '127.0.0.1', ↵
	user = 'akalend', password = '12345', db = 'game'})

    -- устанавливаем необходимую кодовую страницу
    conn:execute("SET NAMES utf8")

    -- выполняем запрос на выборку необходимых данных
    local tuples = conn:execute("SELECT * FROM profile WHERE is_active = true AND is_disabled = false ")

    -- осуществляем вставку всех данных в space profile, выбранных SQL-запросом
    for k,v in pairs(tuples[1]) do
	 box.space.profile:insert( {v['id'], v['pvp'], v['rating'], v['nick'], v['name']}, ...  )
    end

end

-- указывает, что функция  bootstrap выполяется только один раз)
box.once('example-1.0', bootstrap)



curl http://download.tarantool.org/tarantool/1.7/gpgkey | sudo apt-key add -
release=`lsb_release -c -s`

# install https download transport for APT
sudo apt-get -y install apt-transport-https

# append two lines to a list of source repositories
sudo rm -f /etc/apt/sources.list.d/*tarantool*.list
sudo tee /etc/apt/sources.list.d/tarantool_1_7.list <<- EOF
deb http://download.tarantool.org/tarantool/1.7/ubuntu/$release main
deb-src http://download.tarantool.org/tarantool/1.7/ubuntu/$release main
EOF



sudo apt-get update
sudo apt-get -y install tarantool-mysql



git clone https://github.com/tarantool/mysql.git tarantool-mysql
cd tarantool-mysql && cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo
make
make install



luarocks install https://raw.githubusercontent.com/tarantool/mysql/master/mysql-scm-1.rockspec --local



subway:select({1125})



subway.index.rating:select({10}, {iterator = 'GT', limit =5})
	
	
	
json = require('json')
local res = subway.index.rating:select({10}, {iterator = 'GT', limit =5})
local out = json.encode(res)



$tnt = new Tarantool('localhost', 3301);
$tnt->call('getRatingUsers', [10] );



# Настройки проксирования в Tarantool upstream tnt
   {
      server  127.0.0.1:3301;     # порт для Tarantool
   }

   # HTTP-сервер
    server
    {
        listen 80 default;
        location = /api {
          # Говорим Nginx что надо использовать Tarantool 
          # Upstream Module и указываем имя Upstream
          tnt_pass tnt;
        }
    }
	
	
	
<?php
 // некий оберточный класс
 $db = New Db( 'mysql://12345:akalend@127.0.0.1/mygame');
 // формирование запроса на получение данных профиля пользователя
 $result = $db->exec('SELECT id,pvp,rating,UNIX_TIMESTAMP(), nick, name,... ' .
	    ' FROM profile WHERE id=%d', [$user_id]);

 // инициализация класса Tarantool и вставка данных	
 $tnt = new Tarantool('localhost', 3301);
 $tnt->insert('', $result[0] );
   ...
   
   
   
mysql = require('mysql')
fiber = require('fiber')
conn = mysql.connect({host = '127.0.0.1', user = 'akalend', password = '12345', db = 'game'})
timeout =  20 * 60   --  20 минут
function replicaToMysql()
     while true do
	local tuples = box.space.profile.index.updated:select({fiber.time() - timeout }, {iterator = 'GT' } )
	local sql_str = 'UPDATE profile SET active = FALSE WHERE id='
	-- формируем SQL и отправляем
	for k,v in pairs(tuples[1]) do
		local sql = sql_str .. v['id']
		conn:execute(sql)
		– удаляем неактивные данные
		 box.space.profile.delete({v['id']})
	end
	-- засыпаем на timeout секунд
	fiber.sleep(timeout)
end



tarantool:
    host: 127.0.0.1:5000
    binlog_pos_space: 512
    binlog_pos_key: 0
    connect_retry: 15 # seconds
sync_retry: 1000 # milliseconds

mappings:
      # Первая встреченная в конфиге таблица считается основной для спейса,
      # удаление записи в ней вызовет удаление записи и в Tarantool'е.
      # Удаление в следующих таблицах с таким же Id спейса удаления записи в Tarantool'е не вызовет, 
      # вместо этого все поля будут забиты null'ами (с подстановкой, см. ниже)
    - database: Temp
      table: Profile
      columns: [ id, pvp, rating, email, name, nickname, password, tocken ]
      space: 511
      key_fields: [ 0 ]

spaces:
    # Tarantool не умеет вставлять null'ы в поля, по которым есть индекс
    # column_id: { (string|integer|unsigned): value }
    511:
        replace_null:
1: { string: "" }

-----------------------------------------------------------------------------------------