Параллельное исполнение запросов в MySQL при разработке сетевых демонов

 АЛЕКСАНДР КАЛЕНДАРЕВ, системный программист, занимался разработкой и внедрением нестандартных решений для систем с высокой нагрузкой. Эксперт по SQL-решениям и серверам очередей. Автор ряда Open Source-решений, используемых в веб-проектах с высокими нагрузками

Параллельное исполнение запросов в MySQL
при разработке сетевых демонов

Большинство серверов приложений используют обращения к БД. И, как правило, большей частью основного цикла исполнения является ожидание итогов запроса к БД. А можно ли как-то уменьшить издержки времени? Эффективность исполнения была бы гораздо выше, если бы мы смогли распараллелить выполнение запросов

Асинхронное выполнение параллельных запросов

Имеется два типа ввода/вывода: синхронный и асинхронный. Асинхронный ввод/вывод также называется перекрывающим, так как, пока происходит ожидание приема/передачи данных из одного источника, можно принять/передать иобработать данные из другого источника.

При синхронном (synchronous I/O) поток запускает операцию ввода/вывода и сразу входит в ждущий режим до тех пор, пока запрос не завершится.

Поток, выполняющий асинхронный ввод/вывод (asynchronous I/O), отправляет запрос ядру. Если он принят, поток продолжает заниматься другим заданием до тех пор, пока ядро не подаст сигналы, что операция ввода/вывода (I/O) полностью завершилась. Тогда поток прерывает текущую работу и обрабатывает данные от операции ввода/вывода (I/O) по мере необходимости.

Под «асинхронным вводом/выводом» также понимается возможность выполнять ввод/вывод из нескольких источников одновременно.

Асинхронные операции позволяют выполнять ресурсоемкие операции без отключения от основного потока. Это особенно важно там, где длительные операции ввода/вывода могут блокировать другие рабочие потоки, что вызовет задержку выполнения всего приложения.

Если рассмотреть исходники Си Client MySQL, то по ним можно определить, что libmysqlclient внутри себя использует операции асинхронного ввода/вывода. К сожалению, такие операции в MySQL сообществом не были доведены до ума ина практике в общем АПИ не представлены.

На просторах Интернета можно найти несколько проектов асинхронных MySQL-коннекторов [3, 4]. Стоит отметить новый проект от автора MySQL Monty и его коннектор к MariaDb [2], который полностью совместим как с протоколом MySQL, так и с MySQL API, за небольшим исключением: в prepared statements некорректно работает преобразование строки в тип float.

Принципиально для реализации асинхронного ввода/вывода можно использовать и его.

Однако программист Jan Kneschke в своем блоге [1] изложил результаты исследования, как можно реализовать асинхронный ввод/вывод для mysqlclient. По его материалу и был реализован mysql-модуль [5] для node.js.

Cуть его подхода – в использовании скрытых возможностей API libmysqlclient.

Статью целиком читайте в журнале «Системный администратор», №10 за 2013 г. на страницах 62-67.

Комментарии могут оставлять только зарегистрированные пользователи