 |
|
|
|
Web-scale IT, или Почему необходимо следовать практикам Google
Web-scale IT, В статье описывается подход web-scale IT, который позволяет создавать ИТ уровня компаний Google и Amazon, рассмотрены основные особенности этого подхода: SDDC, автоматизация, конвергенция, гиперконвергентность, устойчивость, flash-хранилища, микросервисы, DevOps, предложен подход на основе агентов к построению плоскости управления при построении web-scale-инфраструктуры Введение В настоящее время цифровизация (digital transformation) бизнеса развивается высокими темпами. Такие тенденции требуют от бизнеса активно внедрять информационные системы, реализующие аналитику данных, работу с большими данными, машинное обучение. При этом, чтобы сохранить конкурентоспособность бизнеса, необходимо оперативно поддерживать гибкость и адаптивность ИТ-систем по отношению к изменяющимся требованиям рынка. Использование технологий виртуализации и облачных вычислений значительно снизили время развертывания приложений и сервисов до нескольких минут, а технологии программно-определяемых сетей и виртуализация сетевых функций придали динамичность сетевому уровню [1]. Однако это лишь первый шаг к ИТ «нового поколения». По данным глобального центра цифровизации бизнеса [2], в результате цифровой революции 40% компаний в течение пяти лет будут вытеснены из конкурентной среды, а останутся лишь те, кто сможет умело использовать современные возможности и новейшие технологические решения при ведении своего бизнеса. Социальные сети и гаджеты – все это, содной стороны, последствия цифровизации, а с другой – новые варианты по расширению возможностей и границ бизнеса, поиска новых клиентов и повышения качества услуг. Сейчас появляется все больше новых компаний и стартапов, таких как Uber, Netflix, которые реализуют инновационные идеи и серьезно теснят монополистов и ведущих игроков своего сегмента рынка. Модернизация – это не только новые технологии, это будущее, которое мы хотим создать. Если компания не модернизируется, то она становится неконкурентоспособной [3]. Web-scale IT В настоящее время эталонным подходом к построению ИТ считается web-scale IT [4], представленный Gartner в 2013 году. Основная идея состоит в том, чтобы перейти кприменению лучших практик, технологий и методологий, используемых такими ИТ-гигантами, как Google, Facebook, Amazon, Rackspace. Для обеспечения корректной ибесперебойной работы своих сервисов компании вкладывают огромные суммы в развитие ИТ, так как именно они являются ключевым направлением их прибыли и именно вокруг них строится весь бизнес. В связи с этим у компаний есть свой собственный штат специалистов, которые способны разработать необходимый протокол для решения локальных задач, технологию или даже специальное оборудование. Так, например, у Google, Facebook [5] и LinkedIN [6] используются коммутаторы собственного производства. Более того, дляповышения прибыли и сокращения капитальных и операционных затрат они активно взаимодействуют с разработчиками, спонсируют и инвестируют в разработки, а также внедряют новейшие технологии, позволяющие достичь необходимого не только экономического эффекта, но и более высокого уровня автоматизации, безопасности, отказоустойчивости и эффективности использования ресурсов. Основными характеристиками web-scale IT согласно Gartner [4, 7] являются: индустриальный центр обработки данных (ЦОД), веб-ориентированная архитектура, программное управление, agile-процессы, культура обучения и организационные взаимодействия. Nutanix [8] же выделяет следующие составляющие web-scale IT по отношению кинфраструктуре: гиперконвергентность, SDDC (Software Defined Data Center – программно-определяемый ЦОД), распределенность, самовосстанавливаемость, автоматизация посредством Application Programming Interface (API) и глубокая аналитика. Scale-out-архитектура и унифицированные блоки упрощают инфраструктуру ЦОД, а автоматизация иотказоустойчивость – управление таким ЦОД. Далее в статье рассматриваются важные отличительные свойства подхода web-scale IT. SDDC Главными характеристиками SDDC являются абстрагирование и предоставление всех компонентов ЦОД как пула ресурсов, автоматическое и основанное на политиках выделение ресурсов, единое управление всей инфраструктурой и открытость для интеграции со сторонними приложениями. За счет этого ИТ-ресурсы могут динамически выделяться иосвобождаться в зависимости от текущих требований, что позволяет достигнуть высокого уровня использования ресурсов. В качестве ресурсов могут выступать количество процессоров/ядер, объем памяти RAM, объем хранилища, пропускная способность канала и прочие. Автоматическое создание сервисов позволит значительно сократить время на ихразвертывание и снизит риск ошибки. Ориентация на программную составляющую дает большие возможности по расширяемости и интегрируемости систем, что решит проблемы мультивендорности, взаимодействия различных интерфейсов и приложений [9]. Автоматизация Автоматизация становится необходимым условием эффективной работы ЦОД. Она позволяет сократить время на внедрение инноваций, операционные затраты (OPEX, operating expenses) и показатель TTM (time-to-market) за счет автоматизации большинства рутинных ручных операций. Прежде всего это достигается за счет автоматизации работы самообслуживаемого портала облака, когда разработчик получает на основе политик и необходимых ему требований среду для разработки. Автоматизированы могут быть мониторинг, конфигурирование, безопасность, внесение изменений, обработка инцидентов, регулирование производительности и объемов ресурсов. Данные операции могут быть логически интегрированы и выполняться последовательно с помощью оркестратора. За счет этого упрощаются менеджмент и управление центром обработки данных. За счет автоматизации значительно упрощаются масштабирование и управление серверами. Так как сейчас в крупных облачных ЦОД на одного администратора приходится порядка 20 000 серверов [10], то без автоматизации управление таким количеством серверов становится практически невозможным. Применение автоматизации исключает вероятность ошибки, в отличие от ручных операций администратора. Конвергенция и гиперконвергентность Под конвергентной структурой понимается построение традиционной архитектуры, включающей сеть, хранилища, серверы, а также виртуализацию и средства менеджмента сглубокой интеграцией всех компонентов посредством связующего программного обеспечения (ПО). Это позволяет значительно сократить время на развертывание инфраструктуры икак результат улучшить показатель TTM (time-to-market). Если в традиционных системах у каждого компонента своя консоль управления, то у конвергентных систем единый интерфейс, который взаимодействует со всеми приложениями по управлению всеми элементами. Такие системы легче масштабируются, имеют единую централизованную точку управления и являются более производительными, гибкими, дешевыми по сравнению страдиционными аналогами. Такой подход обусловил необходимость тесного сотрудничества производителей между собой. Однако на данный момент не так много существует решений в этой области, что ограничивает выбор среди производителей. Примером такой архитектуры является VblockSystems (Cisco, EMC, VMware) [11]. Гиперконвергентная структура представляет собой объединение вычислений, хранилища и сетевой составляющей в одном корпусе, но с более тесной интеграцией и ориентацией напрограммно-определяемую инфраструктуру. За счет этого конфигурирование и управление становятся еще проще, а основанная на политиках автоматизация позволит сократить количество выполняемых администратором операций и повысит безопасность. Такой подход позволяет максимально использовать преимущества технологии VirtualSAN и программно-определяемых хранилищ данных. Масштабирование проводится модульно, т.е. не отдельно наращиванием емкости хранилища или вычислительных мощностей, а путем добавления новых устройств. За счет этого возможно применение одного специалиста широкого профиля вместо нескольких узких специалистов, что значительно сократит трудозатраты и время на развертывание сервиса. Устойчивость системы Программное обеспечение разрабатывается таким образом, чтобы все данные, мета-данные и операции были распределены по всему кластеру. Для этого необходимо обеспечить отсутствие узких мест в структуре, благодаря чему система может масштабироваться без ограничений. Web-scale-архитектура должна быть устойчива к сбоям за счет быстрого восстановления отдельных неисправных компонентов, без какого-либо воздействия на работоспособность системы. Программное обеспечение изолирует такие компоненты и восстанавливает работу за счет использования доступных ресурсов, в то время как система/кластер продолжает работать. Flash Flash-хранилища (массивы) используют твердотельные накопители, позволяющие обрабатывать огромное количество операций ввода/вывод в секунду (IOPS). Помимо этого, интеллектуальная программная составляющая управляет выделением, резервированием, менеджментом и использованием ресурсов массива. Такие хранилища обычно конфигурируются с большим объемом кэш-памяти, чтобы удовлетворять требованиям к производительности чувствительных к задержкам приложений. Как результат использования Flash переводит сеть хранения данных (СХД) на новый уровень и дает более широкие возможности по производительности, масштабируемости и доступности. Также использование таких хранилищ идеально подходит для использования BigData-приложений и аналитики. Хранилища, построенные с использованием flash-технологий, сейчас становятся не просто нормой, а обязательным фактором для повышения скорости и гибкости работы ЦОД. Раньше повышение числа IOPS достигалось увеличением количества дисковых накопителей (Hard drive), в настоящее время, учитывая значительное удешевление твердотельных накопителей, существенно выгоднее купить SSD-накопитель. Однако flash имеют определенный срок работы (lifecycle) и определенное количество операций записи, в связи с чем необходимо грамотное планирование массива, чтобы минимизировать количество излишних записей для продления срока работы дисков. Микросервисы Сейчас все больше внимания уделяется микросервисной архитектуре при разработке приложений, которая противопоставляется классической монолитной. Монолитная архитектура представляется как единый блок (единое целое). Вся логика, связанная с обработкой запросов, происходит в одном процессе. Запуск, тестирование, размещение и масштабирование достаточно тривиальны, особенно если приложение не очень большое. Однако один баг в коде может остановить работу целого приложения, а привнесении изменений необходимо пересобирать приложение полностью. Микросервисы – это полностью разделенные компоненты (сервисы), которые могут размещаться отдельно друг от друга и между которыми разделена функциональность приложения (каждой задаче – свой инструмент). Пользователь в ходе работы будет взаимодействовать лишь с частью компонентов, в то время как для получения результата всем компонентам придется взаимодействовать друг с другом. Чтобы достичь этого, компоненты должны быть независимыми, самодостаточными, распределенными и слабо связанными. Такая архитектура сейчас широко применяется в облачных приложениях. При разработке данная архитектура удобна тем, что программисты со знаниями разных языков могут написать единое приложение, компоненты которого будут взаимодействовать друг с другом через API [12]. Однако у такого подхода есть и минусы. Главным является увеличение OPEX, так как при большом количестве компонентов поддерживать их становится сложнее. Общая отладка тоже становится сложнее за счет того, что компоненты написаны на разных языках. DevOps DevOps [13] появился совсем недавно, и у него, как у любого нового направления, имеются трудности с определением данного термина. Учитывая все охватываемые области, DevOps можно определить как культурный сдвиг, нацеленный на применение agile-методологии при разработке ПО, где имеет место тесное взаимодействие разработчиков иинженеров отделов эксплуатации, отвечающих за инфраструктуру, на всем жизненном цикле от проектирования до непрерывного улучшения, за счет чего достигаются повышение дохода и снижение рисков и затрат. При этом необходимо учитывать следующее: каждый ручной процесс жизненного цикла ПО должен быть автоматизирован; среда разработки должна быть максимально идентична среде развертывания приложения, чему помогает использование технологии контейнеризации; необходимо использовать метрики, на основе которых можно определить успешность проекта или необходимость в доработке. В области персонала также происходят изменения. Для того чтобы оставаться конкурентоспособным, требуется эффективно использовать новые возможности, а для этого требуется, чтобы инженеры могли реализовывать и внедрять необходимые новые подходы и технологии. В связи с этим важным фактором является постоянное обучение сотрудников, однако оно должно происходить не только в рамках одной области. Если раньше были разные инженеры, занимающиеся сетями, хранилищами и серверами, которые отвечали за свою часть инфраструктуры, то сейчас им приходится взаимодействовать и объединяться для совместной работы по управлению ЦОД. С автоматизацией инфраструктуры и новой культурой производства и процессов (DevOps) начинает развиваться не только сотрудничество между различными отделами, но и обмен знаниями и опытом. Также взаимодействие инженеров с менеджерами позволит перевести ИТ на уровень надежного партнера по бизнесу, что, несомненно, лучшим образом скажется на конкурентоспособности и эффективности работы компании. Архитектура Важной составляющей web-scale IT является ЦОД. Для эффективного функционирования ЦОД предлагается новый подход к построению архитектуры ЦОД. При таком подходе архитектура программно-определяемого центра обработки данных реализуется как множество программно-определяемых доменов. Домен – это набор виртуальных элементов (некоторые элементы могут быть физическими), которые находятся под управлением специального локального агента. Агент является реализацией программно-определяемого управления и оркестрации. Главный единицей в иерархии такой плоскости управления является кластер управления (management cluster), который определяет потоки данных дляпрограммно-определяемых сетей (Software-Defined Networking, SDN) и общие политики всей инфраструктуры в ЦОД, а затем передает эту информацию на подчиненные агенты. Агенты – это простые SDN-контроллеры нижнего подуровня иерархии управляющего уровня, которые имеют свою базу данных, содержащую записи об известных ей потоках иполитиках и локальные средства мониторинга и оркестрации программно-определяемой инфраструктуры. Иерархическая структура управляющего уровня позволяет разгрузить верхний подуровень управления, передав часть функций агенту нижнего подуровня, который управляет программно-определяемым доменом ЦОД. Такая реализация уровня управления, при которой агенты нижнего подуровня функционально не перегружены и при этом имеют всю необходимую для управления доменом информацию, хранящуюся в БД, позволяет улучшить качество управления доменами за счет повышения скорости реакции агента напроисходящие в домене события и скорости принятия решений. Описанный выше подход является фактически развитием концепции туманных вычислений и вычислений росы [14]. Введение нижнего подуровня управления, реализованного набором агентов, позволяет более тщательно подходить к управлению и менеджменту домена. Такая система управления может быть обучаемой, т.е. агенты будут собирать общую суммарную информацию, отслеживать тенденции в потоках работ/бизнес-процессах и отправлять эти данные в кластер управления для оптимизации работы потоков в сети. Также на основе анализа производительности и журналов могут быть предприняты проактивные действия и предсказаны выходы из строя или сбои элементов. Другим преимуществом является снижение служебного трафика контроллера, а также управляющего трафика приложений, которые меняют параметры сети, виртуальных машин и хранилищ. Еще одно достоинство – снижение последствий ошибки при неправильной конфигурации, так как она затронет лишь один домен. Таким образом, за счет централизованного управления сохраняется оригинальность концепции программно-определяемых сетей, а за счет распределенных агентов преодолеваются все недостатки централизованного подхода. Заключение Приложения стали неотъемлемой частью любого бизнеса. Банковские операции, заказ такси или еды на дом, покупка билетов и различных вещей – все это делается посредством приложений (по большей части мобильных), причем это необходимо предоставлять без задержек и сбоев. Например, задержки при открытии страницы на несколько десятых секунды стоят примерно 1-2% упущенной прибыли. Новый подход к построению ИТ-инфраструктуры, называемый web-scale IT, позволяет компаниям достичь повышения уровня гибкости бизнеса и предсказуемого масштабирования, а также снизить общую стоимость владения (total cost of ownership, TCO). По данным того же Gartner, к 2017 году около 50% глобальных корпораций должны перейти к такому подходу построения ИТ-архитектуры. Требованиями к ИТ такого уровня являются: быстрое внедрение инноваций, уменьшение затрат и сложности эксплуатации, снижение рисков. Это достигается благодаря использованию программно-определяемых решений и автоматизации, которые значительно сокращают показатель ТТМ, практически исключают необходимость вмешательства человека, позволяют достигнуть высокой скорости перераспределения ресурсов и развертывания сервиса или приложения. Требования к ЦОД также постоянно растут и изменяются. Последними тенденциями стали: реализация концепции программно-определяемого ЦОД, конвергентность и гиперконвергентность, all-flash-хранилища и самовосстанавливаемые системы. Все эти подходы позволяют эффективно и гибко использовать ресурсы ЦОД, а также легко адаптироваться и отвечать требованиям современного бизнеса [15]. Казалось бы, что полная ориентация на практики Google, Amazon, Facebook и концепцию web-scale IT может быть полезна лишь небольшому количеству крупных корпораций, которые хотят сохранить свою монополию/конкурентоспособность в условиях роста новых компаний/стартапов, которые реализуют инновационные идеи и успешно используют новейшие технологии и подходы. Зачем внедрять web-scale IT в компанию, которая никогда не достигнет масштаба Google, Amazon, Facebook. Однако интеграция облачных сервисов и локальной ИТ-инфраструктуры при использовании web-scale IT может существенно повысить эффективность ИТ в организации, а следовательно, и конкурентоспособность предприятий малого и среднего бизнеса, так как получаемая гибкость и динамичность не имеют корреляции относительно размера компании.
Ключевые слова: цифровизация бизнеса, web-scale IT, web-scale-инфраструктура, SDDC, программно-определяемые домены, иерархическая распределенная плоскость управления на базе агентов. Web-scale IT: why it is necessary to follow Google practices Gavrilov A.V., a graduate student of HSE, agavrilov@hse.ru Leohin Y.L., Ph.D., Professor of HSE, yleokhin@hse.ru Summary: This article covers approach called web-scale IT that enables organizations to build =Google or Amazon-level IT. It highlights web-scale IT main elements: SDDC, automatization, convergence and hyper-convergence, resilience of system, flash storage, microservices, DevOps. Author presents agent-based control plane architecture to build web-scale infrastructure. Keywords: Digital business transformation, web-scale IT, web-scale infrastructure, SDDC, software-defined domains, agent-based hierarchical distributed control plane. |
ГАВРИЛОВ А.В., аспирант НИУ ВШЭ, Комментарии отсутствуют
| Добавить комментарий |
|
Комментарии могут оставлять только зарегистрированные пользователи |
|
