АНТОН КАРЕВ, ведущий эксперт Алтайского края по кибербезопасности с 20-летним стажем. Окончил физтех АлтГУ. Занимается технологической разведкой и подготовкой аналитических обзоров для «красной» команды правительственных хакеров, anton.barnaul.1984@mail.ru

Стандарт 100GbE:
роскошь или насущная необходимость?

Объем циркулирующего по интернету контента с течением времени становится все больше и больше. При передаче данных из одного домена в другой совокупная пропускная способность ключевых сетевых узлов уже давно превышает возможности портов 10GbE [1]. Этим и обусловлено появление нового стандарта – 100GbE

IEEE P802.3ba, стандарт для передачи данных по 100-гигабитным каналам Ethernet (100GbE), разрабатывался в период с 2007 по 2010 год [3], но получил широкое распространение только в 2018-м [5].

Разрабатывался он в первую очередь для удовлетворения нужд ЦОД и точек обмена интернет-трафиком (между независимыми операторами), а также для обеспечения бесперебойной работы ресурсоемких веб-сервисов, таких как порталы сбольшим количеством видеоконтента (например, YouTube), и для осуществления высокопроизводительных вычислений [3].

Рядовые пользователи интернета тоже вносят свой вклад в изменение требований к пропускной способности: у многих есть цифровые камеры, и люди хотят передавать отснятый ими контент через интернет.

Таким образом, объем циркулирующего по интернету контента с течением времени становится все больше и больше, как на профессиональном, так и на потребительском уровнях. Во всех этих случаях при передаче данных из одного домена в другой совокупная пропускная способность ключевых сетевых узлов уже давно превышает возможности портов 10GbE [1]. Этим и обусловлено появление нового стандарта – 100GbE.

Крупные ЦОД и поставщики облачных услуг уже активно применяют 100GbE и планируют через пару лет постепенно переходить на 200GbE и 400GbE. При этом уже присматриваются к скоростям, превышающим терабит [6].

Хотя есть среди крупных поставщиков и такие, которые переходят на 100GbE лишь только в этом году (например, Microsoft Azure).

ЦОД, осуществляющие высокопроизводительные вычисления для финансовых услуг, государственных платформ, нефтегазовых платформ и коммунальных услуг, также начали переходить на 100GbE [5].

В корпоративных ЦОД потребность на пропускную способность несколько ниже: лишь недавно 10GbE стала здесь насущной необходимостью, а не роскошью. Однако, поскольку темпы потребления трафика растут все стремительнее, сомнительно, что 10GbE проживет в корпоративных ЦОД еще хотя бы 10 или даже пять лет. Вместо этого мы увидим быстрый переход на 25GbE и еще более быстрый на 100GbE [6]. Потому что, как отмечают аналитики Intel, интенсивность трафика внутри ЦОД ежегодно увеличивается на 25% [5].

Аналитики Dell и Hewlett Packard констатируют [4], что 2018-й – это год 100GbE для ЦОД. Еще в августе нынешнего года поставки оборудования 100GbE вдвое превысили поставки за весь 2017-й. И темпы поставок продолжают расти, поскольку ЦОД начали в массовом порядке отходить от 40GbE. Ожидается, что к 2022 году ежегодно будет поставляться 19,4 млн 100GbE-портов (в 2017-м, для сравнения, эта цифра составляла 4,6 млн) [4]. Что касается затрат, то в 2017году на 100GbE-порты было потрачено $7 млрд, а в 2020-м, по прогнозам, будет потрачено порядка $20 млрд [1] (см. рис. 1).

Рисунок 1. Статистика и прогнозы спроса на сетевое оборудование

Почему сейчас? 100GbE не такая уж и новая технология, так почему именно сейчас вокруг нее разворачивается такой ажиотаж?

1) Потому что эта технология созрела и подешевела. Именно в 2018 году мы перешагнули тот рубеж, когда использование в ЦОД платформ со 100-гигабитными портами стало более рентабельным, чем «штабелирование» нескольких 10-гигабитных платформ. Пример: Ciena 5170 (см. рис. 2) – компактная платформа, обеспечивающая совокупную пропускную способность в 800GbE (4x100GbE, 40x10GbE). Если для обеспечения необходимой пропускной способности требуется несколько 10-гигабитных портов, то затраты на дополнительное железо, дополнительно занимаемое пространство, избыточное потребление электроэнергии, текущее обслуживание, дополнительные запчасти и дополнительные системы охлаждения складываются в достаточно кругленькую сумму [1]. Так например, специалисты Hewlett Packard, анализируя потенциальные преимущества перехода от 10GbE к 100GbE, пришли к следующим цифрам: производительность выше на 56%, суммарные затраты меньше на 27%, меньше потребление электроэнергии на 31%, упрощение кабельных взаимосвязей на 38% [5].

Рисунок 2. Ciena 5170: пример платформы со 100-гигабитными портами

2) Juniper и Cisco наконец-то создали свои собственные микросхемы ASIC для коммутаторов 100GbE [5]. Что является красноречивым подтверждением того факта, что технология 100GbE действительно созрела.

Дело в том, что микросхемы ASIC рентабельно создавать только тогда, когда, во-первых, реализуемая на них логика не потребует изменений в обозримом будущем и, во-вторых, когда изготавливается большое количество идентичных микросхем.

Juniper и Cisco не стали бы производить эти ASIC, не будучи уверенными в зрелости 100GbE.

3) Потому что Broadcom, Cavium и Mellanox Technologie начали штамповать процессоры с поддержкой 100GbE, и эти процессоры уже используются в коммутаторах таких производителей, как Dell, Hewlett Packard, Huawei Technologies, Lenovo Group и др. [5].

4) Потому что серверы, размещенные в серверных стойках, все чаще оснащаются новейшими сетевыми адаптерами Intel (см. рис. 3) с двумя 25-гигабитными портами, а иногда даже конвергентными сетевыми адаптерами с двумя 40-гигабитными портами (XXV710 и XL710).

Рисунок 3. Новейшие сетевые адаптеры Intel: XXV710 и XL710

5) Потому что оборудование 100GbE имеет обратную совместимость, что упрощает развертывание: можно повторно использовать уже проброшенные кабели (достаточно подключить к ним новый приемопередатчик).

Кроме того, доступность 100GbE подготавливает нас к новым технологиям, таким как:

• NVMe over Fabrics (например, Samsung Evo Pro 256 GB NVMe PCIe SSD) [8, 10] (см. рис. 4),
• Storage Area Network (SAN)/Software Defined Storage (SDS) [7] (см. рис. 5),
• RDMA [11].

Рисунок 4. Samsung Evo Pro 256 GB NVMe PCIe SSD

Рисунок 5. Storage Area Network (SAN) / Software Defined Storage (SDS)

Эти технологии без 100GbE не могли бы реализовать свой потенциал в полной мере.

Наконец, в качестве экзотического примера практической востребованности применения 100GbE и смежных высокоскоростных технологий можно привести научное облако Кембриджского университета (см. рис. 6), которое построено наоснове 100GbE (Spectrum SN2700 Ethernet switches) для того, чтобы в числе прочего обеспечивать эффективную работу распределенного дискового хранилища NexentaEdge SDS, которое легко может перегрузить сеть 10/40GbE [2].

Рисунок 6. Фрагмент научного облака Кембриджского университета

Подобные высокопроизводительные научные облака разворачивают для решения самых разнообразных прикладных научных задач [9, 12]. Так, например, ученые-медики задействуют такие облака для расшифровки генома человека, аканалы 100GbE используют для передачи информации между исследовательскими группами университетов.

1. John Hawkins. 100GbE: Closer to the Edge, Closer to Reality // 2017. URL: https://www.ciena.com/insights/articles/Who-needs-100GbE.html (дата обращения: 14 сентября 2018).
2. Amit Katz. 100GbE Switches – Have You Done The Math? // 2016. URL: http://www.mellanox.com/blog/2016/05/100gbe-switches-have-you-done-the-math/ (дата обращения: 14 сентября 2018).
3. Margaret Rouse. 100 Gigabit Ethernet (100GbE) // URL: https://searchtelecom.techtarget.com/definition/100-Gigabit-Ethernet-100GbE (дата обращения: 14 сентября 2018).
4. David Graves. Dell EMC Doubles Down on 100 Gigabit Ethernet for the Open, Modern Data Center // 2018. URL: https://norway.emc.com/about/news/press/2018/20180815-01.htm (дата обращения: 14 сентября 2018).
5. Mary Branscombe. The Year of 100GbE in Data Center Networks // 2018. URL: https://www.datacenterknowledge.com/networks/year-100gbe-data-center-networks (дата обращения: 14 сентября 2018).
6. Jarred Baker. Moving Faster in the Enterprise Data Center // 2017. URL: http://www.datacenterjournal.com/moving-faster-enterprise-data-center/ (дата обращения: 14 сентября 2018).
7. Tom Clark. Designing Storage Area Networks: A Practical Reference for Implementing Fibre Channel and IP SANs. 2003. – 572 p.
8. James O’Reilly. Network Storage: Tools and Technologies for Storing Your Company's Data // 2017. – 280 p.
9. James Sullivan. Student cluster competition 2017, Team University of Texas at Austin/Texas State University: Reproducing vectorization of the Tersoff multi-body potential on the Intel Skylake and NVIDIA V100 architectures // Parallel Computing. v.79, 2018. – Pp. 30-35.
10. Manolis Katevenis. The next Generation of Exascale-class Systems: the ExaNeSt Project // Microprocessors and Microsystems. v.61, 2018. – Pp. 58-71.
11. Hari Subramoni. RDMA over Ethernet: A Preliminary Study // Proceedings of the Workshop on High Performance Interconnects for Distributed Computing. 2009.
12. Chris Broekema. Energy-Efficient Data Transfers in Radio Astronomy with Software UDP RDMA // Future Generation Computer Systems. v.79, 2018. – Pp. 215-224.

Ключевые слова: 100GbE, трафик, облака, дисковые хранилища.

Комментарии могут оставлять только зарегистрированные пользователи