Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-Port PCIe VPI — высокопроизводительная сетевая адаптерная карта корпоративного класса с двумя портами QSFP56, обеспечивающая скорость передачи данных до 100 Гбит/с на порт (суммарно до 200 Гбит/с). Поддерживает протоколы Ethernet 100GbE и InfiniBand HDR благодаря технологии VPI (Virtual Protocol Interconnect). Интерфейс PCI Express 4.0 x16 обеспечивает максимальную пропускную способность шины без узких мест. Карта оптимизирована для задач высокопроизводительных вычислений (HPC), центров обработки данных, систем искусственного интеллекта и машинного обучения, где критически важны минимальная задержка (latency), поддержка RDMA (RoCE v2) и эффективная работа в кластерах GPU.
Высокая производительность и пропускная способность
ConnectX-6 — флагманская линейка сетевых адаптеров Mellanox (ныне часть NVIDIA), обеспечивающая рекордную производительность для современных ЦОД и HPC-кластеров. Два порта QSFP56 позволяют организовать агрегированный канал 200 Гбит/с или два независимых канала по 100 Гбит/с с полным дуплексом.
Скорость 100 Гбит/с на порт
- Два порта QSFP56 — до 100 Гбит/с на каждый порт (суммарно 200 Гбит/с).
- Поддержка 100GbE Ethernet — совместимость с современной Ethernet-инфраструктурой ЦОД.
- Поддержка InfiniBand HDR — скорость до 200 Гбит/с на порт в InfiniBand-сетях.
- Полный дуплекс — одновременная передача и приём данных без коллизий.
PCIe 4.0 x16
- Пропускная способность шины до 64 ГБ/с — без узких мест при передаче данных между сетью и процессором.
- Обратная совместимость — работа в слотах PCIe 3.0 x16 (с ограничением скорости).
- Низкая задержка шины — минимальное время отклика для критически важных приложений.
Низкая задержка (Low Latency)
ConnectX-6 обеспечивает задержку менее 1 мкс при передаче данных, что критически важно для высокочастотного трейдинга, распределённых баз данных, кластерных файловых систем и задач реального времени. Аппаратная обработка пакетов снижает нагрузку на CPU и повышает общую производительность системы.
Технологии VPI, RDMA и offload
ConnectX-6 оснащён передовыми технологиями, которые обеспечивают эффективную работу в современных ЦОД и HPC-кластерах.
Технология VPI (Virtual Protocol Interconnect)
- Универсальность — один адаптер поддерживает и Ethernet, и InfiniBand без замены оборудования.
- Гибкость развёртывания — выбор протокола на уровне конфигурации драйвера.
- Защита инвестиций — адаптер остаётся актуальным при миграции между протоколами.
RDMA over Converged Ethernet (RoCE v2)
- Прямой доступ к памяти — передача данных между серверами минуя операционную систему.
- Задержка менее 1 мкс — критически важно для кластерных вычислений и распределённых СХД.
- Совместимость с GPUDirect RDMA — прямая передача данных между GPU разных серверов.
- Поддержка MPI — оптимизация для кластерных приложений (HPC, AI/ML).
Аппаратные offload-функции
- SR-IOV (Single Root I/O Virtualization) — до 128 виртуальных функций для виртуализации.
- Hardware Offload — разгрузка TCP/IP, VXLAN, NVMe-oF на адаптер.
- Accelerated Receive Side Scaling (aRSS) — эффективное распределение трафика по ядрам CPU.
- Adaptive Routing — динамическая маршрутизация в InfiniBand-сетях.
- Telemetry — встроенный мониторинг производительности и состояния сети.
Дополнительные возможности и особенности
Поддержка современных стандартов
- Ethernet — 10/25/40/50/100GbE, auto-negotiation.
- InfiniBand — SDR, DDR, QDR, FDR, EDR, HDR (до 200 Гбит/с).
- Транспортные протоколы — TCP/UDP, RDMA (RoCE v2, IB), NVMe-oF, iSER.
- Виртуализация — SR-IOV, VMware vSphere, Microsoft Hyper-V, KVM.
- Сетевые функции — VXLAN, NVGRE, Geneve, MPLS.
GPUDirect RDMA и GPUDirect Storage
ConnectX-6 оптимизирован для работы в связке с GPU NVIDIA (A100, H100, L40 и др.) через технологию GPUDirect RDMA. Это позволяет передавать данные напрямую между GPU разных серверов без участия CPU и оперативной памяти, что критически важно для обучения больших нейросетей и задач HPC. GPUDirect Storage обеспечивает прямой доступ GPU к данным на NVMe-накопителях.
Управление и мониторинг
- NVIDIA DOCA — единая платформа разработки и управления.
- MFT (Mellanox Firmware Tools) — диагностика и обновление прошивки.
- SNMP, sFlow — интеграция с системами мониторинга ЦОД.
- PXE Boot — сетевая загрузка серверов.
Совместимое оборудование и аксессуары
Для полноценной работы ConnectX-6 рекомендуется использовать совместимое сетевое оборудование и трансиверы.
| Тип оборудования | Рекомендуемые модели / спецификации | Примечание |
|---|---|---|
| Оптические трансиверы QSFP56/QSFP28 | Mellanox MFM1L00-NR, MMA1B00-C100D, MC3309130-001 | SR4, LR4, AOC для 100GbE |
| Оптические кабели | OM3/OM4 MMF, OS2 SMF с коннекторами MPO/LC | Для подключения к коммутаторам |
| DAC-кабели (прямое подключение) | Mellanox MAM1L00-CRx (1-5 м) | Для соединения серверов в одной стойке |
| Коммутаторы Ethernet 100GbE | Mellanox SN2700, SN3700, SN5600; Cisco Nexus 9300; Arista 7280 | С портами QSFP56/QSFP28 |
| Коммутаторы InfiniBand HDR | Mellanox Quantum HDR QM8700, QM9700 | Для HPC-кластеров и AI-инфраструктуры |
| Серверы | Dell PowerEdge R750/R760, HPE ProLiant DL380 Gen11, Lenovo ThinkSystem SR650 V3, Supermicro | Слот PCIe 4.0 x16 |
| GPU-ускорители | NVIDIA A100, H100, L40, L40S | Для GPUDirect RDMA и AI/ML задач |
| Операционные системы | RHEL 8/9, Ubuntu 22.04/24.04, VMware ESXi 8.0, Windows Server 2022 | Полная поддержка драйверов |
Аналоги Mellanox ConnectX-6 HDR100
Если данная модель недоступна или требуется сравнение, рассмотрите следующие альтернативные сетевые адаптеры 100GbE.
| Производитель | Модель | Ключевые отличия / сходство |
|---|---|---|
| Mellanox (NVIDIA) | ConnectX-7 2x200GbE | Старшая модель, PCIe 5.0, до 400 Гбит/с суммарно |
| Mellanox (NVIDIA) | ConnectX-6 Dx 2x100GbE | Встроенный DPU для offload-задач |
| Mellanox (NVIDIA) | ConnectX-6 Lx 2x25/50GbE | Бюджетная версия, до 50 Гбит/с на порт |
| Intel | E810-XXVDA2 (2x100GbE QSFP56) | Прямой конкурент, Ethernet-only (без InfiniBand) |
| Intel | E830-XXVDA2 | Новое поколение Intel, PCIe 5.0 |
| Broadcom | NetXtreme E-Series P2100G | 2x100GbE, фокус на виртуализацию |
| Marvell (QLogic) | FastLinQ 45000 Series | 2x100GbE, поддержка RDMA |
| Huawei | IN200 2x100GbE | Альтернатива для импортозамещения |
Рекомендация: ConnectX-6 остаётся оптимальным выбором для HPC-кластеров и AI-инфраструктуры благодаря поддержке InfiniBand HDR и GPUDirect RDMA. Для чистых Ethernet-задач без InfiniBand можно рассмотреть Intel E810 как более доступную альтернативу. Для максимальной производительности в новых проектах — ConnectX-7 с PCIe 5.0.
Кому подойдёт Mellanox ConnectX-6 HDR100
Рекомендуется, если вам нужно:
- Построить высокопроизводительную сеть 100GbE в ЦОД.
- Организовать HPC-кластер с InfiniBand HDR.
- Обеспечить минимальную задержку (RDMA, RoCE v2) для распределённых баз данных.
- Связать серверы с GPU NVIDIA для задач AI/ML (GPUDirect RDMA).
- Виртуализировать сетевые ресурсы через SR-IOV.
- Использовать NVMe-oF для доступа к распределённым СХД.
- Получить универсальный адаптер с поддержкой Ethernet и InfiniBand (VPI).
- Интегрировать адаптер в серверы Dell, HPE, Lenovo, Supermicro.
Вероятно, не подойдёт, если:
- Требуется скорость 25GbE или ниже — рассмотрите ConnectX-5/6 Lx.
- Сервер не имеет слота PCIe 4.0 x16 — адаптер будет работать, но с ограничением скорости.
- Бюджет ограничен — Intel E810 или Broadcom NetXtreme могут быть дешевле.
- Не требуется InfiniBand и RDMA — избыточная функциональность.
- Нужна скорость 200/400 Гбит/с на порт — рассмотрите ConnectX-7.
- Используется устаревшее ПО без поддержки RDMA — преимущества карты не будут раскрыты.
- Нужен оптический трансивер другого типа (SFP28, SFP56) — QSFP56 требует соответствующих портов.
Конструкция и условия эксплуатации
Стандартный низкопрофильный форм-фактор
Адаптер выполнен в стандартном форм-факторе PCIe x16 с возможностью установки как в полноразмерные, так и в низкопрофильные слоты (Low Profile bracket в комплекте). Два порта QSFP56 расположены на задней планке для удобного подключения оптических или медных кабелей. Пассивное охлаждение через радиатор на процессоре адаптера обеспечивает надёжную работу без дополнительных вентиляторов.
Диапазон рабочих условий
- Эксплуатация: от 0°C до +55°C (в сервере с активным охлаждением)
- Хранение: от -40°C до +70°C
- Влажность: 10–90% (без конденсата)
- Высота над уровнем моря: до 3000 м
Адаптер рассчитан на круглосуточную работу в серверах корпоративного класса с организованной системой охлаждения. Рекомендуется установка в серверные стойки с воздушным потоком front-to-rear.
Технические характеристики
| Производитель | Mellanox Technologies (NVIDIA) |
| Модель | ConnectX-6 HDR100/100GbE |
| Тип устройства | Сетевая адаптерная карта (NIC) |
| Количество портов | 2 |
| Тип порта | QSFP56 |
| Максимальная скорость на порт | 100 Гбит/с (Ethernet), 200 Гбит/с (InfiniBand HDR) |
| Суммарная пропускная способность | до 200 Гбит/с (Ethernet), до 400 Гбит/с (IB HDR) |
| Поддерживаемые Ethernet | 10/25/40/50/100GbE |
| Поддерживаемые InfiniBand | SDR, DDR, QDR, FDR, EDR, HDR (до 200 Гбит/с) |
| Технология VPI | Да (Virtual Protocol Interconnect — Ethernet + IB) |
| Интерфейс хоста | PCI Express 4.0 x16 |
| Пропускная способность PCIe | до 64 ГБ/с (дуплекс) |
| Поддержка RDMA | RoCE v2, InfiniBand RDMA |
| GPUDirect RDMA | Да |
| GPUDirect Storage | Да |
| SR-IOV | Да (до 128 виртуальных функций) |
| Hardware Offload | TCP/UDP, VXLAN, NVMe-oF, Geneve, MPLS |
| Поддержка MTU | до 9200 байт (Jumbo Frames) |
| Поддержка VLAN | Да (802.1Q, QinQ) |
| Telemetry | Да (встроенный мониторинг) |
| Задержка (latency) | менее 1 мкс (RDMA) |
| Поддержка PXE Boot | Да (iSCSI, FCoE, UEFI) |
| Совместимость с ОС | RHEL 8/9, Ubuntu 22.04/24.04, SLES 15, VMware ESXi 8.0, Windows Server 2019/2022 |
| Драйверы | Mellanox OFED, WinOF-2 |
| Управление | MFT, NVIDIA DOCA, SNMP, sFlow |
| Форм-фактор | Low Profile / Full Height PCIe x16 |
| Охлаждение | Пассивное (радиатор) |
| Энергопотребление | до 19 Вт (типично) |
| Диапазон температур при эксплуатации | от 0°C до +55°C |
| Диапазон температур при хранении | от -40°C до +70°C |
| Относительная влажность | 10–90% (без конденсата) |
| Габариты (ШxВ) | Стандарт PCIe x16, длина ~ 167,65 мм (6.6") |
| Вес | ~ 150 г |
| Сертификация | CE, FCC, UL, RoHS, REACH |
| Гарантия | Стандартная гарантия NVIDIA/Mellanox (обычно 3 года) |
Часто задаваемые вопросы
Что означает VPI (Virtual Protocol Interconnect)?
VPI — фирменная технология Mellanox, позволяющая одному физическому порту работать как в режиме Ethernet, так и в режиме InfiniBand. Выбор протокола осуществляется на уровне конфигурации драйвера и прошивки. Это обеспечивает гибкость развёртывания и защиту инвестиций: при миграции инфраструктуры с Ethernet на InfiniBand (или наоборот) не требуется замена сетевых адаптеров.
В чём разница между ConnectX-6 и ConnectX-7?
ConnectX-6 — поколение PCIe 4.0 с поддержкой до 200 Гбит/с на порт (HDR InfiniBand). ConnectX-7 — следующее поколение с PCIe 5.0, поддержкой до 400 Гбит/с на порт (NDR InfiniBand) и улучшенными offload-функциями. ConnectX-6 остаётся оптимальным выбором для большинства современных HPC-кластеров и AI-инфраструктуры, тогда как ConnectX-7 ориентирован на новые проекты с максимальной производительностью.
Что такое RDMA и зачем он нужен?
RDMA (Remote Direct Memory Access) — технология прямого доступа к памяти удалённых серверов минуя операционную систему и CPU. Это снижает задержку до менее 1 мкс и значительно уменьшает нагрузку на процессор. RDMA критически важен для распределённых баз данных, кластерных файловых систем, HPC-приложений, NVMe-oF и AI/ML задач. ConnectX-6 поддерживает RoCE v2 (RDMA over Converged Ethernet) и InfiniBand RDMA.
Что такое GPUDirect RDMA и GPUDirect Storage?
GPUDirect RDMA — технология NVIDIA, позволяющая передавать данные напрямую между GPU разных серверов через сетевой адаптер без участия CPU и оперативной памяти. GPUDirect Storage обеспечивает прямой доступ GPU к данным на NVMe-накопителях. Обе технологии критически важны для обучения больших нейросетей, HPC-задач и работы с большими данными. ConnectX-6 полностью поддерживает обе технологии.
Какие трансиверы и кабели совместимы с QSFP56?
Порты QSFP56 поддерживают: оптические трансиверы QSFP56/QSFP28 (SR4, LR4, AOC), DAC-кабели (прямое медное подключение на расстояние до 5 м), AOC-кабели (Active Optical Cable) на расстояние до 100 м. Для подключения к оборудованию с портами QSFP28 можно использовать трансиверы QSFP28 — порт QSFP56 обратно совместим. Рекомендуется использовать оригинальные трансиверы Mellanox для гарантии совместимости.
Можно ли использовать адаптер в слоте PCIe 3.0 x16?
Да, ConnectX-6 имеет обратную совместимость с PCIe 3.0. Однако в этом случае пропускная способность шины будет ограничена до 32 ГБ/с (вместо 64 ГБ/с для PCIe 4.0), что может стать узким местом при полной загрузке обоих портов 100 Гбит/с. Для раскрытия полной производительности адаптера рекомендуется использовать серверы с PCIe 4.0 x16.
Поддерживается ли виртуализация (VMware, Hyper-V, KVM)?
Да, ConnectX-6 полностью поддерживает виртуализацию через технологию SR-IOV (до 128 виртуальных функций на порт). Это позволяет напрямую назначать виртуальные функции адаптера виртуальным машинам, обеспечивая минимальную задержку и максимальную производительность. Поддерживаются VMware vSphere 8.0, Microsoft Hyper-V, KVM, Citrix Hypervisor.
Какие операционные системы поддерживаются?
ConnectX-6 поддерживает широкий спектр ОС: Linux (RHEL 8/9, Ubuntu 22.04/24.04, SLES 15, Debian), VMware ESXi 8.0, Windows Server 2019/2022, FreeBSD. Драйверы доступны через пакет Mellanox OFED (для Linux) и WinOF-2 (для Windows). Для работы с InfiniBand и RDMA рекомендуется использовать последнюю версию драйвера с сайта NVIDIA/Mellanox.
Можно ли использовать один порт для Ethernet, а второй для InfiniBand?
Да, благодаря технологии VPI каждый порт может быть независимо настроен на работу в режиме Ethernet или InfiniBand. Это позволяет, например, использовать один порт для подключения к Ethernet-сети управления, а второй — к InfiniBand-сети для HPC-задач. Конфигурация выполняется через утилиту MFT (Mellanox Firmware Tools) и требует соответствующей прошивки адаптера.
Как обновить прошивку адаптера?
Прошивка обновляется через утилиту MFT (Mellanox Firmware Tools) — flint или mlxfwmanager. Обновление можно выполнить без перезагрузки сервера (в большинстве случаев), но требуется кратковременное отключение сетевых интерфейсов. Рекомендуется обновлять прошивку до последней стабильной версии с сайта NVIDIA/Mellanox для получения новых функций и исправлений безопасности. Перед обновлением создайте резервную копию текущей конфигурации.
Нет вопросов об этом товаре.
