Как выбрать сетевую карту для сервера

Сетевую карту для сервера выбирают не только по скорости. Необходимо одновременно проверить тип разъёма и кабеля, количество портов, поколение и ширину PCIe, поддержку операционной системы или гипервизора, форм-фактор платы и нужные аппаратные функции. Для небольшого сервера часто достаточно двух портов 1 или 10 Гбит/с, для виртуализации и систем хранения обычно выбирают 10/25 Гбит/с, а 40/50/100 Гбит/с применяют в нагруженных кластерах и ЦОД.

Главное правило: сначала определите нагрузку и схему сети, затем подбирайте адаптер под сервер, коммутатор, кабельную среду и программную платформу. Даже быстрая карта не раскроет возможности, если установлена в узкий PCIe-слот, не поддерживается драйвером или подключена несовместимым трансивером.

Чем серверная сетевая карта отличается от обычной

Серверный сетевой адаптер, или NIC, рассчитан на постоянную нагрузку, множество параллельных потоков и виртуализацию. Такие карты обычно имеют один, два или четыре порта, развитые аппаратные очереди, функции разгрузки процессора, поддержку VLAN, RSS и SR-IOV.

Для VMware необходимо проверять точную модель адаптера, драйвер и прошивку в Hardware Compatibility Guide. Совпадение названия контроллера или наличие Windows-драйвера не гарантирует совместимость с ESXi.

Настольная карта может определиться в Windows или Linux, но не обеспечивать стабильную работу в гипервизоре, корректный teaming, аппаратные очереди и охлаждение в плотном серверном корпусе.

Как выбрать скорость сетевой карты

Когда достаточно 1 Гбит/с

Гигабитный интерфейс подходит для контроллера домена, сервера печати, служебного управления и резервного канала. Теоретически 1 Гбит/с соответствует 125 МБ/с до учёта служебного трафика, поэтому при работе с SSD, резервными копиями и несколькими виртуальными машинами сеть быстро становится узким местом.

Когда выбирать 10 Гбит/с

10GbE остаётся универсальным вариантом для небольших и средних инфраструктур. Он подходит для файлового сервера, гипервизора, локальной СХД, резервного копирования и нескольких VLAN.

Для существующей Cat6A используют 10GBASE-T с RJ-45. В стойке чаще применяют SFP+ с DAC, между стойками и помещениями — SFP+ с оптическими модулями.

Когда нужен 25GbE

25GbE стоит рассматривать для нового узла Proxmox, Hyper-V или VMware, систем Ceph, vSAN, Storage Spaces Direct и серверов с NVMe. Один канал 25 Гбит/с даёт больше пропускной способности, чем 10GbE, без перехода к более крупному форм-фактору QSFP.

В каталоге РИТМ-ИТ представлены двух- и четырёхпортовые серверные адаптеры SFP28 на 25 Гбит/с, а также 10GbE-карты с RJ-45 и SFP+.

Когда нужны 40–100 Гбит/с

Такие скорости применяют в распределённых хранилищах, HPC, инфраструктуре ИИ и крупных виртуальных кластерах. Здесь критичны поколение PCIe, привязка к NUMA-узлу и поддержка RDMA.

Например, NVIDIA указывает для ConnectX-6 до 100 Гбит/с в PCIe 3.0 x16 и до 200 Гбит/с в PCIe 4.0 x16. Это показывает, почему производительность NIC необходимо сопоставлять с системной шиной.

RJ-45, SFP+, SFP28 или QSFP

RJ-45

Медный порт RJ-45 удобен для существующей витой пары и подключения серверов на расстоянии до 100 м. Для 10GBASE-T на полной длине обычно требуется Cat6A. Преимущества — привычный монтаж и отсутствие отдельных трансиверов. Недостатки — более высокие нагрев и энергопотребление по сравнению с коротким DAC.

SFP+ и SFP28

SFP+ применяется для 10 Гбит/с, SFP28 — преимущественно для 25 Гбит/с. В порт устанавливают оптический модуль либо подключают DAC или AOC. DAC удобен внутри стойки, оптика — для более длинных линий.

SFP28 внешне похож на SFP+, но обратная совместимость зависит от карты, коммутатора, прошивки и модуля. Её нужно проверять в документации обоих устройств.

QSFP+, QSFP28 и breakout

QSFP-интерфейсы используются для 40, 100 и более Гбит/с. При поддержке breakout один порт можно разделить на несколько линий: например, 100 Гбит/с на четыре подключения по 25 Гбит/с. Такой режим должны поддерживать NIC, коммутатор, кабель и настройки портов.

Как проверить PCIe

В характеристиках сетевой карты указываются поколение и число линий: PCIe 3.0 x4, PCIe 3.0 x8, PCIe 4.0 x16 и другие варианты. Длинный разъём x16 может быть электрически подключён только как x8 или x4.

PCI-SIG указывает примерно 1 ГБ/с на линию в одном направлении для PCIe 3.0, а PCIe 4.0 с 16 GT/s удваивает пропускную способность поколения 3.0.

Перед покупкой проверьте:

• реальное число линий слота;
•  покколение PCIe процессора и платы;
•  ограничения при отсутствии второго CPU;
•  совместное использование линий с GPU, NVMe и RAID;
•  скорость согласования карты после установки;
•  NUMA-привязку слота.

Два порта на одной карте не всегда способны одновременно работать на полной номинальной скорости. Спецификация может ограничивать суммарную пропускную способность адаптера.

Сколько портов нужно

Один порт

Подходит для дополнительного канала к СХД или отдельной сети. В качестве единственного интерфейса не обеспечивает физического резервирования.

Два порта

Наиболее универсальный вариант. Порты подключают к двум коммутаторам, разделяют пользовательский и служебный трафик либо выделяют сеть хранения.

Агрегация двух линий не обязательно удваивает скорость одного TCP-соединения: разные потоки распределяются между портами по алгоритму балансировки.

Четыре порта

Полезны при дефиците PCIe-слотов и большом числе физических сегментов. Но все линии зависят от одной платы. Для критичной системы надёжнее два независимых двухпортовых NIC, подключённых к разным коммутаторам.

Форм-фактор и совместимость с сервером

Проверьте:

●       стандартную PCIe-карту или OCP NIC 3.0;

●       планку low-profile или full-height;

●       размеры платы;

●       свободный и правильно подключённый слот;

●       допустимую мощность и воздушный поток;

●       совместимость с серверной платформой.

OCP 3.0 — отдельный форм-фактор и не устанавливается в обычный PCIe-слот. На ritm-it.ru представлены как стандартные PCIe-карты, так и Intel E810 для OCP 3.0.

OEM-карта Dell, HPE, Lenovo или Supermicro может использовать контроллер Intel, Broadcom или NVIDIA, но иметь собственную прошивку и идентификаторы. Для фирменного сервера предпочтительна модель из списка поддерживаемых опций.

Совместимость с Windows Server, Linux, Proxmox и VMware

Windows Server

Проверьте драйвер для конкретной версии Windows Server и поддержку RSS, VMQ, SR-IOV, RDMA и teaming. Microsoft рекомендует выбирать адаптер с нужными аппаратными разгрузками и сертификацией Windows Server.

Linux и Proxmox VE

Proxmox использует сетевой стек Linux, поэтому важны поддержка PCI ID текущим ядром, стабильность драйвера и доступность прошивки.

Перед закупкой проверьте модуль драйвера, поддержку трансиверов и DAC, работу SR-IOV и наличие диагностических утилит. Слишком новая карта может требовать более свежего ядра, а старая — потерять поддержку после обновления.

VMware ESXi

Для ESXi ищут точную модель NIC в VMware Compatibility Guide и сверяют версию гипервизора, драйвер и прошивку.

Наличие драйвера для Linux не означает поддержку ESXi. Проверку HCL повторяют перед каждым крупным обновлением гипервизора.

Какие функции нужны серверной карте

RSS и аппаратные очереди

RSS распределяет обработку входящих пакетов между ядрами CPU и особенно важен для 10GbE и более быстрых сетей. Для многопортовых карт очереди желательно распределять по ядрам локального NUMA-узла.

Аппаратные разгрузки

Checksum offload и TCP segmentation offload переносят часть обработки пакетов на NIC. Они снижают загрузку процессора, если корректно поддерживаются драйвером и гипервизором.

SR-IOV

SR-IOV создаёт виртуальные функции физической карты, которые можно назначать виртуальным машинам с меньшими накладными расходами. Для работы нужны поддержка NIC, BIOS, IOMMU и гипервизора.

Функция полезна для чувствительных к задержке приложений, но может усложнять миграцию и сетевое управление.

RDMA

RDMA снижает участие CPU при обмене между серверами и СХД. Он применяется в SMB Direct, Storage Spaces Direct, RoCE, iWARP, HPC и некоторых распределённых хранилищах.

Поддержки RDMA на самой карте недостаточно: необходимы совместимый протокол, драйверы, коммутаторы и единая настройка всех узлов. Microsoft допускает конвергентную схему, где RDMA и обычный трафик используют один физический адаптер.

Рекомендации по типовым задачам

Типичные ошибки

Выбирать только по скорости

25 или 100 Гбит/с не дадут результата без подходящего PCIe, коммутатора, кабеля, драйвера и производительной дисковой подсистемы.

Путать OCP и PCIe

OCP-карта не заменяет обычную PCIe-плату. Проверяйте разъём сервера до заказа.

Забывать о трансиверах

SFP+, SFP28 и QSFP-карты часто поставляются без модулей. DAC, AOC или оптику подбирают с учётом совместимости карты и коммутатора.

Считать четыре порта полной отказоустойчивостью

Все порты одной карты зависят от одного контроллера и слота. Для критичной сети используйте два NIC.

Игнорировать охлаждение и прошивку

Высокоскоростной адаптер требует установленного производителем воздушного потока. Драйвер, прошивка NIC и версия гипервизора должны образовывать поддерживаемую комбинацию.

Чек-лист выбора

1.     Определить нагрузку и требуемую скорость.

2.     Выбрать RJ-45, SFP+, SFP28 или QSFP.

3.     Рассчитать рабочие и резервные порты.

4.     Проверить PCIe или OCP 3.0.

5.     Сверить поколение и ширину PCIe.

6.     Проверить планку и размеры платы.

7.     Найти адаптер в HCL сервера и гипервизора.

8.     Проверить драйвер для нужной ОС.

9.     Уточнить поддержку RSS, SR-IOV и RDMA.

10.  Подобрать трансиверы или DAC.

11.  Проверить охлаждение и прошивку.

12.  Продумать подключение к двум коммутаторам.

Частые вопросы

Какую скорость выбрать для сервера?

Для небольшого офиса достаточно 1–10 Гбит/с. Для нового сервера виртуализации или быстрого хранилища разумнее 25 Гбит/с, если эту скорость поддерживает коммутатор.

Сколько портов нужно?

Для большинства задач оптимальны два порта. Для критичной инфраструктуры лучше использовать два независимых адаптера.

Можно ли установить карту PCIe x8 в слот x16?

Да, но нужно проверить, сколько линий фактически подключено к слоту.

Будет ли PCIe 4.0-карта работать в PCIe 3.0?

Обычно PCIe обратно совместим, но карта согласуется на меньшей скорости.

Что выбрать для 10 Гбит/с: RJ-45 или SFP+?

RJ-45 удобен для Cat6A и удалённых подключений. SFP+ с DAC предпочтителен внутри стойки, а с оптикой — для магистралей.

Нужен ли SR-IOV обычному серверу?

Нет. Для файлового или прикладного сервера обычно достаточно RSS и аппаратных разгрузок.

Вывод

Для выбора сетевой карты сначала определите скорость, нагрузку и схему резервирования. Затем проверьте порты, PCIe, форм-фактор, драйверы, HCL и совместимость кабелей или трансиверов.

Небольшому серверу подходят два порта 1 или 10 Гбит/с. Для виртуализации, резервного копирования и быстрого хранилища чаще выбирают 10 или 25 Гбит/с. Карты 40–100 Гбит/с оправданы, только если такую скорость поддерживает вся инфраструктура.

Универсальный вариант для нового сервера виртуализации — двухпортовый адаптер 25GbE SFP28 при наличии совместимого коммутатора. Для сети на Cat6A практичнее двухпортовый 10GBASE-T. Конкретную модель нужно проверять вместе с сервером, слотом, ОС, прошивкой и сетевыми модулями.