Анотація
Оскільки штучний інтелект (AI) швидко розвивається, традиційні мережі центрів обробки даних стикаються з серйозними проблемами під час передачі трафіку AI. Високе використання пропускної здатності та невелика кількість слонових потоків можуть зробити звичайне балансування навантаження за -поток неефективним, що призведе до перевантаження та втрати пакетів, що значно збільшить час навчання моделі AI та час виконання завдань. У цьому білому документі розглядається динамічна інтелектуальна технологія маршрутизації, яка поєднує-обізнаність у реальному часі з інтелектуальним-прийняттям рішень. Він використовує-вимірювання якості шляху, розширену{7}}синхронізацію атрибутів BGP, динамічно зважену-вартість багатошляхового переходу (WCMP), аномальне-видалення шляху та
Автоматичне балансування навантаження на рівні Flowlet- (ALB) для покращення планування трафіку в середовищах ШІ. У проекті також використовується віртуалізація для забезпечення ізоляції кількох-користувачів і пропонує сценарії застосування та вказівки з планування для ефективних, стабільних і інтелектуальних мереж центрів обробки даних зі штучним інтелектом.
Вступ: Еволюція мережі в штучному інтелекті Ера
Чому традиційні мережі борються з ШІ трафік
У традиційних мережах центрів обробки даних велика кількість невеликих потоків дає змогу балансувати навантаження для кожного-потоку, щоб досягти прийнятного розподілу й уникнення перевантажень навіть без-інформації про стан мережі в реальному часі. Штучний трафік дуже різний: використання смуги пропускання надзвичайно високе, а трафік часто складається лише з кількох потоків слонів. Таким чином, хеш-колізії можуть помістити кілька великих потоків на той самий шлях, тоді як інші шляхи залишаються недостатньо використаними. Коли відбувається втрата пакетів, час виконання всього робочого навантаження ШІ може значно збільшитися. З цієї причини індустрія все більше зосереджується на оптимізованих алгоритмах-балансування навантаження для структур ШІ, щоб трафік розподілявся більш рівномірно між кількома шляхами.
Малюнок 1. Порівняння трафіку -слона штучного інтелекту та традиційного трафіку малого{2}}потоку.
Поєднання динамічної обізнаності з інтелектуальним{0}}прийняттям рішень
Динамічна інтелектуальна маршрутизація – це технологія-балансування навантаження-на основі поінформованості. Він використовує якість шляху, визначену перемикачами в структурі, для налаштування локального вибору шляху та підтримує динамічно зважене балансування навантаження. Побудована на основі BGP, технологія визначає новий розширений-атрибут спільноти.
Багато{0}}вимірні високо-точні вимірювання використовуються для оцінки якості шляху, а результат поширюється через BGP для подальшого пересилання трафіку. Це покращує-розподіл навантаження по всій мережі та зменшує час відповіді програми [1].
Рисунок 2. Динамічне усвідомлення, прийняття рішень і робочий процес виконання.
Основні технології: інтелектуальне планування трафіку
Основні підходи до{0}}балансування навантаження мережі включають:
- За-потік ECMP: найпоширеніший підхід, заснований на хеші п’яти-кортежів. Він добре працює, коли є багато потоків і зберігає порядок пакетів, але хеш-колізії можуть призвести до поганого балансування, коли кількість потоків низька, як у навчанні ШІ [1].
- Баланс-на основі потоку: залежить від правильної конфігурації між-розриву потоку. Точна конфігурація складна, коли затримка рівня-глобального шляху невідома [1].
- По-пакетний ECMP: забезпечує чудовий теоретичний баланс, але може спричинити значне перевпорядкування пакетів на одержувачі [1].
Підхід до динамічної інтелектуальної маршрутизації, який використовується комутаторами RoCE серії XingRongyuan CX-N (на основі SONiC-), поєднує балансування на основі-потоку ECMP і Flowlet-. Він представляє динамічний WCMP (Weighted Cost Multipath) і Flowlet-ALB (Auto Load Balancing) [1].
Вимірювання якості шляху
Система оцінює якість мережевого шляху, використовуючи фактори, які сильно впливають на структуру кластерів ШІ, включаючи використання пропускної здатності, використання черги та затримку пересилання.
Статистичні лічильники
Пропускна здатність і використання черги вимірюються апаратними лічильниками ASIC із точністю до ста-мілісекунд. ASIC записує лічильники-переадресації портів і черги-переадресації в реальному часі. Площина керування SONiC зчитує лічильники через інтерфейс SAI із до-секундною точністю та зберігає їх у Redis. Процес-контролю маршрутизації оцінює якість інтерфейсу за допомогою цих лічильників і оголошує результат через BGP. Щоб обмежити навантаження-площини керування, оголошення наразі надсилаються з інтервалами другого{10}}рівня, із зваженим середнім значенням, застосованим до кількох зразків; новіші зразки отримують більшу вагу.
У-діапазоні телеметрії
Вимірювання-затримки пересилання базується на INT (In-мережева телеметрія) і може досягати рівня-наносекундної точності. HDC (High Delay Capture) фіксує пакети, які мають високу затримку всередині ASIC. Коли пакет перевищує -визначений користувачем поріг затримки, комутатор надсилає перші 150 байтів вихідного пакета разом із метаданими, зокрема вхідний порт, вихідний порт і затримку, до збирача. У цій конструкції ЦП діє як збирач і аналізатор HDC, забезпечуючи високо-точні вимірювання-затримки пересилання та точнішу-оцінку якості шляху.
Рисунок 3. Шлях-розповсюдження якості та встановлення WCMP.
Технологія використовує новий розширений{0}}атрибут спільноти BGP, Path Bandwidth Extended Community, щоб вказати загальну якість шляху до пункту призначення. Старший-байт поля розширеного-типу — 0x00, а молодший-байт — 0x05. У полі значення підполе Global Administrator представляє номер AS. Якість шляху кодується чотирма байтами за допомогою формату-плаваючої крапки IEEE і виражається в ГБ/с.
Коли NIC1 спілкується з NIC2, NIC2 спочатку повідомляє свою IP-адресу Leaf2. Leaf2 рекламує адресу Spine разом із значенням-якості посилання до NIC2, помноженим на вагу низхідного зв’язку Leaf2. Spine додає власну зважену якість зв’язку та передає накопичене значення до Leaf1. Leaf1 підсумовує якість шляху та встановлює маршрути, які направляють переадресацію. У дворівневій-компоненті Leaf-Spine порти класифікуються як Leaf uplinks, Leaf downlinks і Spine ports, із настроюваними коефіцієнтами обчислення для кожного класу.
Динамічний WCMP
Балансування навантаження розподіляє трафік між кількома посиланнями. У середовищах штучного інтелекту це важливо для створення мережі Ethernet без втрат із мінімальними втратами пакетів, затримкою та зниженням пропускної здатності. ECMP є звичайним механізмом у центрах обробки даних. WCMP розширює ECMP шляхом розповсюдження
трафік пропорційно між посиланнями. У динамічній інтелектуальній маршрутизації ваги WCMP регулюються в реальному часі відповідно до якості шляху. Наприклад, якщо існують два шляхи між NIC1 і NIC2, система може розрахувати співвідношення 3:7. У міру зміни трафіку оновлена-інформація про якість шляху передається через BGP до кожного кінцевого комутатора, де генеруються динамічні маршрути WCMP для переадресації.
Видалення аномального шляху
Коли загальна якість шляху падає нижче узгодженого порогу, шлях вважається непридатним для роботи штучного інтелекту та видаляється з пересилання. Інші шляхи продовжують передавати трафік через динамічний WCMP. Коли шлях повертається до нормального стану, він відновлюється. Хоча це може тимчасово залишити деяку ємність невикористаною, це запобігає більш серйозним перевантаженням і втраті пакетів [1].
Інтелектуальне балансування навантаження (ALB)
ALB забезпечує розподіл навантаження-на основі Flowlet. ASIC вимірює навантаження та затримку на різних портах у реальному часі та спрямовує кожен Flowlet до каналу з меншим навантаженням або меншою затримкою. Це додає більш детальне-планування на додаток до традиційного ECMP. ALB також підтримує відмову портів і автоматично перерозподіляє трафік у разі збою вихідного каналу [1].
Віртуалізація
Передні-мережі часто потребують-підтримки кількох клієнтів, щоб різні ресурси графічного процесора могли розподілятися між різними користувачами. Рішення використовує VRF (віртуальну маршрутизацію та переадресацію) для ізоляції орендарів, при цьому кожному користувачеві призначається один VRF. Підмережі, пов’язані з GPU-, розміщуються у VRF користувача, а PRE ACL у ASIC класифікують вхідний трафік, щоб трафік кожного користувача пересилався лише в межах відповідного VRF [1].
Сценарії застосування
1.Як Dynamic WCMP поглинає стрибки трафіку
Для комбінованої мережі з 256 портами графічного процесора x 400G можна спроектувати дворівневу-архітектуру Clos із коефіцієнтом конвергенції низхідного каналу-до-висхідного зв’язку 1:1, щоб підтримувати високу пропускну здатність, високу пропускну здатність і симетричну пропускну здатність. Відповідні моделі продуктів включають XingRongyuan CX864E-N або CX732Q-N [1]. Згідно з традиційним ECMP, невелика кількість потоків слона штучного інтелекту може хешуватися до того самого Spine, викликаючи перевантаження висхідної лінії зв’язку або втрату пакетів. Dynamic WCMP постійно коригує розподіл трафіку відповідно до-якості маршруту в реальному часі, зменшуючи стрибки трафіку та уникаючи заторів [1].
2.Flowlet-Рівневе балансування навантаження
У тій же структурі GPU 256 x 400G не кожен пристрій або робоче навантаження найкраще обслуговуються динамічним WCMP. Перемикач може динамічно вибирати ALB на основі Flowlet-. ALB вимірює навантаження та затримку посилань у групі ECMP і надсилає Flowlets на посилання з меншим використанням або затримкою. Якщо інтерфейс стає перевантаженим або його затримка пересилання зростає, ASIC автоматично уникає цього виходу, доки умови не повернуться до нормального [1].
Планування та проектування мереж ШІ
Послуги AI зазвичай включають три етапи: збір даних і попередня обробка, навчання моделі та висновок AI. Кожен етап висуває різні вимоги до мережі.
1. Збір даних і попередня обробка
Глобальна мережа-для збору й попередньої обробки даних для навчання має надавати широкомасштабні,{1}}еластичні загальнодоступні IP-ресурси та ресурси пропускної здатності, щоб можна було ефективно збирати величезні необроблені набори даних із глобальної мережі Інтернет. Конструкція повинна забезпечувати безпечну та стабільну передачу, одночасно покращуючи агрегацію даних і продуктивність попередньої обробки [2].
1.1 Сегментація VPC
Дизайн VPC для збирання даних на основі-хмари має відповідати принципам найменших-привілеїв, багаторівневої ізоляції, контролю безпеки та еластичної масштабованості. Можна використовувати або кілька VPC, або кілька підмереж всередині одного VPC [2].
- Сегментуйте за етапом обслуговування: розгортайте збір даних, попередню обробку, зберігання, навчання та висновки в окремих підмережах або VPC. Розмістіть точки входу збору в DMZ VPC або публічну підмережу; розміщувати дані попередньої обробки та тимчасові дані у спеціальному VPC обробки; розміщуйте конфіденційні необроблені дані та навчання ШІ у високо-захищеній VPC без прямого публічного доступу.
- Ізоляція за рівнем безпеки: створюйте VPC або підмережі з високим-, середнім- і низьким{2}}захистом і використовуйте групи безпеки, мережеві списки керування доступом і приватне підключення для контролю між-VPC і між-підмережного трафіку.
- Ізоляція за клієнтом або проектом: призначте окремі VPC для різних орендарів або проектів, щоб ізолювати ресурси, мережі та дані.
1.2 Вихідна мережа збору даних
Шлюз NAT: використовуйте пул EIP та SNAT через шлюз NAT, дозволяючи програмам збору отримувати доступ до Інтернету з довільно вибраних публічних IP-адрес.
Власно{0}}збудований проксі: розгорніть проксі-сервери, які підтримують зіставлення між процесами збору та загальнодоступними IP-адресами, а також розповсюджуйте один запит на збір між кількома проксі.
Постачальник IP-послуг: підключіться до постачальника IP-послуг через хмарну приватну мережу для зниження вартості, контрольованої безпеки та стабільної якості [2].
1.3 Між-регіональне агрегування та попередня обробка даних
Виберіть регіон OSS відповідно до-плану кластера попередньої обробки та створіть VPC-агрегації даних у цьому ж регіоні. Створіть транзитний маршрутизатор (TR) у кожному регіоні, підключіть локальні VPC та з’єднайте між собою TR, щоб VPC регіонального збору мали прямий доступ до центрального OSS. Такі служби, як PAI-iTAG, MaxCompute та Flink, можуть виконувати маркування та попередню обробку даних у регіоні OSS [2].
2. Модель навчальної мережі
Мережа-навчання моделі тісно інтегрована з мережею збору та попередньої обробки, щоб утворити глобальну структуру, яка з’єднує хмарні центри обробки даних, крайові вузли та-локальні IDC.
Високо{0}}швидкісне з’єднання забезпечує низьку-затримку, високу-пропускну здатність переміщення даних, тоді як пропускна здатність, політики безпеки, засоби керування доступом і аварійне відновлення мають бути розроблені наскрізно [2].
- У-регіональному-обчислювальному пулі кластерів: транзитний маршрутизатор з’єднує кілька VPC в одному регіоні. Серверні ENI підключаються до комутаторів VPC і можуть бути налаштовані на необхідну пропускну здатність і RDMA.
- Між-хмарний обчислювальний пул: виділені канали підключають IDC або іншу хмару до того самого-регіону VPC. Хмарні VBR Alibaba підключаються на рівні 3 до однорангового пристрою за допомогою BGP, BFD і швидкого відновлення після відмови для швидкої конвергенції.
Глобальний обчислювальний пул: між-регіональні зв’язки між TR надаються відповідно до пікового між-регіонального трафіку з додатковим між-регіональним QoS для створення єдиного обчислювального пулу в регіонах [2].
3. Мережа-сервісу Global Inference
Глобальна мережа висновків вибирає моделі розгортання відповідно до ресурсів і хмарних сервісів, доступних у кожному регіоні, і забезпечує ефективний розподіл послуг і доступ [2].
- Розгортання моделі або агента: використовуйте розгортання MaaS Model Studio, розгортання PAI-EAS або Function Compute PaaS або розгортання IaaS на інфраструктурі EGS, ACK, ACS або Lingjun bare-metal всередині VPC клієнта.
- Розповсюдження служби: створіть VPC-розповсюдження для висновків і з’єднайте приватні мережі за допомогою VPC Peering, пов’язаної хмарної-служби VPC або PrivateLink. Розгорніть ALB або розширену ALB як точку доступу та запити проксі для різних моделей або агентів.
- Доступ до послуги: локальні користувачі Інтернету можуть отримати прямий доступ до розширеної ALB; віддалені користувачі можуть використовувати Global Accelerator (GA); внутрішні або зовнішні корпоративні користувачі Alibaba Cloud можуть підключатися приватно через PrivateLink.
Висновок і прогноз
Цей білий документ пояснює проблеми, з якими стикаються мережі IDC в епоху ШІ, і те, як динамічна інтелектуальна маршрутизація може їх вирішити. Динамічна обізнаність, інтелектуальне прийняття-рішень, віртуалізація WCMP, ALB і VRF підвищують ефективність-балансування навантаження, зменшують перевантаження та втрату пакетів, а також прискорюють навчання ШІ та висновки. У розділі планування наголошується на сегментації VPC, дизайні-виходу колекції, між-регіональному агрегуванні та попередній обробці, навчанні моделі та глобальній доставці висновків. Оскільки штучний інтелект продовжує розвиватися, мережі центрів обробки даних будуть стикатися з суворішими вимогами. Динамічну інтелектуальну маршрутизацію продовжуватимуть удосконалювати для периферійного штучного інтелекту, інтегрованого навчання та інших складних сценаріїв. Майбутні мережі IDC приділятимуть більшу увагу конвергенції-обчислювальних мереж, енергоефективності та автоматизованим операціям, створюючи більш розумну, ефективну та надійну основу для цифрової економіки.
Список літератури
Технічний вихідний документ,-наданий користувачем.
Біла книга Alibaba Cloud AI Network. Доступ 27 травня 2026 р.
https://help.aliyun.com/zh/cloud-мережа-добре-спроектована-дизайн/alibaba-хмара-ai-мережа-білий-папір