Най-разпространеният инструмент за мрежово наблюдение и отстраняване на неизправности днес е Switch Port Analyzer (SPAN), известен също като Port mirroring. Позволява ни да наблюдаваме мрежовия трафик в режим на байпас извън честотната лента, без да пречи на услугите в мрежата на живо, и изпраща копие на наблюдавания трафик до локални или отдалечени устройства, включително Sniffer, IDS или други видове инструменти за мрежов анализ.
Някои типични употреби са:
• Отстраняване на мрежови проблеми чрез проследяване на рамки за управление/данни;
• Анализирайте латентността и трептенето чрез мониторинг на VoIP пакети;
• Анализирайте латентността чрез наблюдение на мрежовите взаимодействия;
• Откриване на аномалии чрез наблюдение на мрежовия трафик.
SPAN Трафикът може да бъде локално огледален към други портове на същото устройство източник или дистанционно огледален към други мрежови устройства, съседни на слой 2 на устройството източник (RSPAN).
Днес ще говорим за технологията за наблюдение на отдалечен интернет трафик, наречена ERSPAN (Encapsulated Remote Switch Port Analyzer), която може да се предава през три слоя IP. Това е разширение на SPAN към Encapsulated Remote.
Основни принципи на работа на ERSPAN
Първо, нека да разгледаме характеристиките на ERSPAN:
• Копие на пакета от изходния порт се изпраща до целевия сървър за анализ чрез Generic Routing Encapsulation (GRE). Физическото местоположение на сървъра не е ограничено.
• С помощта на функцията User Defined Field (UDF) на чипа, всяко отместване от 1 до 126 байта се извършва въз основа на основния домейн чрез разширения списък на експертно ниво и ключовите думи на сесията се съпоставят, за да се реализира визуализацията на сесията, като TCP тристранно ръкостискане и RDMA сесия;
• Поддържа настройка на честотата на дискретизация;
• Поддържа дължина на прихващане на пакети (Packet Slicing), намалявайки натиска върху целевия сървър.
С тези функции можете да разберете защо ERSPAN е основен инструмент за наблюдение на мрежи в центрове за данни днес.
Основните функции на ERSPAN могат да бъдат обобщени в два аспекта:
• Видимост на сесията: Използвайте ERSPAN, за да съберете всички създадени нови TCP и сесии за отдалечен директен достъп до паметта (RDMA) към бек-енд сървъра за показване;
• Отстраняване на неизправности в мрежата: Улавя мрежовия трафик за анализ на грешки, когато възникне мрежов проблем.
За да направи това, изходното мрежово устройство трябва да филтрира трафика, представляващ интерес за потребителя, от масивния поток от данни, да направи копие и да капсулира всеки кадър за копиране в специален „контейнер за суперкадър“, който носи достатъчно допълнителна информация, така че да може да бъдат правилно насочени към приемащото устройство. Освен това, разрешете на приемащото устройство да извлече и възстанови напълно оригиналния наблюдаван трафик.
Получаващото устройство може да бъде друг сървър, който поддържа декапсулиране на ERSPAN пакети.
Анализът на типа и формата на пакета ERSPAN
ERSPAN пакетите се капсулират с помощта на GRE и се препращат към всяка IP адресируема дестинация през Ethernet. В момента ERSPAN се използва главно в IPv4 мрежи, а поддръжката на IPv6 ще бъде изискване в бъдеще.
За общата структура на капсулиране на ERSAPN, следното е улавяне на огледални пакети на ICMP пакети:
Протоколът ERSPAN се развива в продължение на дълъг период от време и с подобряването на възможностите му се формират няколко версии, наречени „Типове ERSPAN“. Различните типове имат различни формати на заглавката на рамката.
Дефинира се в първото поле за версия на заглавката на ERSPAN:
Освен това полето Тип протокол в заглавката на GRE също показва вътрешния тип ERSPAN. Полето тип протокол 0x88BE показва ERSPAN тип II, а 0x22EB показва ERSPAN тип III.
1. Тип I
ERSPAN рамката от тип I капсулира IP и GRE директно върху заглавката на оригиналната огледална рамка. Това капсулиране добавя 38 байта към оригиналния кадър: 14(MAC) + 20 (IP) + 4(GRE). Предимството на този формат е, че има компактен размер на заглавието и намалява разходите за предаване. Въпреки това, тъй като задава полетата GRE Flag и Version на 0, то не носи никакви разширени полета и Тип I не се използва широко, така че няма нужда да се разширява повече.
Форматът на заглавката на GRE от тип I е както следва:
2. Тип II
В тип II полетата C, R, K, S, S, Recur, Flags и Version в заглавката GRE са 0, с изключение на полето S. Следователно полето за пореден номер се показва в заглавката на GRE от тип II. Това означава, че Тип II може да осигури реда на получаване на GRE пакети, така че голям брой GRE пакети извън реда да не могат да бъдат сортирани поради повреда в мрежата.
Форматът на заглавката на GRE от тип II е както следва:
В допълнение форматът на рамката ERSPAN тип II добавя 8-байтова ERSPAN заглавка между заглавката GRE и оригиналния огледален кадър.
Форматът на заглавката на ERSPAN за тип II е както следва:
И накрая, непосредствено след оригиналната рамка на изображението, е стандартният 4-байтов Ethernet код за циклична проверка на излишъка (CRC).
Струва си да се отбележи, че при изпълнението огледалната рамка не съдържа FCS полето на оригиналната рамка, вместо това се преизчислява нова стойност на CRC въз основа на целия ERSPAN. Това означава, че приемащото устройство не може да провери коректността на CRC на оригиналния кадър и можем само да приемем, че са огледални само неповредени кадри.
3. Тип III
Тип III въвежда по-голям и по-гъвкав съставен хедър за адресиране на все по-сложни и разнообразни сценарии за наблюдение на мрежата, включително, но не само, управление на мрежата, откриване на проникване, анализ на производителността и забавянето и др. Тези сцени трябва да знаят всички оригинални параметри на огледалната рамка и да включват тези, които не присъстват в самата оригинална рамка.
Композитният хедър на ERSPAN тип III включва задължителен 12-байтов хедър и незадължителен 8-байтов подзаглавие, специфично за платформата.
Форматът на заглавката на ERSPAN за тип III е както следва:
Отново, след оригиналната огледална рамка е 4-байтов CRC.
Както може да се види от формата на заглавката на Тип III, в допълнение към запазването на полетата Ver, VLAN, COS, T и ID на сесия на базата на Тип II, се добавят много специални полета, като например:
• BSO: използва се за указване на целостта на натоварването на кадрите с данни, пренасяни през ERSPAN. 00 е добра рамка, 11 е лоша рамка, 01 е къса рамка, 11 е голяма рамка;
• Timestamp: експортиран от хардуерния часовник, синхронизиран със системното време. Това 32-битово поле поддържа най-малко 100 микросекунди детайлност на времевия печат;
• Frame Type (P) и Frame Type (FT): първият се използва за указване дали ERSPAN пренася Ethernet протоколни рамки (PDU рамки), а вторият се използва за определяне дали ERSPAN пренася Ethernet рамки или IP пакети.
• HW ID: уникален идентификатор на двигателя ERSPAN в системата;
• Gra (Державност на клеймото за време): Указва детайлността на клеймото за време. Например 00B представлява детайлност от 100 микросекунди, 01B детайлност от 100 наносекунди, грануларност 10B IEEE 1588, а 11B изисква специфични за платформата подзаглавия за постигане на по-висока детайлност.
• Platf ID спрямо конкретна информация за платформа: Полетата за специфична информация за Platf имат различни формати и съдържание в зависимост от стойността на Platf ID.
Трябва да се отбележи, че различните полета за заглавки, поддържани по-горе, могат да се използват в обикновени приложения на ERSPAN, дори отразяващи рамки за грешка или BPDU рамки, като същевременно се поддържа оригиналният Trunk пакет и VLAN ID. В допълнение към всеки ERSPAN кадър по време на дублирането може да се добави ключова информация за клеймо за време и други информационни полета.
Със собствените заглавки на функциите на ERSPAN можем да постигнем по-прецизен анализ на мрежовия трафик и след това просто да монтираме съответния ACL в процеса на ERSPAN, за да съответства на мрежовия трафик, който ни интересува.
ERSPAN прилага видимост на RDMA сесията
Нека вземем пример за използване на технологията ERSPAN за постигане на визуализация на RDMA сесия в RDMA сценарий:
RDMA: Дистанционният директен достъп до паметта позволява на мрежовия адаптер на сървър A да чете и записва паметта на сървър B чрез използване на интелигентни мрежови интерфейсни карти (inics) и комутатори, постигайки висока честотна лента, ниска латентност и ниско използване на ресурсите. Той се използва широко в сценарии за големи данни и високопроизводително разпределено съхранение.
RoCEv2: RDMA през конвергентен Ethernet версия 2. RDMA данните са капсулирани в UDP заглавката. Номерът на порта на дестинацията е 4791.
Ежедневната работа и поддръжка на RDMA изисква събиране на много данни, които се използват за събиране на ежедневни референтни линии на нивото на водата и необичайни аларми, както и основа за локализиране на необичайни проблеми. В комбинация с ERSPAN масивни данни могат да бъдат заснети бързо, за да се получат данни за качество на препращане за микросекунди и статус на взаимодействие на протокола на превключващ чип. Чрез статистика и анализ на данни може да се получи оценка и прогноза за качество на препращане от край до край на RDMA.
За да постигнем визуализация на RDAM сесията, се нуждаем от ERSPAN, за да съпоставим ключови думи за сесии за взаимодействие с RDMA, когато отразяваме трафика, и трябва да използваме експертния разширен списък.
Дефиниция на полето за разширен списък на ниво експерт:
UDF се състои от пет полета: UDF ключова дума, основно поле, поле за отместване, поле за стойност и поле за маска. Ограничени от капацитета на хардуерните записи, могат да се използват общо осем UDF. Един UDF може да съответства на максимум два байта.
• UDF ключова дума: UDF1... UDF8 Съдържа осем ключови думи от UDF съвпадащия домейн
• Основно поле: идентифицира началната позиция на полето за съвпадение на UDF. Следното
L4_header (приложимо за RG-S6520-64CQ)
L5_header (за RG-S6510-48VS8Cq)
• Отместване: показва отместването въз основа на основното поле. Стойността варира от 0 до 126
• Поле за стойност: съответстваща стойност. Може да се използва заедно с полето за маска за конфигуриране на конкретната стойност, която да бъде съпоставена. Валидният бит е два байта
• Поле маска: маска, валидният бит е два байта
(Добавяне: Ако се използват множество записи в едно и също поле за съвпадение на UDF, полетата за основа и отместване трябва да са еднакви.)
Двата ключови пакета, свързани със състоянието на RDMA сесията, са пакет за уведомяване за претоварване (CNP) и отрицателно потвърждение (NAK):
Първото се генерира от RDMA приемника след получаване на ECN съобщението, изпратено от комутатора (когато eout буферът достигне прага), което съдържа информация за потока или QP, причиняващи задръстване. Последното се използва, за да покаже, че RDMA предаването има съобщение за отговор за загуба на пакет.
Нека да разгледаме как да съпоставим тези две съобщения с помощта на разширения списък на ниво експерт:
експертен списък за достъп разширен rdma
разреши udp всяко всяко всяко всяко eq 4791udf 1 l4_header 8 0x8100 0xFF00(Съвпадащ с RG-S6520-64CQ)
разреши udp всяко всяко всяко всяко eq 4791udf 1 l5_header 0 0x8100 0xFF00(Съвпада с RG-S6510-48VS8CQ)
експертен списък за достъп разширен rdma
разреши udp всяко всяко всяко всяко eq 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(Съвпадащ с RG-S6520-64CQ)
разреши udp всяко всяко всяко всяко eq 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(Съвпада с RG-S6510-48VS8CQ)
Като последна стъпка можете да визуализирате RDMA сесията, като монтирате експертния списък с разширения в съответния ERSPAN процес.
Пишете в последното
ERSPAN е един от незаменимите инструменти в днешните все по-големи мрежи на центрове за данни, все по-сложен мрежов трафик и все по-сложни изисквания за работа и поддръжка на мрежата.
С нарастващата степен на автоматизация на O&M технологии като Netconf, RESTconf и gRPC са популярни сред студентите по O&M в мрежовата автоматична O&M. Използването на gRPC като основен протокол за изпращане на обратен огледален трафик също има много предимства. Например, въз основа на HTTP/2 протокол, той може да поддържа механизма за насочване на стрийминг под същата връзка. С кодирането ProtoBuf размерът на информацията е намален наполовина в сравнение с JSON формата, което прави предаването на данни по-бързо и по-ефективно. Само си представете, ако използвате ERSPAN за огледално отразяване на заинтересованите потоци и след това ги изпратите до сървъра за анализ на gRPC, ще подобри ли значително способността и ефективността на автоматичната работа и поддръжка на мрежата?
Време на публикуване: 10 май 2022 г
