Дедупликацията на данни е популярна технология за съхранение, която оптимизира капацитета за съхранение. Тя елиминира излишните данни, като премахва дублиращите се данни от набора от данни, оставяйки само едно копие. Както е показано на фигурата по-долу. Тази технология може значително да намали нуждата от физическо пространство за съхранение, за да отговори на нарастващото търсене на съхранение на данни. Технологията за дедупликация може да донесе много практически ползи, включително главно следните аспекти:
| (1) | Отговарят на изискванията за ROI (възвръщаемост на инвестицията)/TCO (обща цена на притежание); |
| (2) | Бързият растеж на данните може да бъде ефективно контролиран; |
| (3) | Увеличете ефективното пространство за съхранение и подобрете ефективността на съхранението; |
| (4) | Спестете общите разходи за съхранение и разходи за управление; |
| (5) | Запазване на мрежовата честотна лента при предаване на данни; |
| (6) | Спестете разходи за експлоатация и поддръжка, като например място, захранване и охлаждане. |
Технологията Dedupe се използва широко в системите за архивиране и архивиране на данни, тъй като след многократно архивиране на данни има много дублирани данни, което е много подходящо за тази технология. Всъщност, технологията Dedupe може да се използва в много ситуации, включително онлайн данни, данни в близо до линията и офлайн системи за съхранение на данни. Тя може да се внедри във файлови системи, мениджъри на томове, NAS и sans. Dedupe може да се използва и за възстановяване на данни след бедствие, предаване и синхронизация на данни, като технология за компресиране на данни може да се използва за пакетиране на данни. Технологията Dedupe може да помогне на много приложения да намалят съхранението на данни, да спестят мрежова честотна лента, да подобрят ефективността на съхранението, да намалят прозореца за архивиране и да спестят разходи.
Дедупликацията има две основни измерения: коефициенти на дедупликация и производителност. Производителността на дедупликацията зависи от конкретната технология за внедряване, докато скоростта на дедупликация се определя от характеристиките на самите данни и моделите на приложение, както е показано в таблицата по-долу. Доставчиците на системи за съхранение на данни в момента отчитат скорости на дедупликация, вариращи от 20:1 до 500:1.
| Висока степен на дедупликация | Нисък процент на дедупликация |
| Данни, създадени от потребителя | Данни от естествения свят |
| Данните с нисък темп на промяна | Висока скорост на промяна на данните |
| Референтни данни, неактивни данни | Активни данни |
| Приложение с ниска скорост на промяна на данните | Приложение с висока скорост на промяна на данните |
| Пълно архивиране на данни | Инкрементално архивиране на данни |
| Дългосрочно съхранение на данни | Краткосрочно съхранение на данни |
| Широка гама от приложения за данни | Малък набор от приложения за данни |
| Непрекъсната обработка на бизнес данни | Обработка на общи бизнес данни |
| Сегментиране на малки данни | Сегментиране на големи данни |
| Удължена сегментация на данни | Сегментиране на данни с фиксирана дължина |
| Възприемано съдържание на данните | Съдържанието на данните е неизвестно |
| Дедупликация на времеви данни | Дедупликация на пространствени данни |
Точки за внедряване на дедупликиране
При разработването или прилагането на технологията Dedupe трябва да се вземат предвид различни фактори, тъй като тези фактори пряко влияят върху нейната производителност и ефективност.
| (1) | Какво | Кои данни се детеглюват? |
| (2) | Кога | Кога ще се премахне теглото? |
| (3) | Къде | Къде е премахването на теглото? |
| (4) | Как | Как да намалим теглото? |
Технология за дедупликиране на ключове
Процесът на дедупликация в системата за съхранение е следният: първо, файлът с данни се разделя на набор от данни, за всеки блок от данни се изчислява пръстов отпечатък, след което, въз основа на ключови думи за търсене на хеш на пръстов отпечатък, съвпадението показва данните за дублиращите се блокове от данни, съхранявайки само индексния номер на блока от данни, в противен случай това означава, че блокът от данни е единствената част от нов блок от данни, съхранявайки съответната метаданна. По този начин, физическият файл в системата за съхранение съответства на логическо представяне на набор от метаданни на FP. При четене на файла, първо се прочита логическият файл, след което, според последователността на FP, съответният блок от данни се изважда от системата за съхранение и се възстановява копието на физическия файл. От горния процес може да се види, че ключовите технологии на Deduplikation включват главно сегментиране на блокове от файлове с данни, изчисляване на пръстови отпечатъци на блокове от данни и извличане на блокове от данни.
(1) Сегментиране на блокове от файлови данни
(2) Изчисляване на пръстов отпечатък на блок данни
(3) Извличане на блокове данни
За да намерите тези препоръчителни модели за стартиране на дедупликацията на мрежови пакети:
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880Gbps
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1.8Tbps
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560Gbps
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-486048*10GE SFP+, макс. 480Gbps, функция Plus
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-481048*10GE SFP+, макс. 480Gbps
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240Gbps, функция DPI
Mylinking™ Мрежов пакетен брокер (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880Gbps
Време на публикуване: 18 октомври 2022 г.
