Deduplikace dat je populární technologie ukládání dat, která optimalizuje úložnou kapacitu. Eliminuje redundantní data odstraněním duplicitních dat z datové sady a ponechává pouze jednu kopii. Jak je znázorněno na obrázku níže. Tato technologie může výrazně snížit potřebu fyzického úložného prostoru a uspokojit rostoucí poptávku po ukládání dat. Technologie deduplikace dat může přinést mnoho praktických výhod, včetně zejména následujících aspektů:
| (1) | Splňte požadavky na návratnost investic (ROI) / celkové náklady na vlastnictví (TCO); |
| (2) | Rychlý růst dat lze efektivně kontrolovat; |
| (3) | Zvětšení efektivního úložného prostoru a zlepšení efektivity skladování; |
| (4) | Ušetřete celkové náklady na skladování a správu; |
| (5) | Ušetřete šířku pásma sítě při přenosu dat; |
| (6) | Ušetřete náklady na provoz a údržbu, jako je prostor, napájení a chlazení. |
Technologie Dedupe se široce používá v systémech zálohování a archivace dat, protože po opakovaných zálohách dat vzniká velké množství duplicitních dat, což je pro tuto technologii velmi vhodné. Technologie Dedupe se ve skutečnosti používá v mnoha situacích, včetně online dat, dat v blízké vzdálenosti a offline systémů ukládání dat. Lze ji implementovat do souborových systémů, správců svazků, NAS a SAN. Dedupe lze také použít pro obnovu dat po havárii, přenos a synchronizaci dat, protože technologie komprese dat se může použít pro balení dat. Technologie Dedupe může pomoci mnoha aplikacím snížit objem úložiště dat, ušetřit šířku pásma sítě, zlepšit efektivitu úložiště, zkrátit dobu zálohování a ušetřit náklady.
Deduplikace má dva hlavní rozměry: poměry deduplikace a výkon. Výkon deduplikace závisí na konkrétní implementační technologii, zatímco rychlost deduplikace je určena vlastnostmi samotných dat a vzorci aplikací, jak je uvedeno v tabulce níže. Dodavatelé úložišť v současné době uvádějí míry deduplikace v rozmezí od 20:1 do 500:1.
| Vysoká míra deduplikace | Nízká míra deduplikace |
| Data vytvořená uživatelem | Data z přírodního světa |
| Nízká míra změn dat | Vysoká míra změn dat |
| Referenční data, neaktivní data | Aktivní data |
| Aplikace s nízkou rychlostí změn dat | Aplikace s vysokou rychlostí změn dat |
| Úplná záloha dat | Inkrementální zálohování dat |
| Dlouhodobé ukládání dat | Krátkodobé ukládání dat |
| Široká škála datových aplikací | Malý rozsah datových aplikací |
| Průběžné zpracování obchodních dat | Zpracování obecných obchodních dat |
| Segmentace malých dat | Segmentace velkých dat |
| Prodloužená segmentace dat | Segmentace dat s pevnou délkou |
| Vnímaný obsah dat | Obsah dat neznámý |
| Deduplikace časových dat | Deduplikace prostorových dat |
Body implementace deduplikace
Při vývoji nebo aplikaci technologie Dedupe je třeba zvážit různé faktory, protože tyto faktory přímo ovlivňují její výkon a efektivitu.
| (1) | Co | Která data jsou devážena? |
| (2) | Když | Kdy se váha zbaví? |
| (3) | Kde | Kde je hubnutí? |
| (4) | Jak | Jak snížit váhu? |
Technologie Dedupe Key
Proces deduplikace v úložném systému obecně probíhá takto: nejprve se datový soubor rozdělí na datové sady, pro každý blok dat se vypočítá otisk prstu a poté se na základě klíčových slov hash otisku prstu vyhledávají data duplicitních datových bloků. Porovnání udává data duplicitních datových bloků, ukládá se pouze indexové číslo datového bloku, jinak se datový blok stává jedinou částí nového úložiště datového bloku a vytvářejí se relevantní metainformace. Fyzický soubor v úložném systému tedy odpovídá logické reprezentaci sady metadat FP. Při čtení souboru se nejprve přečte logický soubor, poté se podle sekvence FP z úložného systému vyjme odpovídající datový blok a obnoví se kopie fyzického souboru. Z výše uvedeného procesu je patrné, že klíčové technologie deduplikace zahrnují především segmentaci datových bloků souborů, výpočet otisků datových bloků a vyhledávání datových bloků.
(1) Segmentace bloků dat souboru
(2) Výpočet otisků datových bloků
(3) Vyhledávání datových bloků
Chcete-li najít tyto doporučené modely pro spuštění deduplikace síťových paketů:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880 Gb/s
Zprostředkovatel síťových paketů Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max. 1,8 Tb/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max. 560 Gb/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gb/s, funkce Plus
Zprostředkovatel síťových paketů Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, max. 480 Gb/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, max. 240 Gb/s, funkce DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880 Gb/s
Čas zveřejnění: 18. října 2022
