Deduplikacja danych to popularna technologia przechowywania danych, która optymalizuje pojemność pamięci. Eliminuje nadmiarowe dane, usuwając zduplikowane dane ze zbioru danych, pozostawiając tylko jedną kopię. Jak pokazano na poniższym rysunku. Technologia ta może znacznie zmniejszyć potrzebę fizycznego przechowywania przestrzeń, aby sprostać rosnącemu zapotrzebowaniu na przechowywanie danych. Technologia Dedupe może przynieść wiele praktycznych korzyści, obejmujących głównie następujące aspekty:
| (1) | Spełnij wymagania ROI (zwrot z inwestycji)/TCO (całkowity koszt posiadania); |
| (2) | Można skutecznie kontrolować szybki przyrost danych; |
| (3) | Zwiększ efektywną przestrzeń magazynową i popraw wydajność przechowywania; |
| (4) | Zaoszczędź na całkowitych kosztach przechowywania i kosztach zarządzania; |
| (5) | Oszczędzaj przepustowość sieci transmisji danych; |
| (6) | Oszczędzaj koszty eksploatacji i konserwacji, takie jak przestrzeń, zasilanie i chłodzenie. |
Technologia dedupe jest szeroko stosowana w systemach tworzenia kopii zapasowych i archiwizacji danych, ponieważ po wielokrotnym tworzeniu kopii zapasowych danych powstaje dużo zduplikowanych danych, co jest bardzo odpowiednie dla tej technologii. Tak naprawdę technologię dedupe można zastosować w wielu sytuacjach, w tym także w przypadku danych online, systemy przechowywania danych typu Near-line i offline. Można ją wdrożyć w systemach plików, menedżerach woluminów, NAS i Sans. Dedupe można również używać do odzyskiwania danych po awarii, transmisji i synchronizacji danych, ponieważ technologię kompresji danych można wykorzystać do pakowania danych. Technologia Dedupe może pomóc wielu aplikacjom w ograniczeniu przechowywania danych, oszczędzaj przepustowość sieci, poprawiaj wydajność przechowywania, skracaj czas tworzenia kopii zapasowych i oszczędzaj koszty.
Deduplikacja ma dwa główne wymiary: współczynniki deduplikacji i wydajność. Wydajność deduplikacji zależy od konkretnej technologii implementacji, natomiast szybkość deduplikacji jest określana na podstawie charakterystyki samych danych i wzorców aplikacji, jak pokazano w poniższej tabeli. Dostawcy pamięci masowej podają obecnie wskaźniki deduplikacji w zakresie: od 20:1 do 500:1.
| Wysoka szybkość deduplikacji | Niski współczynnik deduplikacji |
| Dane utworzone przez użytkownika | Dane ze świata przyrody |
| Niskie tempo zmian danych | Wysokie tempo zmian danych |
| Dane referencyjne, dane nieaktywne | Aktywne dane |
| Aplikacja o niskiej szybkości zmiany danych | Aplikacja o dużej szybkości zmiany danych |
| Pełna kopia zapasowa danych | Przyrostowa kopia zapasowa danych |
| Długoterminowe przechowywanie danych | Krótkoterminowe przechowywanie danych |
| Szeroki zakres zastosowań danych | Mały zakres zastosowań danych |
| Ciągłe przetwarzanie danych biznesowych | Ogólne przetwarzanie danych biznesowych |
| Mała segmentacja danych | Segmentacja dużych zbiorów danych |
| Wydłużona segmentacja danych | Segmentacja danych o stałej długości |
| Postrzegana treść danych | Treść danych nieznana |
| Deduplikacja danych czasowych | Deduplikacja danych przestrzennych |
Punkty wdrożenia Dedupe
Podczas opracowywania lub stosowania technologii Dedupe należy wziąć pod uwagę różne czynniki, ponieważ czynniki te bezpośrednio wpływają na jej wydajność i skuteczność.
| (1) | Co | Jakie dane są odważane? |
| (2) | Gdy | Kiedy waga zostanie wyeliminowana? |
| (3) | Gdzie | Gdzie jest eliminacja wagi? |
| (4) | Jak | Jak zmniejszyć wagę? |
Kluczowa technologia Dedupe
Ogólnie rzecz biorąc, proces deduplikacji systemu przechowywania jest następujący: najpierw plik danych jest dzielony na zestaw danych, dla każdego bloku danych w celu obliczenia odcisku palca, a następnie na podstawie słów kluczowych wyszukiwania hash odcisków palców, dopasowanie wskazuje dane dla duplikatu bloki danych przechowują jedynie numer indeksu bloku danych, w przeciwnym razie oznacza to, że blok danych jest jedyną częścią nowego, przechowującego blok danych i tworzącego odpowiednie metainformacje. Zatem plik fizyczny w systemie przechowywania odpowiada logicznej reprezentacji zestaw metadanych FP. Podczas czytania plik, najpierw odczytaj plik logiczny, następnie zgodnie z sekwencją FP wyjmij odpowiedni blok danych z systemu przechowywania, przywróć kopię pliku fizycznego. Z powyższego procesu widać, że kluczowe technologie Dedupe obejmują głównie segmentacja bloków danych plików, obliczanie odcisków palców bloków danych i pobieranie bloków danych.
(1) Segmentacja bloków danych pliku
(2) Obliczanie odcisków palców bloku danych
(3) Odzyskiwanie bloków danych
Aby znaleźć te zalecane modele do rozpoczęcia deduplikacji pakietów sieciowych:
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, maks. 880 Gb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, maks. 1,8 Tb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, maks. 560 Gb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, maks. 480 Gb/s, funkcja Plus
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, maks. 480 Gb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, maks. 240 Gb/s, funkcja DPI
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, maks. 880 Gb/s
Czas publikacji: 18 października 2022 r
