Deduplikacja danych to popularna i powszechnie stosowana technologia pamięci masowej, która optymalizuje pojemność magazynu. Eliminuje ona redundantne dane poprzez usuwanie zduplikowanych danych ze zbioru danych, pozostawiając tylko jedną kopię. Jak pokazano na poniższym rysunku. Technologia ta może znacznie zmniejszyć zapotrzebowanie na fizyczną przestrzeń magazynową, aby sprostać rosnącemu zapotrzebowaniu na przechowywanie danych. Technologia deduplikacji może przynieść wiele praktycznych korzyści, w tym głównie następujące aspekty:
| (1) | Spełnia wymagania ROI (zwrot z inwestycji)/TCO (całkowity koszt posiadania); |
| (2) | Szybki wzrost ilości danych można skutecznie kontrolować; |
| (3) | Zwiększenie efektywnej przestrzeni magazynowej i poprawa efektywności magazynowania; |
| (4) | Oszczędź na całkowitych kosztach magazynowania i zarządzania; |
| (5) | Oszczędzaj przepustowość sieci przy transmisji danych; |
| (6) | Oszczędzaj koszty operacyjne i konserwacyjne, takie jak koszty przestrzeni, zasilania i chłodzenia. |
Technologia deduplikacji jest szeroko stosowana w systemach tworzenia kopii zapasowych i archiwizacji danych, ponieważ po wielokrotnym tworzeniu kopii zapasowych występuje wiele duplikatów danych, co jest bardzo korzystne dla tej technologii. W rzeczywistości technologia deduplikacji może być wykorzystywana w wielu sytuacjach, w tym w systemach przechowywania danych online, danych near-line oraz offline. Można ją wdrożyć w systemach plików, menedżerach woluminów, serwerach NAS i systemach SAN. Deduplikacja może być również wykorzystywana do odzyskiwania danych po awarii, transmisji i synchronizacji danych, ponieważ technologia kompresji danych może być wykorzystywana do pakowania danych. Technologia deduplikacji może pomóc wielu aplikacjom w zmniejszeniu ilości danych przechowywanych w pamięci masowej, zmniejszeniu przepustowości sieci, zwiększeniu wydajności pamięci masowej, skróceniu czasu tworzenia kopii zapasowych i obniżeniu kosztów.
Deduplikacja ma dwa główne wymiary: współczynniki deduplikacji i wydajność. Wydajność deduplikacji zależy od konkretnej technologii implementacji, natomiast szybkość deduplikacji jest określana przez charakterystykę samych danych i wzorce zastosowań, jak pokazano w poniższej tabeli. Dostawcy pamięci masowej podają obecnie współczynniki deduplikacji mieszczące się w przedziale od 20:1 do 500:1.
| Wysoka szybkość deduplikacji | Niski wskaźnik deduplikacji |
| Dane utworzone przez użytkownika | Dane ze świata przyrody |
| Niska dynamika zmian danych | Wysoka dynamika zmian danych |
| Dane referencyjne, dane nieaktywne | Aktywne dane |
| Aplikacja o niskiej szybkości zmian danych | Aplikacja o dużej szybkości zmian danych |
| Pełna kopia zapasowa danych | Przyrostowa kopia zapasowa danych |
| Długoterminowe przechowywanie danych | Krótkoterminowe przechowywanie danych |
| Szeroki zakres zastosowań danych | Mały zakres zastosowań danych |
| Ciągłe przetwarzanie danych biznesowych | Ogólne przetwarzanie danych biznesowych |
| Mała segmentacja danych | Segmentacja dużych zbiorów danych |
| Wydłużona segmentacja danych | Segmentacja danych o stałej długości |
| Postrzegana treść danych | Nieznana zawartość danych |
| Deduplikacja danych czasowych | Deduplikacja danych przestrzennych |
Punkty implementacji deduplikacji
Przy opracowywaniu i wdrażaniu technologii Dedupe należy wziąć pod uwagę różne czynniki, ponieważ mają one bezpośredni wpływ na jej wydajność i skuteczność.
| (1) | Co | Jakie dane podlegają de-ważeniu? |
| (2) | Gdy | Kiedy waga zniknie? |
| (3) | Gdzie | Gdzie jest redukcja wagi? |
| (4) | Jak | Jak schudnąć? |
Technologia deduplikacji kluczy
Proces deduplikacji systemu pamięci masowej ogólnie wygląda tak: najpierw plik danych jest dzielony na zestaw danych, dla każdego bloku danych obliczany jest odcisk palca, a następnie na podstawie słów kluczowych wyszukiwania skrótu odcisku palca, dopasowanie wskazuje dane dla zduplikowanych bloków danych, przechowuje tylko numer indeksu bloku danych, w przeciwnym razie oznacza to, że blok danych jest jedyną częścią nowego, przechowywania bloku danych i tworzy odpowiednie metadane. Tak więc plik fizyczny w systemie pamięci masowej odpowiada logicznej reprezentacji zestawu metadanych FP. Podczas odczytywania pliku najpierw odczytaj plik logiczny, a następnie zgodnie z sekwencją FP wyjmij odpowiedni blok danych z systemu pamięci masowej i przywróć kopię pliku fizycznego. Z powyższego procesu można wywnioskować, że kluczowe technologie deduplikacji obejmują głównie segmentację bloku danych pliku, obliczanie odcisku palca bloku danych i pobieranie bloku danych.
(1) Segmentacja bloków danych pliku
(2) Obliczanie odcisku palca bloku danych
(3) Pobieranie bloków danych
Aby znaleźć zalecane modele i rozpocząć deduplikację pakietów sieciowych:
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-640048 portów 10GE SFP+ oraz 4 porty 40GE/100GE QSFP28, maks. 880 Gb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-56606 portów 40GE/100GE QSFP28 plus 48 portów 10GE/25GE SFP28, maks. 1,8 Tb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-506048 portów 10GE SFP+ i 2 porty 40GE QSFP, maks. 560 Gb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-486048 portów 10GE SFP+, maks. 480 Gb/s, funkcja Plus
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, maks. 480 Gb/s
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-2410P24 porty 10GE SFP+, maks. 240 Gb/s, funkcja DPI
Broker pakietów sieciowych Mylinking™ (NPB) ML-NPB-6400
48 portów 10GE SFP+ oraz 4 porty 40GE/100GE QSFP28, maks. 880 Gb/s
Czas publikacji: 18 października 2022 r.
