Wprowadzana na polski rynek backupu technologia progresywnej deduplikacji czerpie możliwości z deduplikacji fixed-block i variable-block. Szybkością dorównuje tej pierwszej, wykorzystując bloki o stałej wielkości jeżeli tylko jest to możliwe. Te ostatnie pozwalają też na bardzo praktyczne rozpoznawanie typu pliku, z jakim deduplikacja ma do czynienia (np. plik .ppt), co pozwala na jeszcze większe oszczędności czasowe. Możliwościami deduplikacja progresywna dorównuje tej o zmiennej wielkości bloku, rozpoznając wszelkie zmiany dokonane w dowolnym miejscu pliku, co wyraźnie zwiększa współczynnik kompresji. Niemniej jednak, w ostatecznym rozrachunku deduplikacja progresywna przewyższa tą variable-block dzięki rozpoznawaniu typu pliku z jakim ma do czynienia, oraz przetwarzaniu uprzednio zapisanych części danych z prędkością osiąganą przez deduplikację fixed-block.
Progresywna deduplikacja różni się od innych rodzajów sposobem dostosowywania wielkości bloków skanujących plik w poszukiwaniu duplikatów. Na początku, progresywna deduplikacja dzieli plik na bloki identycznych rozmiarów, tak jak w przypadku typu fixed-block. Jednak pozwala ona blokom na nachodzenie na siebie, dzięki czemu granica bloku może wystąpić w dowolnym miejscu. Ma to znaczenie w przypadku zmian dokonanych wewnątrz pliku. Modyfikacje tego typu powodują, iż uprzednio zapisane, znane już bloki ulegają przesunięciu w dół sekwencji pliku, wskutek czego nie byłyby rozpoznane przez tradycyjne typy deduplikacji. Są natomiast rozpoznawane przez deduplikację progresywną.
Ponadto, progresywna deduplikacja ustala optymalną wielkość bloku dla konkretnego typu pliku. W zależności od deduplikowanego pliku, rozmiar bloku to 1k, 2k, 4k, 8k, 16k, lub 32k bajty. Dzięki tej funkcji osiągalne są lepsze współczynniki kompresji.
Progresywna deduplikacja wykorzystuje przesuwające się okienko skanujące plik w poszukiwaniu zduplikowanych bloków. Jest to metoda na tyle efektywna, że wykrywa duplikaty w każdym bajcie pliku. Wnikliwy czytelnik zauważy zapewne, iż taka efektywność wymaga sporej mocy obliczeniowej. Zapewne byłaby to prawda gdyby nie fakt, że branża firm IT dysponuje dwoma rodzajami algorytmu hashowego. Hash lekki jest krótki i dzięki temu umożliwia szybkie porównywanie. Hash ciężki jest długi, za to bardzo dokładny. Progresywna deduplikacja w sprytny sposób wykorzystuje oba rodzaje tego swoistego „odcisku palca”. Szybki i lekki algorytm hashowy rozpoznaje możliwe duplikaty. Te ostatnie są wnikliwie badane dokładnym algorytmem hashowym. Z uwagi na fakt, iż ponad 99 procent możliwych duplikatów okazuje się być dokładnymi kopiami, progresywne skanowanie jest niewiarygodnie efektywne przy rozsądnym obciążeniu zasobów systemowych.
Zastosowanie progresywnej deduplikacji
Nie ulega wątpliwości, iż każdy rodzaj deduplikacji backupowanych danych jest opłacalny w porównaniu z backupem tradycyjnym. Niemniej jednak, dla uzyskania prawdziwie wymiernych korzyści z zastosowania technologii deduplikacji warto zastanowić się wyborem deduplikacji progresywnej. Zapewni ona nie tylko znacznie szybszy backup, ale i jednocześnie zdecydowanie lepszy współczynnik kompresji, co znajdzie odzwierciedlenie w niższych kosztach związanych z przechowywaniem backupu. Efektywnie, progresywna deduplikacja łączy zalety innych rozwiązań tego typu, eliminując ich wady.
