Windows Server 2016: Deduplizierung für CSV, VDI und Backup

Vereinfacht dargestellt ersetzt der Prozess (Post-processing) der Deduplizierung redundante Daten durch einen Pointer zur primären Kopie. Die damit  erreichte Reduktion des Footprints macht nicht nur Sinn bei klassischen File-Servern, vielmehr kommt sie seit Windows Server 2012 R2 auch Hyper-V Workloads für VDI (Virtual Desktop Infra­structure) zugute. Zu den weiteren Kandidaten gehören Datensicherungen, beispielsweise nutzt der System Center Data Protection Manager (DPM) diese Fähigkeiten von Windows Server.

Verbesserung in Windows Server 2016

Windows Server 2012 (R2) verteilte die Rechenanforderung der Dedup-Jobs auf einen physischen CPU-Core pro Volume. Entsprechend machte es bis dato mehr Sinn, die Daten über mehrere Volumes zu verteilen anstatt ein großes Volume zu deduplizieren. Sonst stünde für die umfangreiche Datenmenge nicht ausreichend Prozessorkapazität zur Verfügung.

Aus diesem Grund empfahl Microsoft, keine Volumes größer als 10 TB zu deduplizieren, obwohl bis zu 64 TB theoretisch möglich wären. Windows Server 2016 hingegen kann diese Obergrenze tatsächlich ausschöpfen, weil er per Design mehrere Threads pro Volume parallel einsetzt (siehe dazu: Storage-Neuerungen in Windows Server 2016: Dedup, Quality of Service).

Cluster Shared Volumes deduplizieren

Im folgenden Beispiel betrachten wir die Deduplizierung der Cluster Shared Volumes eines Scale-out File Server im NTFS-Format für virtuelle Desktops unter Hyper-V. Beide Tiers, Compute (Hyper-V VDI) und Storage (SoFS), skalieren getrennt und kommunizieren über SMB3.

Voraussetzung zur Optimierung der Volumes ist die Installation der Rolle für die Daten­dedupli­zierung. Sie erfolgt entweder über den Server-Manager oder via PowerShell auf den SoFS-Nodes mit dem Aufruf von

Install-WindowsFeature –Name FS-Data-Deduplication

Um anschließend die Deduplizierung auf einem CSV für ständig geöffnete Client-VHDs zu aktivieren und die Standardoptimierung außer Kraft zu setzen, die für Dateien älter als 3 Tage läuft, führt man folgende PowerShell-Kommandos aus:

Enable-DedupVolume C:\ClusterStorage\Volume(x) -UsageType Hyper-V
Set-DedupVolume C:\ClusterStorage\Volume(x) -OptimizePartialFiles

Alternativ lassen sich die Volumes auch über den Server-Manager => Datei-/Speicherdienste => Volumes über das Kontextmenü des CSV konfigurieren.

Virtuelle Maschinen können von nun an auf den Freigaben des Scale-out File Server ausgebracht werden. Mit dem PowerShell-Aufruf

Start-DedupJob C:\ClusterStorage\Volume(x) -Type Optimization

löst man die manuelle Volumenoptimierung aus und kann den prozentualen Fortschritt mit Get-DedupJob beobachten. Der Prozess Microsoft File Server Data Management Host (fsdmhost.exe) zeigt im Ressourcenmonitor anschließend seine Beanspruchung des Systems an.

Nach Beendigung des Dedup-Jobs besteht die Möglichkeit, mit dem Cmdlet Get-DedupStatus den Dedupli­zierungs-Status für die Volumes abzurufen. Die Eigenschaft SavingsRate liegt in diesem Beispiel bei 60 Prozent und ergibt 8,91 GB eingesparten Platz (SavedSpace), der Footprint erreicht nur 5,93 GB von ursprünglich 14,83 GB.

Eingeschränkter Support für VDI auf lokalem Storage

Bisher wird die Deduplizierung auf lokalem Speicher eines Hyper-V VDI-Servers nicht unterstützt. Microsoft weitet den Support für die Deduplizierung nun aber auch auf eine "Hyper-converged" Infrastruktur aus.

Die Deduplizierung kann somit auf lokalem Storage zusammen mit Hyper-V für VDI oder virtuellem Backup ausgeführt werden. Einzige Limitierung ist, dass sich diese beiden Workloads während des Dedup-Jobs im Leerlauf (idle) befinden.