Tags: vSphere, Storage, Cluster, Virtualisierung, Hochverfügbarkeit
Eine besondere Form des 2-Knoten-Clusters bei VMware vSAN ist der mit Version 6.1 eingeführte Stretched Cluster ("Ausgeweiterter Cluster"). Ein solcher Storage-Verbund erstreckt sich typischerweise über zwei Unternehmensstandorte und benötigt ebenfalls die Witness-Appliance. Ausfallzeiten lassen sich zusätzlich durch Fehlerdomänen reduzieren.
Gedacht ist ein Stretched Cluster vor allem für Umgebungen, in denen das Vermeiden jeglicher Downtime ein vorrangiges Ziel darstellt. Erstreckt sich ein vSAN über zwei Rechenzentren, dann kann der Cluster den Ausfall einer kompletten Site verkraften.
Das Stretched-Cluster-Konzept
Egal ob 2-Node-Mini-vSAN oder Two-Site-vSAN-Cluster, beide Konzepte arbeiten stets mit zwei aktiven Data-Sites und einer Witness-Site, die in beiden Fällen lediglich den Zeugen-Host enthält. Allerdings besteht jede einzelne Data-Site beim Stretched Cluster wiederum aus einem eigenen 2-Node-Cluster.
So lassen sich Daten und Applikationen nicht nur durch einen Failover zwischen zwei Standorten absichern, sondern zusätzlich auch lokal innerhalb eines Rechenzentrums per RAID 1. Somit bleiben Informationen auch dann verfügbar, wenn ein komplettes Datacenter ausfällt.
Anwendungsfälle
Der zweite Standort dient im Stretched-Cluster-Konzept von VMware aber nicht nur dem Failover, sollte es zu technischen Ausfällen oder Naturkatastrophen kommen. Die Active/Active-Konfiguration sorgt in Zusammenarbeit mit HA und DRS auch dafür, dass sich virtuelle Maschinen gleichzeitig auf beiden Seiten ausführen lassen, da vSAN auch mit FT kompatibel ist.
Wie bei einem Host-Cluster sorgt zudem HA auch im Storage-Cluster dafür, dass VMs auf einem anderen Host neu gestartet werden, wenn ein einzelner ESXi-Server ausfällt. Und nach wie vor kümmert sich DRS um die Lastverteilung im Cluster unter Zuhilfenahme von vMotion. Damit sind mehrere Szenarien für den Stretched Cluster denkbar:
- Planbare Wartungsfenster: Unternehmen könnten wechselseitig je eine komplette Site in Wartung nehmen, ohne dass es zu Ausfallzeiten für Services kommt. Applikationen lassen sich nach Belieben und transparent für die Anwender von der einen zur anderen Site hin- und zurückmigrieren.
- Disaster-Vermeidung: Schutz von Applikationen vor Downtime durch Katastrophen. Das Stretched-Cluster-Konzept ermöglicht somit eine echte Vermeidung von Ausfallzeiten und nicht nur ein Desaster Recovery.
- Automatisierte Wiederherstellung: vSAN ist eng mit HA verzahnt, was sehr niedrige RTOs in DR-Szenarien erlaubt.
Technische Voraussetzungen
Es gibt allerdings einige Voraussetzungen hinsichtlich der Bandbreite, die zwischen Data-Site/Data-Site bzw. Data-Site /Witness-Site garantiert sein muss. Erstere setzt mindestens eine 10Gb/s-Netzwerkverbindung und eine minimale Roundtrip-Time von 5ms voraus. Ist Multicast-Support gewährleistet, darf die Verbindung inzwischen auch geroutet über eine Layer3-Strecke erfolgen.
Die Anbindung der Witness-Site konnte immer schon über eine geroutete Verbindung erfolgen, wobei eine maximale Roundtrip-Time von 200ms und eine Latenz von 100ms nicht überschritten werden dürfen. Die Netzwerkbandbreite muss hier mindestens 100Mb/s betragen. Details dazu finden sich auf VMwares Storage Hub und in den vSAN Guidelines.
Fehlerdomänen
Im engen Zusammenhang mit dem Entwurf eines Stretched Clusters steht das Konzept der vSAN Fault-Domains. Dieses minimiert Ausfallzeiten der im vSAN gespeicherten virtuellen Maschinen, wenn zum Beispiel innerhalb eines vSAN-Clusters ein komplettes Rack ausfällt.
Daher verteilt man idealerweise alle Hosts, die zu einem vSAN-Cluster beitragen, über mehrere Racks und konfiguriert dann eine Fehlerdomäne für jedes Rack. vSAN sorgt dann dafür, dass beispielsweise sämtliche Replikate einer VM (normalerweise arbeitet ein vSAN-Cluster im RAID 1) stets in getrennten Fehlerdomänen platziert werden. Dies erhöht die Verfügbarkeit von Komponenten im Falle eines Rack-Fehlers.
Das Einrichten von Fehlerdomänen und das Gruppieren der verfügbaren Hosts zu bestehenden Fault-Domains gelingt wie fast alles bei vSAN intuitiv und selbsterklärend.
Stretched Cluster einrichten
Das Konfigurieren eines ausgeweiteten vSAN-Clusters funktioniert vom Ablauf her nicht viel anders als das Einrichten eines 2-Node-Clusters. Auch hier benötigen Sie den virtuellen Witness-Host, die vSAN-Kernel-Adapter sowie eine gerade Anzahl von physischen Nodes für jede Site.
Das Deployment und die Konfiguration der Witness-Appliance sowie das Hinzufügen des Zeugen als Host funktioniert so, wie im Artikel zum 2-Node-Cluster gezeigt (siehe VMware Virtual SAN 6.6: 2-Node-Cluster einrichten, Witness konfigurieren).
Danach konfigurieren bzw. kontrollieren Sie das vSAN-Netzwerk für die Witness-Appliance. Im abgebildeten Beispiel liegt sie in einem komplett anderen Layer-3-Netz 11.11.11.0/24.
Da der Witness-Host jetzt in einem anderem Layer-3 liegt, müssen wir auf ihm eine statische Route ergänzen, die dem Witness-Host Zugriff auf das vSAN-Netzwerk der Data-Site ermöglicht. Das geschieht am einfachsten via SSH auf der Kommandozeile. So zeigt zunächst
esxcli network ip route ipv4 list
die vorhandenen Routen an. Das Hinzufügen einer neuen statischen Route erfolgt dann mit
esxcli network ip route ipv4 add --gateway <Gateway> --network <Netzwerk-Adresse>
Das Ergebnis sollte dann so aussehen:
Das Gleiche wiederholen Sie dann auch für die 2x2 physischen ESXi-Hosts.
Damit sind die Vorbereitungen getroffen, um den ausgeweiteten Cluster zu aktvieren. Legen Sie das benötigte Cluster-Objekt an, ohne vSAN zu aktiveren und platzieren anschließend 2 x 2 ESXi-Hosts (je zwei von jeder Site) im Cluster.
Anschließend aktivieren Sie in den Cluster-Einstellungen das vSAN-Feature und wählen im ersten Schritt des Assistenten Ausgeweiteten Cluster konfigurieren aus.
Nach der Auswahl des vSAN-Kernel-Adapters landen Sie im wichtigen Schritt 3 Fehlerdomänen erstellen. Übernehmen Sie hier jeweils die zwei Hosts der einen Seite in die Bevorzugte Domäne und die beiden anderen in die Sekundäre Domäne.
Im Schritt 4 des Konfigurationsassistenten wählen Sie dann erneut die Witness-Appliance als Zeuge aus (wie im Beitrag über 2-Knoten-Cluster beschrieben) und schließen dann die Konfiguration des Ausgeweiteten Clusters ab.
Sie können die erfolgreiche Konfiguration dann unter <Cluster> => Verwalten => Fehlerdomänen & Ausgeweiteten Cluster überprüfen.
Täglich Know-how für IT-Pros mit unserem Newsletter
Thomas Drilling arbeitet ist seit fast 30 Jahren selbständig in der IT-Welt sowohl als Consultant, als auch als Redakteur, Buchautor und Journalist für viele ehemalige und aktuelle IT-Magazine sowie Blogs.
Aktuell bestätigt sich Thomas schwerpunktmäßig als IT-Trainer für Cloud-Computing in den Bereichen Microsoft Azure, Amazon Web Services und VMware.
Thomas ist zertifizierter Microsoft-Trainer für nahe das gesamte Portfolio an Microsoft Azure Trainings. Thomas ist außerdem zertifizierter Microsoft Azure Solutions Architect Expert sowie VMware Certified Professional und wurde von VMware in den Jahren 2016 bis 2022 mit dem Blogger-Status vExpert ausgezeichnet.
Thomas führt aktuell jeden Monat zwei selbstkonziperte 4-tägigen Grundlagenkurse in Cloud Computing mit Azure durch, die sich inhaltlich bewusst von den Microsft-Kursen abheben und vorzuweise als Bootcamp in eine besonderen Lokation stattfinden. Optional kann aber aber auch remote via Microsoft Teams teilgenommen werden.
Das aktuelle Trainingsprogramm findet sich unter Azure-Trainings. Weitere Informationen und Anmeldung über sein Azure-Blog.
Verwandte Beiträge
- Starline mit Zealbox VMware vSAN Appliance Kit
- VMware vSAN 6.2: Dedup, Komprimierung, RAID 5 und 6, QoS, Prüfsummen
- VMware vSAN 6.1: Stretched Cluster, Support für FT, RAID 5, Dedup
- Neu in vSphere 7 Update 3: NSX-Integration, NVMe über TCP, Update für DRS, Precision Time
- VMs bei Absturz des Gast-OS über vSphere HA Application Monitoring neu starten
Weitere Links