Daten-Management: Cloudera v5.5 mit Navigator Optimizer


    Tags: ,

    Big Data muss nicht zwangsläufig Großfirnen vorbehalten sein. Das beste Beispiel ist Apache Hadoop. Diese Plattform ist als Open Source verfügbar und ermöglicht es auch mittelständischen Unternehmen, großen Datenmengen zu speichern und zu verarbeiten.

    Cloudera Navigator Optimizer - Das Tool prüft, welche SQL-Workloads sich für Hadoop eignen.Zu den führenden Anbietern von Software für das Datenmanagement auf Basis von Hadoop zählt Cloudera. Das US-Unternehmen mit Hauptsitz in San Jose (Kalifornien) hat Cloudera Enterprise 5.5 vorgestellt. Besonders interessant ist, dass der neuen Programmversion die Beta-Ausgabe von Cloudera Navigator Optimizer beiliegt.

    SQL für Hadoop passend machen

    Dieses Tool ermöglicht es, Workloads zu analysieren und diejenigen zu identifizieren, die sich am besten für den Einsatz mit Hadoop eignen. Cloudera Navigator Optimizer untersucht SQL-Queries von allen gängigen Plattformen, etwa Teradata, Oracle Database, IBM DB2, Microsoft SQL Server und Hadoop (Impala).

    Nach der Analyse bricht das Tool von Cloudera komplexe SQL-Operationen in einfachere Konstrukte herunter, die sich besser für Hadoop eignen. Zudem wählt die Software die passenden Datenmodelle aus. Auf diese Weise werden nur diejenigen SQL-Prozesse auf Hadoop portiert, die davon profitieren. Andere verbleiben im herkömmlichen Enterprise Data Warehouse (EDW).

    Ergänzung für andere Tools

    Laut einem Beitrag im Cloudera-Blog versteht sich Navigator Optimizer nicht als Konkurrent von Optimierungs-Tools der EDW-Anbieter, sondern als Ergänzung. Als Differenzierungsmerkmal führt Cloudera an, dass besagte Werkzeuge auf die Performance-Optimierung von SQL-Queries auf den jeweiligen Plattformen der Anbieter ausgelegt sind. Welche Workloads für Hadoop in Frage kommen, wird nicht im Detail analysiert.

    Cloudera Enterprise 5.5Die Ergebnisse der Untersuchungen präsentiert Navigator Optimizer in einem zentralen Dashboard. Zudem gibt die Software konkrete Hinweise, welche Optimierungen für welche Workload in Betracht kommen. Dabei stützt sich das Tool darauf, welche Prozesse am wichtigsten sind, auf welche Daten am häufigsten zugegriffen wird und auf welche Weise diese Informationen genutzt werden.

    Bereitgestellt wird Cloudera Navigator Optimizer wird als Cloud-Service ("Big Data Integration Service", BDIS) von Xplain.io. Dieses Unternehmen hat Cloudera Anfang des Jahres übernommen.

    Neu in Cloudera Enterprise 5.5

    Abschließend noch ein kurzer Blick auf die wichtigsten Neuerungen in Cloudera Enterprise 5.5:

    Analyse komplexer Datenstrukturen: Impala unterstützt nun auch geschachtelte Datenarten, einschließlich JSON.

    Sicherheitsanalyse im Unternehmenskontext: Impala umfasst jetzt Sicherheitsfunktionen auf Spaltenebene, um eine abgestufte Zugangskontrolle für Nutzer zu ermöglichen. Neu ist auch die Verwaltung von Berechtigungen.

    Automatisierte Datenführung: Der Cloudera Navigator erzwingt automatisch vollständige Daten-Lifecycle-Workflows, einschließlich der Aufbewahrung und Archivierung. Zudem arbeitet das Cloudera Navigator Software Development Kit (SDK) enger mit Tools von Partnern zusammen, etwa Werkzeugen für die Integration und Analyse von Informationen.

    Keine Kommentare