Vom Data Warehouse zu Big Data

Bereits lange vor dem derzeit grassierenden Big-Data-Hype erfasste ein Ansatz mit ähnlicher Zielsetzung das Management und die IT-Abteilungen zahlreicher Branchen, das Data Warehousing.

Diese Technologie stand für die Überführung von Daten aus verschiedenen, strukturierten Quellen in einen gemeinsamen Speicher-Pool, in dem sie dann nach verschiedenen Kriterien analysiert und anschließend für die Entscheider auf den Management-Ebenen grafisch aufbereitet wurden.

Data Warehousing mit seinen aufwendigen Prozessen war zum Beispiel bei Airlines wie der Lufthansa beliebt, wo man regelmäßig die verschiedenen Kundentypen – Economy, Business oder First Class – daraufhin untersuchte, worauf sich das Marketing konzentrieren sollte. Überraschendes Ergebnis: Mit den wenigen exklusiv Reisenden verdienten die Fluggesellschaften am meisten.

Es ging also schon damals um Entscheidungsgrundlagen für die Umsetzung der Geschäftsziele, um Markt- und Kundenanalysen, um die Einführung neuer, zielgruppenspezifischer Produkte – also eigentlich um all das, was heute unter „social“ oder „kundenorientiert“ läuft und als letzter Schrei gehandelt wird. Data-Warehousing-Veteranen können da nur müde lächeln.

Allerdings sind die Vertreter des Data Warehousing von den neuen Trends doch etwas überrollt worden. Das liegt insbesondere an dem rasanten Datenwachstum der letzten Jahre, das stark von unstrukturierten Daten geprägt ist. Gerade im Einzelhandels- und Online-Bereich versuchen die Firmen, immer mehr über ihre Kunden und Beinahe-Kunden zu erfahren – aus welchen Gründen zum Beispiel Letztere Einkaufs- oder Bezahlprozesse im Internet wieder abbrechen.

Alles, was über das Internet abläuft, häuft ständig neue Informationen an. Gerade Big Data oder Analytics beziehen sich auf die Erfassung und Auswertung solcher Daten, möglichst in Echtzeit. Die Protagonisten dieser neuen Trends, die ihre Produkte unter den Labels Big Data oder Analytics verkaufen wollen, übertreiben hier gern und bezichtigen insbesondere die etablierte Business-Intelligence- und Data-Warehouse-Fraktion, dem Ansturm der unstrukturierten Daten und den minuten- oder sekundenschnellen Auswertungen nicht gewachsen zu sein.

In diesem Jahr haben sich die Übertreibungen etwas gelegt und man spricht wieder mehr von Integration der verschiedenen Ansätze und von allgemeinem Datenmanagement. So betonen die Gartner-Analysten Mark A. Beyer und Roxane Edjlali in ihrem Report „Magic Qua­drant for Data Warehouse and Data Management Solutions for Analytics” vom Februar dieses Jahres: „2015 verlangen die Unternehmen Lösungen, die in der Lage sind, externe Daten mit ihren traditionellen internen Quellen zusammenzubringen und zu verwalten – bis hin zu Daten aus dem Internet of Things. Dies schafft neue Anforderungen an den Markt für Data Warehouses – besonders für ein breiter angelegtes Analysemanagement mit Features und Funktionen, die eine signifikante Ergänzung zu bestehenden Strategien für Data Warehouses bringen.“

Zu den neuen Strukturen und Datentypen gehören zum Beispiel XML, Texte, Dokumente, geografische Informationen oder die Einbindung von Daten aus externen File-Systemen.

Diese Entwicklung des Data-Warehouse-Markts hat sich im Lauf des Jahres fortgesetzt. Data-Warehouse-Lösungen umfassen nun flexiblere Management-Lösungen für Analytics. Es werden alle Datentypen unterstützt und es gibt integrierte Angebote und Dienstleistungen, um diese verschiedenen Informationen einzeln oder koordiniert auszuwerten und optisch aufbereitete Ergebnisse zur Verfügung zu stellen.

Zu dieser Erweiterung des Data-Warehouse-Ansatzes haben nicht zuletzt zahlreiche Start­ups beigetragen, die den etablierten Anbietern wie Teradata, Oracle, IBM oder Microsoft Konkurrenz machen.

Angesichts dieser Entwicklung hat Gartner auch die Definition von Data Warehouse erweitert. Data Warehouse beschreibe man nicht mehr nur als relationales, integriertes Repository wie es in der Vergangenheit der Fall gewesen sei. Die neuen Service Level Agreements gingen vielmehr davon aus, dass die Daten manchmal vorintegriert seien und manchmal eben nicht. Daraus zieht Gartner den Schluss: „Dieser neue Markt braucht eine viel breiter aufgestellte Managementlösung zur Analyse der verschiedenen Datentypen.“

Gartner unterscheidet zwei Varianten des neuen Data Warehouse. Zum einen gibt es das Enterprise Data Warehouse (EDW), das aus einem integrierten, themenorientierten, zeitlich nicht festgelegten und physikalisch zentralen Data-Management-System besteht, das fest an eine Hardware-Basis gebunden ist. Zum anderen gibt es das Logical Data Warehouse (LDW), das aus einer angepassten Kombination von Software und Hardware (Appliances) besteht, die einen logisch konsistenten, themenorientierten und zeitlich nicht festgelegten Datenzugang bietet und Repositories, Virtualisierung und verteilte Prozesse benutzt.

Das Aufkommen von Big Data und entsprechenden Analysemethoden funktioniere, so Gartner, als Katalysator für einschneidende Veränderungen in der Data-Warehouse-Technologie. Sie liefen darauf hinaus, Datenansammlungen auch aus dem Data Warehouse herauszunehmen und für besondere Auswertungen auf anderen Plattformen und für Data Science zur Verfügung zu stellen und die Ergebnisse zur weiteren Auswertung wieder in ein Data Warehouse zu laden. Dabei gebe es offenere Ansätze als früher, die verschiedene Methoden nach der Best-of-Breed-Strategie (BOB) miteinander mischten.

Viele  Hersteller auf diesem Feld kooperieren miteinander. So arbeitet Teradata zum Beispiel mit dem jungen Konkurrenten Hortonworks zusammen.

An dem Unternehmen Teradata lässt sich beispielhaft zeigen, wie die etablierten Data-Warehouse-Anbieter auf die Herausforderung durch Big-Data-Unternehmen reagiert haben und wie sich diese Anpassung auf das Produktportfolio ausgewirkt hat.

Teradata gehört mit mehr als drei Jahrzehnten Marktpräsenz zu den etablierten Anbietern der IT-Industrie. Groß geworden mit der Auswertung und Analyse von Informationen aus klassischen strukturierten Datenbanken, eroberte Teradata mit Paketen aus Hardware und Business Intelligence (BI) einen festen Platz bei jenen Unternehmen, die bereit waren, sich ihre Datenanalyse etwas kosten zu lassen.

Einst gehörte Teradata als Business-Unit zu NCR, einem marktbeherrschenden Hersteller von Bankautomaten und Einzelhandelssystemen. Nur mit einigen argumentativen Verrenkungen konnte man damals eine gemeinsame Identität vermitteln – nach dem Motto: Wo es viele Geld- und Bankdaten gibt (NCR), da gibt es auch Auswertungs- und Analysebedarf (Teradata).

2007 wurde Teradata von NCR abgespalten und als eigenständiges Unternehmen an die Börse gebracht – und legte lange ein sehr schnelles Wachstum hin. In einer aktuellen Selbstdarstellung hebt Teradata hervor, dass es mit seinen Lösungen und Services in fast allen Branchen vertreten sei – von Finanzdienstleistungen und Versicherungen, Behörden und Gesundheitswesen bis Einzelhandel, E-Commerce, Telekommunikation, Industriegütern und Transport. Unter den Kunden finden sich danach die sechs führenden Fluggesellschaften, 15 der 20 globalen Retailer und 19 der 20 führenden Telekommunikationsgesellschaften. Die Mitarbeiterzahl ist auf etwa 15.000 angewachsen.

Mit Aufkommen der Mega-Trends Big Data und Analytics hatte Teradata in den vergangenen Jahren allerdings eine ernsthafte Bewährungsprobe zu bestehen. Besonders der He­rausforderer EMC wollte sich auf dem Sektor BI und Data Warehousing etablieren und hat viel in seinen eigenen Big-Data-Ansatz investiert. Bisherige Marktteilnehmer wie Teradata wurden von vielen Seiten heftig kritisiert: Sie seien mit ihren Angeboten nicht mehr zeitgemäß, zu umständlich, zu langsam – und könnten vor allem nichts mit der neuen Welt der unstrukturierten Daten anfangen.

Aber Teradata erkannte die Zeichen der Zeit und stellte sich darauf ein. 2014 erklärte Stephen Brobst, der renommierte CTO von Teradata, dass das Internet der Dinge die nächste große Herausforderung für Big Data sei, „weil es ein Konzept ist, das den Übergang von der Analyse der Transaktionen zu einer Analyse der Interaktionen beschreibt“.

In den letzten Jahren hat Teradata etwa zehn, meist kleinere Akquisitionen unternommen, um sich auf die neuen Märkte Big Data oder Internet der Dinge vorzubereiten. Dazu gehören der Kauf von Aster Data 2011 und in jüngster Zeit der von Thing Big, einem Unternehmen, das sich auf eine Hadoop-Architektur und auf sogenannte Data Lakes spezialisiert hat, also auf  große Ansammlungen von Daten aus verschiedenen Quellen.

Hermann Wimmer, Co-President von Teradata und verantwortlich für die globale Business-Unit Data & Analytics, die zwei Drittel zum Umsatz des Unternehmens beiträgt, erklärte im Sommer in einem Interview auf dem spanischen Blog NorbertoGallego.com die Strategie hinter diesen Zukäufen. Man wolle dadurch kein unorganisches Wachstum erzeugen, sondern strebe eine systematische Erweiterung des Produktportfolios an: „Wir legen besonders Wert auf unsere Architektur UDA (Unified Data Architecture) und glauben, dass wir sie mit der Integration von Hadoop konsequent erweitern können, vor allem was Daten angeht, die durch Sensoren erzeugt werden. Ich möchte betonen, dass wir UDA nicht als Ersatz für Data Ware­housing, sondern als Ergänzung betrachten.“

Teradata hat seine Bandbreite an Produkten stetig erweitert. Das Portfolio umfasst heute die folgenden Lösungen:

Unified Data Architecture (UDA): Wird von Teradata als zentrale Lösung und Framework beschrieben, mit dem Unternehmen „alle Typen von Daten quer über Teradata-Produkte integrieren und analysieren können“. Dies betrifft neben klassischen Teradata-Produkten wie Viewpoint oder Vital Infrastructure die hinzugekaufte Aster Discovery Platform, einen Open-Source-Ansatz mit Apache Hadoop, und Angebote von Technologie-Partnern. Laut Teradata gehören nun neben strukturierten auch unstrukturierte Informationen zum Analyse-Pool und bei der Skalierung seien nach oben keine Grenzen gesetzt.

QueryGrid: 2014 eingeführt, versteht sich QueryGrid als „innovative Orchestrierungs-Software für Daten“ und „gibt Anwendern einen Selfservice-Zugang zu Daten und Analyseprodukten über verschiedene Systeme hinweg“.

Teradata Database: Gilt als Flaggschiff-Software des Herstellers und beruht auf einer pa­rallelen Prozessor-Architektur. Mit ihr können unter anderem Reports und Queries für BI-Anwender erzeugt werden. Teradata betont den „Echtzeit-Charakter“ des Produkts.

Aster Discovery Platform und Aster Big Analytics Appliance: Sollen den Markt für unstrukturierte Daten aus dem Internet, von Sensoren oder Social Networks erschließen. Zusammen mit den traditionellen Produkten sollen MapReduce- und Hadoop-Werkzeuge den Kunden Mittel für Klick- und Marketinganalysen an die Hand geben.

Teradata Marketing Applications: Sind speziell für das Kampagnen-Management und Digital Messaging (E-Mail, Mobile und Social Media) im Handel gedacht. Diese Business-Unit wurde erst Anfang des Jahres gegründet, während man laut Aussage des Unternehmens auch schon vorher auf diesem Gebiet tätig war – allerdings „eher im Verborgenen“, so CTO Stephen Brobst.

Auf einer Kundenveranstaltung von Teradata, die im Sommer in London unter dem Titel „We power marketing“ stattfand, erklärte Brobst im Gespräch mit com! professional, dass man früher in den Marketing-Abteilungen Entscheidungen mehr „aus dem Bauch heraus und aufgrund von subjektiven Einschätzungen“ getroffen habe. „Heute ist Marketing jedoch mehr datengetrieben, weil man gerade im Internet den Kunden nicht mehr persönlich kennt und auf das Sammeln und Auswerten aller verfügbaren Informationen über ihn angewiesen ist. In der Dotcom-Welt gibt es keine direkten persönlichen Beziehungen.“ Data Mining habe deshalb eine neue Bedeutung erhalten. Es müsse sich intensiver um unstrukturierte Daten kümmern und diese dann in ein erweitertes Data Warehouse einbringen.

Die Gartner-Analysten Beyer und Edjlali betonen in ihrem Report, Teradata habe im Unterschied zu vielen Konkurrenten gute Aussichten, in der neuen Big-Data-Welt zu bestehen. Es könne auf mehr als 30 Jahre Erfahrung im Markt für Data Warehou­sing zurückblicken und habe viele Kunden, die an Teradata kontinuierliche Technologieverbesserungen im Sinne der Geschäftsanforderungen seiner Kunden schätzen gelernt hätten.

Auch der Support von Teradata werde von den Kunden positiv hervorgehoben. Installation und laufender Betrieb von Data Warehouses gelten als nicht trivial, sodass das Unternehmen sogar einen beträchtlichen Teil seines Umsatzes mit Dienstleistungen rund um seine Produkte erzielt.

Als Alternative zu den klassischen, zum Teil aufwendigen und kostspieligen Produkten erachtet Gartner neue Cloud-Angebote, die sich mehr auf dem allgemeinen Cloud-Preisniveau bewegen würden. Teradata und die anderen Marktführer sehen sich den neuen Produkten und Dienstleistungen einer Reihe von Start-ups gegenüber, die erst vor Kurzem den Markt von BI, Data Warehousing sowie Big Data und Analytics betreten haben. Diese bieten nicht nur überwiegend günstigere Preise an, sondern setzen sehr stark auf Hadoop- und Cloud-Architekturen.

Allerdings mangele es laut Gartner oft an den Support-Möglichkeiten dieser Hersteller, die Schwierigkeiten hätten, den wachsenden Anforderungen ihrer Kunden zeitgerecht zu entsprechen. Viele Kunden sind auf Dauer auch nicht damit zufrieden, dass sich die Produkte – besonders im OpenStack-Umfeld – in einem fortdauernden Entwicklungsprozess befinden.

Zu den Start-ups, die sich bereits profilieren konnten, gehören Cloudera mit einem Apache-Hadoop-Produkt und Hortonworks mit der Hortonworks Data Platform (HDP), ebenfalls auf Hadoop-Basis. Auch Amazon AWS ist auf diesem Markt mit seinen Angeboten Amazon Redshift, einem Data-Warehouse-Service in der Cloud, AWS Data Pipeline und Elastic MapReduce (EMR) vertreten.

Ob es Teradata in dem neuen Umfeld gelingt, an die oft zweistelligen Wachstumsraten früherer Jahre anzuknüpfen, muss sich zeigen. In den beiden letzten Jahren lag das Wachstum nur bei 3 beziehungsweise 2 Prozent. Auch für das laufende Geschäftsjahr erwartet Co-President Hermann Wimmer nur eine Steigerung von 3 bis 5 Prozent. Im Blog Norberto.Galego.com räumte er ein: „Wir müssen neue Wachstumsformen finden. Für ein global agierendes Unternehmen ist das aber wegen der Währungsschwankungen beim Euro und beim Rubelschwierig“.