KI und ML: Cloud oder On-Premises?

Das Leben könnte so einfach sein, auch für Journalisten: „Lieber virtueller Assistent, kontaktiere deine Freunde ChatGPT und Bard und lasse sie einen Artikel zu KI-Plattformen schreiben, die als Cloud-Service verfügbar sind. Und bitte eine passende Anbieterübersicht mitliefern.“ Doch das klappt in der Praxis noch nicht, trotz des Hypes, der um generative KI-Formen (generative KI) wie ChatGPT von OpenAI und Bard von Google entstanden ist – mit Betonung auf „noch nicht“.

Es ist unumstritten, dass die künstliche Intelligenz und das Machine Learning (ML) bereits heute eine Schlüsselrolle in vielen Bereichen spielen, und diese Entwicklung wird sich beschleunigen – auch in Deutschland und der Schweiz: „Nach unseren Erfahrungen haben Unternehmen und Organisationen die Bedeutung von KI erkannt und investieren in diese Technologie“, berichtet etwa Markus Hacker, Director Enterprise Business DACH bei Nvidia. „Es besteht in einer Reihe von Branchen ein starkes Interesse an der Nutzung von KI zu Verbesserung von Effizienz, Produktivität und Innovation.“

Dies gilt nicht nur für die Fertigung, etwa im Automobil- und Maschinenbau und der pharmazeutischen und chemischen Industrie. Auch der Einzelhandel und Dienstleistungssparten wie der Finanzsektor können von KI und Machine Learning profitieren.

Nicht vergessen werden sollte, dass künstliche Intelligenz und Maschinelles Lernen (ML) für etliche Unternehmen und Nutzer kein Neuland sind. So hat beispielsweise Microsoft generative KI-Funktionen in seinen Browser Edge integriert und Microsoft 365 um künstliche Intelligenz erweitert: „Wir bieten mit dem in Microsoft 365 integrierten Copiloten die Möglichkeit, KI ohne Programmierkenntnisse in den Arbeitsalltag einzubinden“, erläutert Gilbert Jacqué, Azure Solutions Go-To-Market Lead bei Microsoft Deutschland. Ein Beispiel: „Microsoft Teams Premium wird in Kürze den Teilnehmern einer Besprechung direkt nach dem Meeting ein Protokoll und eine Aufgabenliste zur Verfügung stellen können“, so Jacqué.

Zu den Bereichen, in denen KI-Lösungen in verstärktem Mass anzutreffen sind, zählen vor allem die Kundenbetreuung, inklusive des IT-Supports. Dort kommt Conversational AI zum Zug in Form von Suchmaschinen und Chatbots. „Benutzer können Fragen stellen und erhalten Antworten wie in einem Dialog mit einer Person“, erklärt Florian Maximilian Lauck-Wunderlich, Senior Project Delivery Leader bei Pegasystems, einem Anbieter von Low-Code-Plattformen mit KI-Unterstützung. „Der nächste Schritt ist die Implementierung von emotionaler Intelligenz in Chatbots“, so Lauck-Wunderlich. Eine KI-gestützte Analytics-Software wiederum kann in Echtzeit auf Basis von Muster-Erkennung und Korrelationsanalysen die Ursachen von Umsatzrückgängen oder den Erfolg von Marketingkampagnen ermitteln.

Generative AI-Lösungen wie ChatGPT von OpenAI, Google Bard, Luminous des deutschen Start-ups Aleph Alpha und Character.AI vom gleichnamigen Anbieter werden das Einsatzspektrum künstlicher Intelligenz deutlich erweitern. Für viele Unternehmen und Organisationen stellt sich daher die Frage, wie und wo sie entsprechende Anwendungen entwickeln und implementieren können: im eigenen Haus beziehungsweise Data Center oder mithilfe von Public-Cloud-Services. Dabei spielen Faktoren eine Rolle wie:

---

Keine Überraschung ist, dass für Gilbert Jacqué von Microsoft KI aus der Cloud die perfekte Lösung ist:

Auch klassische Vorteile von Public-Cloud-Services kommen bei KI und Machine Learning zum Tragen, etwa die Skalierbarkeit und der Zugang zu speziellen Ressourcen wie Grafikprozessoren (GPUs) und den hohen Rechen- und Speicherkapazitäten, die das Erstellen und Testen von KI- und ML-Modellen erfordert. „Cloud-Nutzer profitieren von einer höheren Effizienz, weil sie die zugrunde liegende Server-Infrastruktur nicht selbst managen müssen“, betont Mark Neufurth, Lead Strategist beim deutschen Cloud-Serviceprovider Ionos.

Wichtig ist aus seiner Sicht jedoch, dass Nutzern die erforderlichen KI- und ML-Tools zur Verfügung stehen, die sie über Application Programming Interfaces (APIs) anbinden und zu einem kompletten AI/ML-Stack erweitern können. Dies erfordert beispielsweise die Unterstützung von ETL- und ELT-Pipelines (Export – Transform – Load und Export – Load – Transform). Speziell der „Transform“-Part ist bei KI und ML wichtig, um Variablen in standardisierte Bereiche umzuwandeln.

An der Cloud führt für Unternehmen kein Weg vorbei, die KI- und Machine-Learning-Lösungen einsetzen wollen, ist Stephan Schnieber sicher, der bei IBM als Sales Lead IBM Cloud Pak for Data die Region Schweiz, Deutschland und Österreich betreut. Anwender sollten dabei jedoch einige Fallstricke vermeiden.

• 

   

  Stephan Schnieber ist Sales Leader IBM Cloud Pak for Data in der DACH-Region, IBM

  Quelle:

  IBM

Stephan Schnieber: KI kommt bereits in vielen Produkten zum Einsatz, etwa in KI-basierten Business-Intelligence-Tools und in Chatbots. In Schlüsselindustrien, etwa der Automobilbranche, speziell der Elektromobilität, gibt es sicher Nachholbedarf gegenüber den USA oder China. Aber die eigentliche Frage muss ja lauten: Wo fängt KI an? Sind Unternehmen im Thema angekommen, wenn sie KI-Tools nutzen, oder müssen sie dafür erst mit Cloud- oder On-Premises-Werkzeugen eigene KI- oder Data-Science-Modelle entwickeln?

Schnieber: Hier ist die Antwort eindeutiger. Das Interesse an Cloud-Lösungen ist im Verhältnis zu On-Premises riesig. Alle Neueinsteiger in KI- und ML-Dienste legen den Fokus auf die Cloud. Wir müssen aber auch hier zwischen der Nutzung von Diensten und der Entwicklung von Modellen unterscheiden.

Schnieber: Dienste wie etwa Watson Assistant und Watson Discovery laufen seit ihrer Einführung in der Cloud, und das Interesse an ihnen nimmt stetig zu. Aber es gibt auch hier einige Ausnahmefälle, in denen das eigene Datencenter bevorzugt wird. Das ist unter anderem bei Unternehmen der Fall, die von Anfang an On Prem gearbeitet haben und bei denen die Integration und Anbindung an Altsysteme eine Rolle spielt. Bezüglich der Entwicklung von KI-Modellen mit Data-Science-Werkzeugen geht der Trend zunehmend in Richtung Cloud.

Schnieber: Die einfache Verfügbarkeit und die hohe Skalierbarkeit. Die Anbieter verfolgen inzwischen alle einen Cloud-first-Ansatz; Tools und APIs sind also ebenfalls hochverfügbar. Grundsätzlich muss aber zwischen der Erstellung und der Anwendung von KI-Modellen unterschieden werden. Entwickelt wird in der Cloud oder On-Premises, ausgeführt eher On Prem oder On Edge. Denn die Latenzzeiten sind, wie bei allen Cloud-Lösungen, ein limitierender Faktor. Werden Echtzeit-Ergebnisse benötigt, ist die Cloud meist nicht der optimale Ansatz.

Schnieber: Klares Ja. Das ist zum Beispiel der Fall, wenn ein KI-Modell mit grossen Datenmengen trainiert werden muss. Dann können die Kosten für den Cloud-Transfer so hoch sein, dass sie zum Argument werden, nicht in die Cloud zu gehen.

Schnieber: Die Interoperabilität ist zwar durch Standardwerkzeuge wie Jupyter Notebooks gegeben, bei denen Code mit Python oder R Code geschrieben und ausgeführt wird. Dieser lässt sich dann auch portieren. Aber in der Praxis finden Wechsel dennoch kaum statt, weil sie immer mit hohem Aufwand verbunden sind. Aber der Vendor Lock-in ist zumindest geringer als früher, als beispielsweise ausschliesslich Data-Science-Werkzeuge zur Verfügung standen, die für den Einsatz in Unternehmensrechenzentren ausgelegt waren.

Schnieber: Interessenten sollten bei der Anbieterauswahl auf eine möglichst offene Umgebung achten, die eine grosse Vielfalt von Tools unterstützt, um nicht auf eine proprietäre Entwicklungsumgebung eingeschränkt zu werden. Unternehmen müssen da einen Balanceakt vollbringen. Denn gerade im Bereich Data Science drängen junge, dynamische Absolventen auf den Arbeitsmarkt. Diese hoch qualifizierten, ambitionierten Fachleute wollen immer die neusten und modernsten Lösungen. Unternehmen benötigen aber gleichzeitig etablierte Systeme, die ihnen ein hohes Mass an Datensouveränität, Governance, Guidance und Einheitlichkeit sowie gute Kollaborationsmöglichkeiten bieten. Cloud-Strategien müssen das verbinden.

Schnieber: Ratsam ist, nach Möglichkeit einen Hybrid-Cloud-Ansatz zu bevorzugen. Das heisst, die On-Premises-Option sollte immer offengehalten werden. Kleinere Anbieter können häufig nur einen Teil der genannten Anforderungen erfüllen. Daher führt an den Cloud-Hyperscalern, inklusive IBM, oft kein Weg vorbei.

Angesichts des Mangels an IT-Fachleuten, vor allem von Data Scientists, ist der einfachere Zugang zu KI- und ­Machine-Learning-Know-how über eine Cloud ein weiterer wichtiger Punkt. Den Ernst der Lage zeigt ein Blick auf die Lage im DACH-Raum: Die Schweiz rechnet damit, dass im Jahr 2030 an die 40 000 IT-Fachleute fehlen. In Deutschland wiederum waren Ende 2022 nach Angaben des Digitalverbands Bitkom rund 140 000 IT-Stellen unbesetzt, in Österreich fehlen an die 30 000 Spezialisten.

„Ein Vorteil von Cloud-basierten KI-Diensten ist, dass sie dazu beitragen können, den ‘Skill Gap‘, in der KI-Branche zu schliessen“, unterstreicht Markus Hacker von Nvidia. „Viele Unternehmen verfügen möglicherweise nicht über das interne Fachwissen, das für den Aufbau und die Wartung einer KI-Infrastruktur erforderlich ist.“ Nutzer von Cloud-Diensten könnten jedoch vom Fachwissen von Cloud-Anbietern und deren Partnern profitieren, wenn sie KI-Anwendungen entwickeln.

Das reicht jedoch nicht aus, so Hacker. Wichtig sei zudem, dass Unternehmen verstärkt in KI-Ausbildung- und -Training investieren. Nur dann seien Beschäftigte in der Lage, KI-basierte Anwendungen zu nutzen und zu entwickeln. Mittlerweile bieten die Cloud-Serviceprovider sowie viele ihrer Partner entsprechende Kurse an, AWS beispielsweise über die AWS Academy, Microsoft im Rahmen von „Azure AI Fundamentals“. Natürlich können auch solche Programme nicht ad hoc den Mangel an KI- und Datenspezialisten beseitigen. Aber letztlich führt für Unternehmen kein Weg daran vorbei, die eigenen Mitarbeiter mithilfe solcher Angebote für das KI-Zeitalter fit zu machen.

In den vergangenen Monaten hat sich die Diskussion über die Kosten von Cloud-Services zugespitzt. So sehen Analysten wie David Linthicum vom Beratungshaus Deloitte wegen der Kosten bei KI- und ML-Workloads einen Trend zur „Repatriierung“ in Unternehmensrechenzentren. Und laut der Studie „CIO Pulse: 2023 Budgets & Priorities“ des schweizerischen IT-Hauses SoftwareOne sind für 41 Prozent der CIOs Preiserhöhungen der Cloud-Serviceprovider der grösste Faktor, der die IT-Ausgaben nach oben treibt – vor zu schnell anwachsenden Workloads und einer verstärkten Nutzung von Cloud-Ressourcen (jeweils 40 %), inklusive KI- und Machine-Learning-Services.

„Wer geglaubt hat, allein aus Kostengründen in die Cloud gehen zu müssen, erlebt oft eine Überraschung“, warnt Florian Maximilian Lauck-Wunderlich von Pegasystems. Aber: „Das liegt an unrealistischen Erwartungen.“ Die Cloud habe andere, wichtigere Qualitäten, etwa Verfügbarkeit, Skalierbarkeit, On-Demand-Ressourcen, aber auch Sicherheitsaspekte. Hinzu kommt, dass viele Cloud-Nutzer punkto Kosten noch ihre Hausaufgaben zu machen haben. So wollen 95 Prozent der CIOs die Transparenz und Kontrolle von Cloud-Kosten erhöhen. Auch das ist ein Ergebnis der Untersuchung von SoftwareOne.

Das heisst, es ist ein umfassendes Cloud-Kostenmanagement in Verbindung mit FinOps-Ansätzen erforderlich. Dies sollte allerdings nicht nur bei KI und ­Machine Learning aus der Cloud zum Zuge kommen, sondern bei allen Services, die Unternehmen aus einer Public Cloud beziehen.

Angesichts steigender Egress- und Ingress-Kosten (Datentransfers aus einer und in eine Cloud-Umgebung) ist ein weiterer Faktor wichtig: die Begrenzung der Datenmengen. «Eine tragfähige cloudbasierte Datenhaltung vermeidet eine redundante Datenhaltung und überflüssige Datentransporte zwischen der eigenen IT-Infrastruktur und der Cloud oder zwischen mehreren Clouds – und damit auch unnötige Kosten», so Gilbert Jacqué von Microsoft.

Allerdings sind auch die Cloud-Serviceprovider gefordert: „Der Trend zur Cloud hat auch durch die komplexen Cloud-Servicewelten der Hyperscaler zu Wildwuchs und damit zu ‘Cloud Waste‘ geführt“, moniert Mark Neufurth von Ionos. „Die Limitierung bei der Nutzung von KI-Services aus der Cloud hängt also auch von der Frage ab, wie transparent ein Cloud-Anbieter strukturiert ist.“

Für viele Unternehmen und Organisationen dürfte es allerdings schwierig sein, aus der breiten Angebotspalette der grossen Provider eine optimale Mischung von KI- und Machine-Learning-Services und den zugehörigen Infrastruktur-Komponenten wie Datenbanken, Storage- und Compute-Ressourcen zusammenzustellen. Abhilfe können IT-Dienstleister schaffen – in Form von Beratungsleistungen.

Speziell bei Entwicklung unternehmenskritischer KI-Anwendungen sollte der Aspekt Sicherheit nicht zu kurz kommen. Das lässt sich mit DevSecOps-Plattformen erreichen, etwa GitLab. «Wir erweitern aktiv unsere ModelOps-Funktionen, um die Erfahrung für KI-Entwickler zu verbessern, und bauen Funktionen ein, um Data-Science-Workloads nativ zu unterstützen», erläutert Taylor McCaslin, Group Manager – Product Data Science AI/ML bei GitLab. Dazu zählen die MLFlow-Integration, «sauberere» Python Notebooks und GPU SaaS Runners.

Eine DevSecOps-Plattform fasst die Funktionen zur Entwicklung und Bereitstellung von (KI-)Software in einem einheitlichen Workflow zusammen. Das beschleunigt Entwicklungsprozesse und reduziert das Risiko für Sicherheitslücken. Wichtig ist, dass solche Plattformen auch einen Zugang zu Ressourcen wie Grafikprozessoren bieten. GitLab hat daher eine Partnerschaft mit Oracle geschlossen.

Wer dennoch eine KI-Infrastruktur im eigenen Haus einrichten möchte, kann auf schlüsselfertige Lösungen zurückgreifen, beispielsweise die Systeme der DGX-Reihe von Nvidia. Sie sind mit Grafikprozessoren ausgestattet, die für Deep-Learning-Training und Inferencing optimiert wurden. Das hat allerdings seinen Preis: Ein System DGX H100 mit 640 Gigabyte GPU-Speicher wird Unternehmenskunden für mehr als 400 000 Euro angeboten.

Das Machine Learning Development System von HPE, das unter anderem auch der deutsche KI-Spezialist Aleph Alpha nutzt, dürfte sich mindestens in derselben Kategorie bewegen. Intels Sparte Habana Labs wiederum hat mit Gaudi2 und Gaudi3 Alternativen zu den Prozessoren von Nvidia entwickelt. Entsprechende Systeme sind unter anderem von Supermicro erhältlich. Intels Hauptkonkurrent AMD kündigte Anfang 2023 an, KI-Funktionen in seine GPUs, CPUs, applikationsspezifischen Chips (ASICS) und FPGAs (Field-Programmable Gate Arrays) zu integrieren. Mit AMD Vitis AI Integrated Development Environment hat AMD ausserdem eine Inference-Entwicklungslösung für AMD-Hardware vorgestellt.

Doch Investitionen in hauseigene Server mit KI-Hardware wollen gut überlegt sein, selbst aus Sicht der Anbieter: „Die Einrichtung einer KI-Infrastruktur vor Ort kann komplex sein und erhebliche Investitionen in Hard- und Software sowie Personal erfordern“, gibt Markus ­Hacker von Nvidia zu bedenken. „Zudem kann es schwieriger sein, mit dem hohen Tempo der KI-Innovationen Schritt zu halten.“

Interessant ist die Lösung, die Nvidia parat hat: den DGX Cloud Service. Er ermöglicht es Entwicklern, über ein Web-Frontend auf einen „KI-Supercomputer in der Cloud“ zuzugreifen. Sie haben dadurch unter anderem die Möglichkeit, generative AI-Anwendungen zu erstellen, ähnlich wie ChatGPT. Zunächst steht der Service über die Oracle Cloud Infrastructure (OCI) zur Verfügung. Microsoft Azure soll noch 2023 folgen.

Cloud-basierte KI- und Machine-Learning-Plattformen bieten vielen Unternehmen und Organisationen zweifellos einen einfacheren Einstieg in KI und Maschinelles Lernen als ein On-Premises-Ansatz. Für Taylor McCaslin von GitLab teilen sich die Unternehmen allerdings in zwei Gruppen: „Für schnelllebige, risikotolerante Unternehmen ist die Cloud eine gute Wahl, weil die meisten KI-Innovationen auf SaaS-Cloud-Plattformen stattfinden. Unternehmen in stark regulierten Branchen werden jedoch die Anforderungen an Datenschutz und Sicherheit mithilfe selbstverwalteter On-Premises-Instanzen erfüllen, obwohl das wegen der Komplexität von KI- und ML-Technologien in solchen Umgebungen anspruchsvoller ist.“

Speziell für Unternehmen in der EU werden die Aspekte Datenschutz und Compliance im Zusammenhang mit künstlicher Intelligenz zunehmend an Bedeutung gewinnen. Denn die Europäische Union wird voraussichtlich noch im Jahr 2023 mit dem EU AI Act ein Regelwerk für den Einsatz von KI vorlegen. Der Act dürfte auch die Nutzung von Cloud-Ressourcen tangieren – hoffentlich nicht in der Art, dass Daten künftig nur noch On-Premises mit KI-Anwendungen verarbeitet werden dürfen. Denn das würde die Wettbewerbsfähigkeit vieler Unternehmen spürbar einschränken.

Eine wichtigere Rolle wird voraussichtlich darüber hinaus der Punkt Vertrauenswürdigkeit von künstlicher Intelligenz spielen, so Stephan Schnieber, Sales Lead IBM Cloud Pak for Data in der DACH-Region. «Es muss beispielsweise laufend geprüft werden, ob die Daten, mit denen ein Modell trainiert wurde, noch Gültigkeit besitzen oder es revalidiert werden muss, damit es weiterhin vertrauenswürdig ist», erläutert der Experte.

Es sind nicht allein technische Faktoren, die über den Erfolg und die Akzeptanz von KI und Machine Learning entscheiden. Vielmehr muss das gesamte Paket stimmig sein, inklusive der Vertrauenswürdigkeit von KI und einer offenen Diskussion darüber, welche Folgen der Einsatz dieser Technologie für die Wirtschaft und Gesellschaft haben wird. Künstliche Intelligenz simpel als universalen Heilsbringer zu propagieren, wie das viele Anbieter entsprechender Lösungen tun, ist auf jeden Fall kein tragfähiger Ansatz.

---