Was ist MLOps?

Unter MLOps (Machine Learning Operations) versteht man eine Reihe von Workflow-Praktiken mit dem Ziel, Bereitstellung und Management von ML-Modellen (Machine Learning) zu optimieren.

Mit MLOps soll die Integration von ML-Modellen in Softwareentwicklungsprozesse kontinuierlich weiterentwickelt werden. Dazu orientiert sich MLOps an den Grundsätzen von DevOps und GitOps. Durch die Einführung von MLOps können Data Scientists, Engineers und IT-Teams synchron dafür sorgen, dass ML-Modelle genau und aktuell bleiben, indem Sie die iterative Trainingsschleife optimieren. Dadurch werden kontinuierliches Monitoring, Retraining und Deployment ermöglicht, sodass sich die Modelle an sich ändernde Daten anpassen und langfristig ihre maximale Performance beibehalten können.

ML-Modelle erstellen mithilfe der Mustererkennung in Daten Vorhersagen. Wird das Modell im Rahmen seiner Weiterentwicklung mit neueren Daten konfrontiert, für die es nicht trainiert wurde, tritt ein als „Datendrift“ bezeichnetes Problem auf. Zu Datendrift kommt es im Laufe der Zeit, wenn die statistischen Eigenschaften, die zum Trainieren eines ML-Modells verwendet werden, veraltet sind. Wird dies nicht berücksichtigt und korrigiert, kann sich das negativ auf ein Unternehmen auswirken.

Wie sieht KI im Unternehmen aus?

Um Datendrift zu vermeiden, müssen Unternehmen ihre Modelle überwachen und ein hohes Maß an Vorhersagegenauigkeit wahren. Durch Anwendung der Praktiken von MLOps kann ein Team die Qualität und Genauigkeit eines prädiktiven Modells verbessern. Gleichzeitig wird der Managementprozess vereinfacht, Datendrift vermieden und die Effizienz von Data Scientists optimiert.

Nachfolgend finden Sie mehrere Beispiele dafür, welche Vorteile MLOps einem Unternehmen bieten kann:

Reproduzierbarkeit: Unternehmen können sich auf die konsistente Reproduzierbarkeit von ML-Experimenten verlassen, da ein MLOps-Framework Änderungen an Code, Daten und Konfigurationsdateien, die mit verschiedenen Modellen verknüpft sind, nachverfolgen und managen kann. 

CI/CD (Continuous Integration/Continuous Deployment): MLOps-Frameworks lassen sich in CI/CD-Pipelines integrieren und ermöglichen so automatisierte Tests, Validierung und Bereitstellung. Dies wiederum beschleunigt Entwicklungs- und Lieferzyklen und fördert eine Kultur der kontinuierlichen Verbesserung.

Verbesserte Zusammenarbeit und straffere Zeitpläne: Mit MLOps können Teammitglieder effektiv zusammenarbeiten und dabei Engpässe beseitigen sowie die Produktivität steigern. Durch die Automatisierung manueller Aufgaben können Unternehmen außerdem mehr Modelle schneller bereitstellen und sie für die bestmögliche Genauigkeit häufiger iterieren.

Kosteneinsparungen: Die laufenden Anpassungen und Verbesserungen, die für die Aufrechterhaltung eines präzisen ML-Modells erforderlich sind, sind mühsam, insbesondere wenn sie manuell vorgenommen werden. Durch die Automatisierung mit MLOps können Unternehmen Ressourcen einsparen, die sonst für die Finanzierung zeitaufwendiger manueller Arbeiten aufgewendet werden müssten. Außerdem können Sie mit MLOps das Risiko manueller Fehler minimieren und durch den optimierten Bereitstellungsprozess die Wertschöpfung erhöhen.

Was ist Models as a Service?

Verbesserte Governance und Compliance: Mit MLOps-Praktiken können Unternehmen Sicherheitsmaßnahmen durchsetzen und für Compliance mit Datenschutzbestimmungen sorgen. Die Überwachung der Performance und Genauigkeit stellt außerdem sicher, dass Modelldrift bei der Integration neuer Daten verfolgt und proaktive Maßnahmen ergriffen werden können, um langfristig ein hohes Maß an Genauigkeit aufrechtzuerhalten.

Was ist KI-Sicherheit?

MLOps-Praktiken beseitigen mühsame manuelle Tätigkeiten, die mit der Pflege eines maschinellen Lernmodells verbunden sind, und gewährleisten gleichzeitig dessen kontinuierliche Performance und Zuverlässigkeit. Durch eine optimierte Zusammenarbeit zwischen verschiedenen Teams fördern MLOps eine agile Entwicklung und eine datengesteuerte Entscheidungsfindung in Unternehmen. 

Mit MLOps können Unternehmen vieler verschiedener Branchen den ML-Entwicklungsprozess automatisieren und vereinfachen. Use Cases für MLOps:

Prädiktive Wartung: Prognose von Geräteausfällen und proaktive Wartungsplanung

Betrugserkennung: Entwicklung und Einsatz von Modellen, die Transaktionen kontinuierlich auf verdächtige Aktivitäten überwachen

Natural Language Processing (NLP): Sicherstellung, dass Anwendungen wie Chatbots, Übersetzungsprogramme und andere Large Language Models (LLMs) effektiv und zuverlässig funktionieren

Maschinelles Sehen: Unterstützung von Aufgaben wie medizinische Bildanalyse, Objekterkennung und autonomes Fahren 

Anomalieerkennung: Erkennung von Abweichungen von der Norm in verschiedenen Kontexten wie Netzwerksicherheit, industrielle Prozesse und IoT-Geräte

Gesundheitswesen: Einsatz von Modellen für die Diagnose von Krankheiten, die Vorhersage von Patientenergebnissen und die Analyse bildgebender Verfahren 

Einzelhandel: Bestandsverwaltung, Nachfragevorhersage, Preisoptimierung und Verbesserung des Einkaufserlebnisses für den Kunden

KI-Operationalisierung mit Red Hat AI

MLOps kann als Weiterentwicklung von DevOps betrachtet werden. Es basiert auf denselben Basiskonzepten der Zusammenarbeit, Automatisierung und kontinuierlichen Verbesserung, die auch bei der Entwicklung von ML-Modellen Anwendung finden. MLOps und DevOps verfolgen das gemeinsame Ziel, die Zusammenarbeit mit dem IT-Operations-Team zu verbessern, mit dem sie eng zusammenarbeiten müssen, um ein Software- oder ML-Modell während seines gesamten Lifecycles zu verwalten und zu pflegen. 

Während sich DevOps auf das Automatisieren operativer Routineaufgaben und das Standardisieren von Entwicklungs- und Bereitstellungsumgebungen konzentriert, ist MLOps eher experimenteller Natur und konzentriert sich auf das Erforschen von Möglichkeiten zum Verwalten und Warten von Daten-Pipelines. Da sich die in ML-Modellen verwendeten Daten ständig weiterentwickeln, muss sich auch das Modell selbst weiterentwickeln. Dies erfordert eine ständige Anpassung und Feinabstimmung. 

Test, Deployment und Produktion gestalten sich für MLOps anders als für DevOps. Daher gehören zu einem ML-Projekt oft auch Data Scientists, die nicht auf Software-Engineering spezialisiert sind, sondern sich auf die explorative Datenanalyse, Modellentwicklung und Experimente konzentrieren. Zu den mit MLOps verbundenen Aufgaben, die bei DevOps normalerweise nicht berücksichtigt werden, gehören:

• Tests zur Datenvalidierung, Qualitätsbewertung des trainierten Modells und Modellvalidierung
• Entwicklung einer mehrstufigen Pipeline, um ein ML-Modell automatisch neu zu trainieren und bereitzustellen, wenn neue Daten eingehen
• Verfolgung der zusammenfassenden Statistiken Ihrer Daten, und Monitoring der Online-Performance des Modells, um beim Abweichen der Werte von den Erwartungen zu informieren

Bei CI/CD (Continuous Integration/Continuous Deployment) in MLOps geht es nicht mehr nur um das Testen und Validieren von Code und Komponenten (wie bei DevOps), sondern auch um das Testen und Validieren von Daten, Datenschemata und Modellen. Bei CD geht es nicht mehr um ein einzelnes Softwarepaket oder einen Service, sondern um ein System (eine ML-Trainings-Pipeline), das automatisch einen anderen Service (Modell-Prädiktions-Service) bereitstellen sollte.

Es gibt keine einheitliche Methode für das Erstellen und Operationalisieren von ML-Modellen. Allerdings gibt es einen Lifecycle mit 5 Kernphasen, die beim Entwickeln und Ausführen von Anwendungen zu durchlaufen sind. 

Red Hat® OpenShift® enthält wichtige Funktionen, mit denen Sie MLOps konsistent in Rechenzentren, Public Cloud Computing- und Edge Computing-Umgebungen einsetzen können:

Phase 1: Sammlung/Aufbereitung von Daten
Strukturierte oder unstrukturierte Daten werden in einem geeigneten Format für Training und Tests von ML-Modellen erfasst, bereinigt und gekennzeichnet.

Phase 2: Modelltraining

ML-Modelle werden auf Jupyter-Notebooks auf Red Hat OpenShift trainiert.

Phase 3: Automatisierung

Red Hat OpenShift Pipelines bietet eine eventgesteuerte Continuous Integration-Funktion, mit der ML-Modelle als Container Images paketiert werden können.

Phase 4: Deployment

Red Hat OpenShift GitOps automatisiert das Deployment von ML-Modellen in großem Umfang und ortsunabhängig – in Public Cloud-, Private Cloud-, Hybrid Cloud- oder Edge-Umgebungen. Technologien wie vLLM können zur Optimierung der GPU-Nutzung während der Inferenz in der Deployment-Phase verwendet werden.

Phase 5: Überwachung

Mit den im Partnernetzwerk bereitgestellten Tools kann Ihr Team Ihre Modelle überwachen und sie bei Bedarf durch erneutes Training und Deployment aktualisieren. Wenn neue Daten erfasst werden, kehrt der Prozess in einer Schleife zu Phase 1 zurück und durchläuft kontinuierlich und automatisch die 5 Phasen auf unbestimmte Zeit. 

Mehr über KI von Red Hat erfahren

Unabhängig davon, ob Sie gerade erst mit der Integration von maschinellem Lernen in Ihrem Unternehmen beginnen oder bereits seit einiger Zeit mit ML-Pipelines arbeiten, ist es hilfreich zu verstehen, wie Ihre Workflows und Prozesse in den Umfang von MLOps passen. Der Entwicklungsstand des maschinellen Lernprozesses wird in der Regel mit 1 von 3 Kategorien angegeben, je nachdem, wie hoch der Automatisierungsgrad im Workflow ist. 

MLOps-Stufe 0: Vollständig manuell

Teams, die gerade erst mit dem maschinellen Lernen beginnen, arbeiten in der Regel mit einem vollständig manuellen Workflow. In diesem Stadium sind die Data Scientists, die das Modell erstellen, von den Engineers, die das Modell bedienen, getrennt, und sämtliche Schritte des Prozesses (Datenvorbereitung, Modelltraining, Automatisierung, Deployment und Monitoring) werden ohne Automatisierung ausgeführt. CI (Continuous Integration) und CD (Continuous Deployment) sind nicht vorhanden. Neue Modellversionen werden nur selten eingesetzt, und wenn ein neues Modell eingesetzt wird, ist das Risiko größer, dass es sich nicht an Änderungen anpasst. 

MLOps-Stufe 1: Automatisierte ML-Pipeline

Es ist sinnvoll, mit der Automatisierung des Workflows zu beginnen, wenn sich das Modell proaktiv an neue Faktoren anpassen muss. Mit einer automatisierten Pipeline werden neue Daten für das Continuous Training (CT) eingeschleift – so kann das Modell auf die relevantesten Informationen für Prädiktions-Services zugreifen. 

MLOps-Stufe 2: Automatisiertes CI/CD-System

In diesem Stadium sind Updates des ML-Modells schnell und zuverlässig. Das Modell wird täglich, wenn nicht sogar stündlich, mit neuen Daten trainiert, und die Updates werden auf Tausenden von Servern gleichzeitig bereitgestellt. Mit diesem System können Data Scientists und Engineers harmonisch in einer einheitlichen, gemeinschaftlichen Umgebung arbeiten. 

Entwicklung im Vergleich zum Kauf

Ressourcen und Zeitplan sind 2 wichtige Faktoren bei der Entscheidung, ob eine MLOps-Plattform entwickelt oder gekauft werden soll. Es kann über ein Jahr dauern, bis eine funktionierende ML-Infrastruktur entwickelt ist, und noch länger, bis eine Pipeline aufgebaut ist, die tatsächlich Mehrwert für Ihr Unternehmen schafft. Außerdem erfordert die Aufrechterhaltung einer Infrastruktur Lifecycle-Management und ein dediziertes Team. Wenn Ihr Team nicht über die erforderlichen Kompetenzen oder die nötige Bandbreite verfügt, um diese zu erlernen, bietet sich die Investition in eine End-to-End-MLOps-Plattform als beste Lösung an. 

Wichtige Kriterien bei der Wahl einer Plattform für KI und MLOps

Red Hat® AI, unser KI-Produktportfolio, basiert auf den vertrauenswürdigen Lösungen, die unsere Kunden bereits nutzen. Dank dieser Basis bleiben unsere Produkte auch weiterhin zuverlässig, flexibel und skalierbar.

Mit Red Hat AI können Unternehmen:

• KI schnell einführen und Innovationen schaffen
• Die Komplexitäten beim Bereitstellen von KI-Lösungen umgehen
• In vielen verschiedenen Umgebungen bereitstellen

Mehr über Red Hat AI erfahren

Eine einzige integrierte MLOps-Plattform

In Red Hat AI ist Red Hat® OpenShift® AI enthalten, eine KI-Plattform zum Verwalten von KI/ML-Lifecycles in Hybrid Cloud-Umgebungen und am Edge.

Diese eine Plattform bietet Support für:

• Workflows für die Zusammenarbeit
• Monitoring
• Hybrid Cloud-Anwendungen

Nutzende, die prädiktive und generative KI-Modelle in großem Umfang ausführen möchten, können mit Red Hat OpenShift AI ihre kritischen Workloads nahtlos organisieren und optimieren.

Mehr über Red Hat OpenShift AI erfahren 

Flexibilität bei Partnern 

Unser KI-Partnernetzwerk wird ständig erweitert. Viele verschiedene Technologiepartner arbeiten mit Red Hat zusammen, um die Kompatibilität mit Red Hat AI zu zertifizieren. Somit eröffnen sich Ihnen viele neue Möglichkeiten.

Mehr über unsere Partner erfahren