Was sind Granite-Modelle?

Bei Granite handelt es sich um Large Language Models (LLMs), die von IBM für Unternehmensanwendungen entwickelt wurden. Granite-Basismodelle können Use Cases für generative künstliche Intelligenz (gen KI) unterstützen, die Sprache und Code enthalten.

Modelle der Granite-Familie verfügen über eine Open Source Assurance unter der Apache 2.0-Lizenz, sodass Entwicklungsteams kostenlos mit Granite-Modellen experimentieren und diese sowohl modifizieren als auch weitergeben können. Aus diesem Grund sind Granite-Modelle eine gute Wahl für Unternehmen, die sensible Daten handhaben und daher ihr eigenes LLM ausführen möchten, statt sich auf einen externen Service zu verlassen.

Mehr über Granite und Red Hat erfahren

Die Basismodelle werden darauf trainiert, mit einem allgemeinen Verständnis von Mustern, Strukturen und Sprachabbildungen zu arbeiten. Durch dieses Basistraining lernt das Modell, wie es kommunizieren und diese Muster erkennen kann. Dies wird als KI-Inferenz bezeichnet. KI-Inferenz bezeichnet die operative Phase der KI, in der das Modell das im Training Gelernte auf reale Situationen anwenden kann.

Warum Sie sich mit KI-Inferenz befassen sollten 

Die Granite-KI-Modelle von IBM verfügen über ein solches grundlegendes Wissen, das sich durch Fine Tuning weiter anpassen lässt, damit die Modelle bestimmte Aufgaben für nahezu alle Branchen ausführen können. Die Modelle der Granite-Familie werden anhand kuratierter Daten trainiert und bieten dabei Transparenz über die verwendeten Trainingsdaten.

LLMs nutzen gen KI, um neue Inhalte zu produzieren, die auf den Prompts der Nutzenden basieren. Heute wird gen KI oft zum Generieren von Texten, Bildern, Videos und Code verwendet. Unternehmen können mit LLM-Basismodellen verschiedene Aspekte ihrer betrieblichen Abläufe automatisieren, etwa Chatbots für den Kundensupport oder Code zum Testen von Software.

Weitere LLM-Basismodelle, die gen KI nutzen, sind LLaMa von Meta (beinhaltet LLaMa 2 und LLaMa 3), Gemini von Google, Claude von Anthropic, GPT von OpenAI (bekannt für ihren ChatGPT-Bot) sowie Mistral. Was die Granite-KI-Modelle von den anderen Basismodellen unterscheidet, ist die Offenlegung der Trainingsdaten. Dies sorgt dafür, dass das Vertrauen der Nutzenden wächst und die Modelle sich besser für Unternehmensumgebungen eignen.

Ja, einige Granite-KI-Modelle sind unter einer Open Source-Lizenz verfügbar. Entwicklungsteams können dadurch einfach auf das Modell zugreifen und lokal darauf aufbauen. Anschließend können sie das Modell per Fine Tuning für ihre speziellen Ziele anpassen. Nutzende haben sogar Zugriff auf den Großteil der Daten, mit denen das Modell trainiert wurde (PDF), und können so besser verstehen, wie es entwickelt wurde und funktioniert.

In Bezug auf Granite-Modelle bedeutet Open Source einen Freiraum, innerhalb dessen Entwicklungsteams das Modell mit eigenen Daten anpassen und so nutzerspezifische Ausgaben generieren können. Dies bedeutet jedoch nicht, dass die gesamte Open Source Community auf die persönlichen Daten der Beteiligten zugreifen kann. Anders als bei Webservice-KI werden Granite-Modelle nicht kontinuierlich trainiert. Damit werden Dateneingaben bei den Modellen der Granite-Familie niemals mit Red Hat, IBM oder anderen Granite-Nutzenden geteilt.

Unternehmen vieler Branchen – vom Gesundheits- bis hin zum Bauwesen – können mit Granite-Modellen ihre Abläufe auf verschiedene Weise in großem Umfang automatisieren. Granite-Modelle können für geschäftliche Aufgaben wie Zusammenfassen, Beantworten von Fragen und Klassifizieren trainiert werden. Hier finden Sie einige Beispiele:

• Codegenerierung: Mit Granite-Codemodellen können Sie auf der Arbeit anderer Entwicklungsteams aufbauen oder deren Arbeit verbessern, um Prozesse effizienter zu gestalten. Beispielsweise können Entwicklungsteams die Vorteile von Autovervollständigung nutzen: Ähnlich der Autovervollständigungsfunktion auf Smartphones kann das Modell einen Satz im Code beenden, noch bevor die Entwicklerin oder der Entwickler den Satz zu Ende getippt hat.
• Erkenntnisgewinnung: Wenn Sie große Datensätze vereinfachen, zusammenfassen oder erklären müssen, kann Granite korrekte Muster und Erkenntnisse schnell identifizieren. Das erspart Ihnen den lästigen Aufwand, eine Unmenge an Daten selbst zu durchkämmen. 

• Flexible Architektur: Granite lässt sich in bestehende Systeme integrieren und sowohl On-Premise als auch in der Cloud bereitstellen. Die Schnittstellen sind darauf ausgelegt, Deployments zu vereinfachen. Die Granite-Familie umfasst Modelle verschiedener Größen, sodass Sie das Modell wählen können, das Ihren Anforderungen am besten entspricht und gleichzeitig Ihrem Computing-Budget gerecht wird.
• Benutzerdefinierte Lösungen: Obwohl Granite als Basismodell verkauft wird, ist es so konzipiert, dass es für geschäftsspezifisches Wissen trainiert werden kann. Nutzende profitieren von der Flexibilität, das Modell ihren geschäftlichen Anforderungen entsprechend skalieren und per Fine Tuning anpassen zu können. Wenn Ihr Unternehmen sich beispielsweise auf medizinische Geräte spezialisiert hat, können Sie dem Modell den Fachjargon des Gesundheitswesens beibringen.
• Geringe Latenz: Wenn Sie ein Granite-Modell in Ihrer eigenen Infrastruktur ausführen, können Sie es für schnellere Antworten optimieren. Das Modell kann Echtzeitdaten liefern und ist dadurch für wichtige Abläufe praktisch. Bei unserem Beispiel Gesundheitswesen ist der Zugriff auf Echtzeitdaten für die Remote-Zusammenarbeit des ärztlichen Fachpersonals mit Patientinnen und Patienten sowie für die zeitkritische Behandlung von enormer Bedeutung. Durch Komprimieren des Granite-Modells lässt sich eine starke Performance mit weniger Ressourcen erzielen.
• Hohe Genauigkeit: Entwicklungsteams können die Granite-Reihe per Fine Tuning für branchenspezifische Aufgaben anpassen, um dem Modell Expertenwissen zu beliebigen Themen zu geben. Es kann zudem in mehreren Sprachen trainiert werden, um Genauigkeit und Zugänglichkeit in globalem Umfang zu erreichen.
• Transparente Modelle: Da Granite über eine Open Source-Lizenz verfügbar ist, ist es für Entwicklungsteams ersichtlich, wie das KI-Modell entwickelt und trainiert wurde. Außerdem können sie so mit einer Open Source Community zusammenarbeiten.

Ja, Granite-Modelle unterstützen verteilte Inferenzfunktionen. 

Verteilte Inferenz sorgt dafür, dass KI-Modelle Workloads effizienter verarbeiten können, indem die Inferenzarbeit innerhalb einer Gruppe miteinander verbundener Geräte verteilt wird. Die verteilte Inferenz unterstützt ein System, das Anfragen über eine ganze Flotte von Hardware-Komponenten verteilt, darunter physische und Cloud-Server. 

Von dort aus verarbeiten die einzelnen Inferenzserver ihren zugewiesenen Teil parallel, um eine Ausgabe zu erstellen. Das Ergebnis ist ein resilientes und beobachtbares System zum Bereitstellen konsistenter und skalierbarer, KI-gestützter Services. Frameworks wie llm-d unterstützen verteilte Inferenz in großem Umfang, um gen KI-Anwendungen im gesamten Unternehmen zu beschleunigen.

Erfahren Sie, bei welchen anderen Aufgaben verteilte Inferenz nützlich sein kann 

Einfach ausgedrückt: Ohne Inferenz gibt es keine KI. 

Allerdings wird die Inferenz durch die immer größer werdenden Modelle stark belastet. Je komplexer die Modelle werden, desto langsamer wird die Inferenz.

Für erfolgreiche Inferenz müssen KI-Modelle viele Berechnungen in kurzer Zeit durchführen. Daher können Faktoren wie Modellgröße, hohes Nutzervolumen und Latenz die Performance einschränken. Wenn Modelle mehr Daten und Speicher benötigen, können Hardware und Beschleuniger nur schwer mithalten.

Daher können die Hardware und Software, die Ihre Inferenzfunktionen unterstützen, über Erfolg oder Misserfolg Ihrer KI-Strategie entscheiden. Genau darum ist Granite für Inferenzfunktionen der nächsten Generation konzipiert.

Warum Sie sich mit KI-Inferenz befassen sollten 

IBM hat mehrere Granite-Modelle veröffentlicht, um den zunehmend komplexeren Anforderungen von Unternehmensanwendungen gerecht zu werden. Dabei gibt es verschiedene Kategorien und Namenskonventionen der Modellreihen innerhalb der Granite-Familie.

Die unterschiedlichen Reihen dienen jeweils einem konkreten Zweck:

• Granite for Language: Diese Modelle liefern akkurates Natural Language Processing (NLP) in mehreren Sprachen bei geringer Latenz. 

  Use Cases für generative KI ansehen

• Granite for Code: Diese Modelle werden auf mehr als 100 verschiedenen Programmiersprachen trainiert, um unternehmensgerechte Softwareaufgaben zu unterstützen.
• Granite for Time Series: Diese Modelle werden per Fine Tuning für die Prognose von Zeitreihen angepasst, einer Methode zum Vorhersagen zukünftiger Daten anhand von Daten aus der Vergangenheit.

• Granite for GeoSpatial: Dieses von IBM und der NASA entwickelte Basismodell beobachtet die Erde und erfasst dabei Satellitendaten in großem Umfang, was das Nachverfolgen und Reagieren auf Umweltveränderungen ermöglicht.

  Use Cases für prädiktive KI ansehen

Innerhalb dieser Reihen bietet Granite jeweils Modelle unterschiedlicher Größen und Fachgebiete. So umfasst Granite for Language beispielsweise Folgendes:

• Granite-7b-base, ein allgemeines Sprachmodell für Unterhaltungen und Chats
• Granite-7b-instruct, ein auf das Befolgen von Aufgabenanweisungen spezialisiertes Modell

Mehr zu Granite-Modellen auf Hugging Face erfahren

Red Hat® AI ist eine Plattform mit Produkten und Services, die Ihr Unternehmen in den einzelnen Phasen der KI-Einführung unterstützen kann – unabhängig davon, ob Sie gerade erst beginnen oder schon skalierungsbereit sind. Die Lösungen können sowohl generative als auch prädiktive KI-Initiativen für die spezifischen Use Cases Ihres Unternehmens unterstützen.

Mit Red Hat AI erhalten Sie Zugriff auf Red Hat® AI Inference Server, mit dem Sie die Modellinferenz in der gesamten Hybrid Cloud optimieren und so schnellere und kosteneffiziente Deployments erzielen können. Der auf vLLM basierende Inferenzserver maximiert die GPU-Nutzung und ermöglicht schnellere Reaktionszeiten.

Mehr über Red Hat AI Inference Server erfahren

Red Hat AI Inference Server umfasst das Repository von Red Hat AI, eine Kollektion validierter und optimierter Drittanbietermodelle, die mehr Modellflexibilität und teamübergreifende Konsistenz ermöglicht. Durch den Zugriff auf das Repository von Drittanbietermodellen können Unternehmen die Markteinführungszeit verkürzen und finanzielle Hindernisse für eine erfolgreiche KI-Implementierung abbauen. 

Mehr über validierte Modelle von Red Hat AI erfahren