Was ist ein Open Source-LLM?

Der Code und die Architektur eines Open Source-LLM (Large Language Model) sind öffentlich zugänglich, was eine freie Verwendung, Änderung und Verteilung ermöglicht. Aufgrund der Komplexitäten beim Erstellen und Bereitstellen von LLMs lässt sich oft nur schwer sagen, ob ein LLM wirklich quelloffen ist.

Im Allgemeinen wird mit Open Source der vollständige Zugriff auf das Design eines Produkts beschrieben. Im Fall von Open Source-Software wird damit die Veröffentlichung eines Computerprogramms über eine bestimmte Art von Lizenz bezeichnet, bei der der Quellcode für die allgemeine Verwendung oder Änderung verfügbar ist. Normalerweise bedeutet das, dass Software mit folgenden Merkmalen als Open Source betrachtet wird:

• Die Software ist frei als Quellcode verfügbar – ohne zusätzliche Kosten.
• Der Quellcode kann umgewandelt und in andere neue Software integriert werden.

Open Source spielt bei LLMs eine wichtige Rolle, da es damit leichter wird, technologische Innovationen zu verstehen und zu diesen beizutragen. 

Fachleute in diesem Bereich sind sich uneins darüber, wann ein LLM berechtigterweise als Open Source angesehen werden kann. Der Grund dafür liegt darin, dass die traditionelle Definition von Open Source-Code sich nicht so einfach auf KI-Technologien (Künstliche Intelligenz) anwenden lässt.

Anders als konventioneller Open Source-Code, der hauptsächlich aus Programmieranweisungen besteht, wird beim Erstellen von LLMs Folgendes verwendet:

• Enorm viele Trainingsdaten. Diese Trainingsdaten können urheberrechtlich geschützte Werke oder private Daten umfassen, durch die es beim Teilen zu rechtlichen Problemen kommt.
• Numerische Parameter, sogenannte Gewichte. Diese Parameter bestimmen, wie die Eingabedaten zu einer aussagekräftigen Ausgabe verarbeitet werden. Sie sind daher ein wesentlicher Faktor dafür, wie das Sprachverständnis des Modells gestaltet wird. Man kann sich die Gewichte als Bausteine vorstellen, die das „Gehirn“ des Modells erstellen und festlegen, wie es beim Verarbeiten von Informationen Themen priorisiert.

In anderen Worten: Es geht nicht mehr nur um Code. LLMs sind sehr viel komplexer, da für ihre Entwicklung mathematische Modelle und Datensätze erforderlich sind. „Offene“ LLMs legen möglicherweise ihre Modellgewichte und den Startcode offen. Sie teilen aber nicht unbedingt sämtliche Datenquellen, die verwendet wurden, um das ursprüngliche LLM zu erstellen. Ein Open Source-LLM hingegen würde sämtliche Schritte und Datenquellen teilen – zusammen mit einer großzügigen Lizenz zur Nutzung, Weiterentwicklung und Verbreitung des Modells. 

Wenn die „Rezepte“ für LLMs kostenlos zur Verfügung stehen, können Einzelpersonen und Organisationen auf der Arbeit anderer aufbauen. Daraus ergeben sich viele Vorteile, darunter:

Bessere Zusammenarbeit: Der wohl größte Vorteil von Open Source-LLMs ist, dass sie die Zusammenarbeit von vielen verschiedenen Quellen fördern. Der verbesserte Zugang zu Technologien der generativen KI (gen KI) sorgt für mehr Experimentier- und Lernmöglichkeiten. Gleichzeitig kommt es zu weniger Verzerrungen, einer höheren Genauigkeit und einer besseren Performance.

Transparenz: Wenn wir nicht wissen, wie ein Modell trainiert wurde, wie können wir dann seiner Ausgabe trauen? Ein Open Source-LLM bietet volle Transparenz darüber, wie es trainiert wurde. Dadurch können Nutzende besser verstehen, wie die einzelnen Features funktionieren. Außerdem verfügen sie damit über die notwendigen Informationen, um zu entscheiden, ob und wie sie die Technologie nutzen wollen.

Geringere Auswirkungen auf die Umwelt: Bei transparenten Modellen können wir sehen, welche Arbeit bereits getan wurde. Dadurch wird überflüssige Arbeit in Trainings- und Auswertungssystemen eliminiert, die sonst zu mehr Rechenleistung und damit zu zusätzlichen Emissionen führen würde.

Finanzielle Zugänglichkeit: LLMs von Grund auf zu trainieren, kostet üblicherweise sehr viel Geld, und sie sind insgesamt sehr ressourcenintensiv. Wenn Sie auf ein proprietäres LLM zugreifen, sind sie potenziell für die Lizenzierungsgebühren verantwortlich. Die Möglichkeit, kostenlos auf der fertigen Arbeit einer anderen Person aufzubauen, erleichtert Unternehmen den Zugang, die sich sonst die Entwicklung eines LLM nicht leisten könnten.

Webinar: Optimale Nutzung von KI – mit Open Source

Viele grundlegende Aspekte des Internets, wie wir es kennen, basieren auf Open Source-Prinzipien. Das Open Source-Entwicklungsmodell hat zu einigen der wichtigsten Anwendungen und Cloud-Plattformen geführt, die heutzutage verwendet werden.

LLMs lassen sich in Bezug auf diese Freiheit auf der gesamten Skala zwischen „offen“ und „geschlossen“ einordnen. Sehen wir uns einige der beliebtesten LLMs an:

Geschlossene Modelle
Bei ChatGPT von OpenAI und Claude von Anthropic handelt es sich um geschlossene Modelle. Sie werden streng kontrolliert und Nutzenden mit Einschränkungen über bezahlte API-Services verfügbar gemacht.

Offene Modelle
Der Begriff „Open Source“ wird umgangssprachlich für LLMs verwendet, die sich auf Plattformen wie Hugging Face kostenlos herunterladen lassen. Das ist auch beim Modell Llama 2 von Meta der Fall. Die Bedingungen für Llama 2 passen allerdings nicht zur gängigen Definition von Open Source-Software. Es gibt nämlich Bedingungen und Einschränkungen, denen die Nutzenden im Rahmen einer Lizenzvereinbarung zustimmen müssen. Genauer gesagt hat Meta in bestimmten rechtlichen und moralischen Einschränkungen festgelegt, was als „akzeptable Nutzung“ gilt. Außerdem erfordert die Lizenzvereinbarung, dass Organisationen ab einer bestimmten Anzahl monatlicher Nutzender eine zusätzliche Lizenz von Meta beantragen.

Modelle mit Open Source-Lizenz
Die Modelle der Granite-Familie von IBM Research und die Modelle von Mistral AI sind Beispiele für LLMs, die unter einer Apache 2.0-Lizenz verfügbar sind. Das bedeutet, dass die Modelle kostenlos und ohne Einschränkungen kommerziell genutzt werden können. Allerdings machen diese Modelle nicht ihre gesamten Trainingsdaten zur Ansicht verfügbar, was in manchen Fällen auf Lizenzbeschränkungen beruht.

Red Hat setzt auf eine Zukunft, in der alle zum Code einer offenen, vertrauenswürdigen Basis beitragen, den Code prüfen und darauf aufbauen können. Wir sind davon überzeugt, dass ein Open Source-Entwicklungsmodell Technologien ermöglicht, die sicherer, stabiler und innovativer sind. Mit der zunehmenden Bedeutung von KI können unsere Open Source-Plattformen Sie dabei unterstützen, KI-Modelle und -Anwendungen für Ihre eigenen Anforderungen mit Ihren eigenen Daten zu entwickeln, bereitzustellen und zu überwachen.

Red Hat® Enterprise Linux® AI ist eine Plattform für Basismodelle, mit der Sie Unternehmensanwendungen mithilfe von LLMs der Granite-Familie nahtlos entwickeln, testen und bereitstellen können. Mit der technologischen Basis von Linux, Containern und Automatisierung gibt Ihnen die Open Hybrid Cloud-Strategie von Red Hat die Flexibilität, Ihre KI-Anwendungen dort auszuführen, wo Sie sie benötigen.

Das von IBM und Red Hat ins Leben gerufene Open Source-Projekt InstructLab ist eine Community, die LLMs nach den Prinzipien von Open Source fördert. Das InstructLab-Projekt erfasst zunächst Trainingsdaten, die von Menschen kuratiert wurden. Anschließend generiert es synthetische Daten, die auf den anfänglichen Trainingsdaten basieren, und nutzt diese synthetischen Daten schließlich, um das Basismodell zu trainieren. Community-Beiträge können zu regelmäßigen iterativen Builds von LLMs führen. InstructLab bietet eine kosteneffiziente Lösung zur Verbesserung der Ausrichtung von LLMs und ermöglicht auch Personen mit nur sehr geringer Erfahrung im Bereich des maschinellen Lernens, sich einzubringen.

Red Hat OpenShift® AI ist eine mit Open Source-Technologien entwickelte, unternehmensgerechte KI-Anwendungsplattform, die Teams das zuverlässige Entwickeln, Betreiben und Skalieren ermöglicht. Mit OpenShift AI können Sie Daten erfassen und vorbereiten, Modelltraining und Fine Tuning durchführen, Modelle bereitstellen und überwachen sowie auf Hardwarebeschleuniger zugreifen.