オープンソース LLM とは
オープンソース大規模言語モデル (LLM) はコードとアーキテクチャが公開されていて誰でもアクセスでき、自由に使用、変更、配布することが可能です。LLM の構築と提供は複雑なので、ある LLM が真にオープンソースであるかどうかの判断は必ずしも簡単ではありません。
一般的に、オープンソースとは製品の設計に完全にアクセスできることを言います。オープンソースソフトウェアの場合は、ソースコードを公開して使用や変更ができるようにする特定の種類のライセンスを通じてコンピュータプログラムをリリースすることを指します。そのため通常は、次の条件を満たしたソフトウェアがオープンソースとみなされます。
- 追加の費用を支払うことなくソースコードの形式で入手できる
- ソースコードを転用して新しいソフトウェアを構築できる
LLM の場合、オープンソースの価値観は技術的イノベーションに対する理解や貢献において極めて重要な役割を果たします。
オープン LLM とオープンソース LLM
何をもってオープンソース LLM とするかの基準については、業界エキスパートの間でも意見が分かれています。これは、これまでの伝統的なオープンソースコードの定義を、人工知能 (AI) テクノロジーに簡単に適用することができないためです。
主にプログラミング命令で構成されている従来のオープンソースコードとは異なり、LLM は次のものを使用して作成されます。
- (極めて) 大量のトレーニングデータ：このトレーニングデータには著作権のある作品や公開されていないデータが含まれていることがあり、その場合、共有することは法的な問題につながります。
- 数的パラメータ (重み付け)：このパラメータは入力データから意味のある出力に至る処理の方法を決定づけるものであり、モデルの言語理解を形成するうえで極めて重要です。モデルの「脳」を形作る構成要素であり、情報を処理する際にトピックの優先順位付けの基準になると考えるとよいでしょう。
言い換えれば、コードだけの問題ではないということです。LLM は作り上げるのに数学的モデルとデータセットが必要であり、はるかに複雑です。「オープン」な LLM と言われているものは、モデルの重み付けと初期コードは公開していても、最初に LLM を作るのに使用した各データソースを共有しているとは限りません。それに対し、オープンソース LLM はすべてのステップとデータソースがパーミッシブライセンスとともに共有されており、誰もがそのモデルを使用し、活用し、配布できます。
オープンソース LLM のメリット
無償で使用できる LLM のレシピが配布されている場合、それは、個人や組織が他の人たちの取り組みを活用して構築することが可能になることを意味します。これには、次のような多くのメリットがあります。
コラボレーションによる改善：オープンソース LLM の最大のメリットは、さまざまなソースからのコラボレーションの促進にあると言えるでしょう。より多くの人が生成 AI テクノロジーにアクセスできるようにすることは、テストと学習機会の増加、バイアスの減少、正確性の向上、パフォーマンスの改善につながります。
透明性：モデルがどのようにトレーニングされたものかわからないのに、その出力を信頼することはできるでしょうか。オープンソース LLM は、どのようにトレーニングされたかを完全に把握することができます。そのため、ユーザーは機能がどのように動作するかを理解し、そのテクノロジーをどのように使用するか (あるいは使用するかどうか) を判断することができます。
環境への影響の低減：モデルに透明性があれば、どのような作業が実施済みであるのかがわかります。これにより、トレーニングと評価システムにおける冗長性が排除され、その分の演算処理と温室効果ガス排出量を抑えることができます。
費用面での使いやすさ：LLM をゼロからトレーニングしようとすると、通常は多額の費用と大量のリソースが必要となります。プロプライエタリーな LLM を使用する場合は、ライセンス料が課されることがあります。他の誰かが完成させたものを無償で活用できれば参入のハードルが下がり、これ以外の方法では費用が掛かりすぎて開発できない組織も LLM を使うことができます。
一般的な LLM とそのオープン性
オープンソースの原則は、現在のインターネットを形作る要素の多くの基となっています。現在使用されている極めて重要なアプリケーションとクラウド・プラットフォームには、オープンソース開発モデルによって生まれたものもあります。
大規模言語モデルと、それらがどの程度「オープン」または「クローズド」であるかには、この自由の精神がさまざまな度合いで反映されています。特に有名な LLM のいくつかを見てみましょう。
クローズドモデル
OpenAI の ChatGPT や Anthropic の Claude はクローズドモデルです。これらのモデルは厳密に制御されており、ユーザーは有料 API サービスを通じて制限付きで利用します。
オープンモデル
「オープンソース」という表現は俗に、Hugging Face などのプラットフォームで無償でダウンロードできる LLM を指して使われてきました。Meta の Llama 2 モデルがその一例です。しかし、Llama 2 の利用条件は、一般的なオープンソースソフトウェアの定義には当てはまりません。これは、ライセンス契約でユーザーが同意しなければならない条件や制限があるためです。Meta は「アクセプタブルユース」と見なされるものなどに対して、法的および倫理的な制限を課しています。また、ライセンス契約では、1 カ月にアクセスするユーザーが一定数を超える場合は、Meta に追加ライセンスを申請することが求められています。
オープンソースライセンスのモデル
IBM Research の Granite ファミリーモデルや Mistral AI モデルなどの LLM は、Apache 2.0 ライセンスの下で提供されています。つまり、これらのモデルは制限なく商用利用が可能です。ただしこれらのモデルも、部分的にはライセンス上の制限から、トレーニングデータのすべてを検証用に公開しているわけではありません。
Red Hat ができること
Red Hat は将来的に、オープンで信頼できる基盤からのコードを使用して誰でも貢献、レビュー、活用ができるようにすることを目指しています。Red Hat は、オープン開発モデルを使用することで、安定性、安全性、革新性がより高いテクノロジーを創り出せると考えています。Red Hat のオープンソース・プラットフォームは、AI の成長とともに、お客様が自社のニーズのために自社のデータを使用して、AI モデルやアプリケーションを構築、デプロイ、監視するのを支援します。
Red Hat® Enterprise Linux® AI は、エンタープライズ・アプリケーション向けの Granite ファミリー LLM を協調的に開発、テスト、実行するための基盤モデル・プラットフォームです。Red Hat のオープン・ハイブリッドクラウド戦略は、Linux、コンテナ、自動化という技術基盤により、AI アプリケーションを必要なあらゆる場所で実行するための柔軟性を実現しています。
InstructLab は、IBM と Red Hat が作成した、オープンソースの原則に則って LLM を強化するためのオープンソース・プロジェクトおよびコミュニティです。InstructLab プロジェクトは人間が選別したトレーニングデータのセットを収集し、そのシードトレーニングデータを基に合成データを生成し、その合成データを使用して基盤モデルを再トレーニングします。コミュニティの貢献により、反復的に強化された LLM のビルドが定期的に作成されます。InstructLab は、LLM のアライメントを改善するための費用対効果の高いソリューションを提供し、機械学習の経験が少ない人でも貢献できる環境を提供しています。
Red Hat OpenShift® AI はオープンソース・テクノロジーを使用して構築されたエンタープライズ対応 AI アプリケーション・プラットフォームで、チームが自信をもって構築、運用、拡張できるよう支援します。OpenShift AI は、データの取得と準備、モデルのトレーニングとファインチューニング、モデルの提供とモニタリング、およびハードウェアのアクセラレーションを可能にします。
