大規模言語モデルとは
大規模言語モデル (LLM) とは人工知能の一種であり、機械学習技法を用いて人間の言語を理解し生成します。LLM は、コミュニケーションやデータ処理のさまざまな側面を自動化および強化しようとしている企業や組織にとって極めて大きな価値があります。
LLM はニューラルネットワークをベースとするモデルを使用しており、通常その出力を処理および計算するために自然言語処理 (NLP) 技術を採用します。NLP は人工知能 (AI) の一分野であり、コンピュータがテキストを理解、解釈、生成できるようにすることに重点を置いています。これにより、LLM はテキスト分析、感情分析、言語翻訳、音声認識などのタスクを実行できるようになります。
大規模言語モデルの仕組み
LLM のライフサイクル全体は、以下のような複数の段階で構成されます。
データ準備：LLM のトレーニングに使用する生データの収集、クリーニング、整理を行います。このステップには、データのクリーニング (重複やエラーの除去)、データのフィルタリング (偏ったコンテンツ、わいせつなコンテンツ、著作権で保護されたコンテンツの除去)、トークン化 (テキストをモデルが理解できる単位に分割) が含まれます。
トレーニング： LLM は、トレーニングを通じて知識を構築することで言語理解を形成します。LLM のトレーニングにおける最初の段階は事前トレーニングと呼ばれ、自己教師あり学習 (SSL) という手法が使用されます。SSL は教師なし学習の一種で、機械学習モデルに何千億もの単語やフレーズからなる生のデータセットを提供し、それらを学習させます。
次に、LLM はファインチューニングとアライメントを行いながらトレーニングを継続します。これは多くの場合、以下のような手法を用いて行われます。
- 教師あり学習：モデルに、すべての入力データに正解のラベルが付けられているデータセットを与えます。モデルがやるべき作業は、入力データと正解のラベルの関係を学習することです。教師あり学習は、将来起こることを予測できるようになるためのトレーニングです。
- 強化学習：モデルに目標と一連のルールを与えますが、ラベル付けされたデータは与えません。モデルがやるべき作業は、相互作用を通じてそのアクションに対する「報酬」や「ペナルティ」を受けながら学習することです。強化学習は、次に取るべきアクションに関する提案を行えるようになるためのトレーニングです。
トレーニング中、コンピュータはデータから情報を引き出し、関連性を構築し、言語について「学習」します。その結果として誕生するのが、単語と文章の間の複雑な関係を捉えることができるモデルです。
推論：モデルのトレーニングが完了すると、推論フェーズに移行します。この時点で、LLM はライブデータを処理してリアルタイム予測を行うことができます。ここで推論サーバーが重要になります。
クラウド・インフラストラクチャ内で稼働する推論サーバーは、ハードウェアとユーザー向けアプリケーションの間の橋渡し役として機能します。その役割は、リソース要求を管理し、処理が可能な限り迅速に行われるようにすることによって、モデルを最適化することです。
この分野を牽引するツールが vLLM です。vLLM は、メモリー効率の高い推論サーバー兼エンジンであり、ハイブリッドクラウド環境における大規模言語モデルのスピードと処理能力を向上させるように設計されています。
LLM は莫大なリソースを必要とする
LLM は関係性を見つけるために常に確率を計算しているため、多大な計算リソースを必要とします。計算能力を引き出すリソースのひとつがグラフィックス処理装置 (GPU) です。GPU は、複雑な並列処理タスクを処理するために設計された特殊なハードウェアであり、LLM のように多量の計算を必要とする ML やディープラーニングモデルに最適です。
精度を損なうことなく、モデルを圧縮してスピードを最適化できる手法もあります。リソースに限りがある場合には、リソース効率の高いファインチューニング技法として LoRA と QLoRA があります。これらの技法を使うことで、時間とコンピューティング・リソースを最適化できます。
vLLM は、LLM が GPU をより効率的に使用できるよう支援する推論サーバーです。連続バッチ処理、PagedAttention テクノロジー、量子化などの技術を使用して、LLM メモリーストレージをより有効に活用します。
vLLM を活用して効率的に拡張している大手 3 社の事例をご覧ください。
LLM とトランスフォーマー
GPU はまた、ほとんどの LLM が実装している NLP タスク専用に設計されたソフトウェア・アーキテクチャの一種であるトランスフォーマーのトレーニングと操作を高速化するのにも有益です。トランスフォーマーは、ChatGPT や Claude、Gemini のような人気の LLM 基盤モデルの基本的な構成要素です。
トランスフォーマー・アーキテクチャは、文中の単語など、一連のデータにおける要素間の文脈上の関係と依存関係を取り込めるようにすることで、ML モデルの機能を強化します。これは、パラメーターとも呼ばれる自己注意メカニズムによって実現されます。このメカニズムにより、モデルはシーケンス内のさまざまな要素の重要性を計り、理解とパフォーマンスを向上させることができます。パラメーターは境界を定義します。ディープラーニング・アルゴリズムが処理する必要がある膨大な量のデータから有意義な成果を引き出すには境界が重要です。
トランスフォーマー・アーキテクチャには数百万から数十億のパラメーターが含まれ、これによって複雑な言語パターンやニュアンスを捉えることができます。実際、「大規模言語モデル」の「大規模」という単語は LLM を操作するのに必要なパラメーターの数が膨大であることを指しています。
LLM とディープラーニング
LLM による教師なし学習のプロセスを導くのに役立つトランスフォーマーとパラメーターは、ディープラーニングと呼ばれる、より広範な構造の一部です。ディープラーニングは、人間の脳をヒントに開発されたアルゴリズムを使用してコンピュータにデータを処理する方法を教える人工知能技法です。ディープ・ニューラル・ラーニングやディープ・ニューラル・ネットワークとも呼ばれているディープラーニング技法とは、観測を通じてコンピュータに学習させるもので、人間が知識を獲得する方法を模しています。
人間の脳には相互につながる多数の神経があり、脳が情報 (つまりデータ) を処理するときに情報の伝達役として機能します。このニューロンは電気信号と化学的物質による信号を使用して相互に通信し、脳のさまざまな部分と情報をやりとりします。
人工ニューラルネットワーク (ANN) はディープラーニングの基盤となるアーキテクチャで、この生体現象に基づいています。ただし、この現象はノードと呼ばれるソフトウェアモジュールから作成される人工ニューロンで形成されています。モデルにおいては、これらのノードは数理計算 (脳の場合は化学的信号) を使用して情報の通信と転送を行います。
Red Hat のリソース
大規模言語モデルが重要な理由
先進的な LLM は、従来のパーソナルコンピュータでは考えられなかったような方法で言語を理解し、活用することができます。これらの機械学習モデルでは、テキストの生成、コンテンツの要約、翻訳、リライト、分類、カテゴライズ、分析などを行うことができます。こういった能力はすべて、人の創造性を補強し、困難な問題を解決するための生産性を向上させる強力なツールセットとなります。
ビジネスシーンにおける LLM の最も一般的な用途には、以下のようなものがあります。
自動化と効率化
LLM は、カスタマーサポート、データ分析、コンテンツ生成など、言語に関連する業務を補ったり、完全にその役割を担ったりすることができます。この自動化によって、人的資源をより戦略的な業務に割り当て、運用コストを削減することができます。
分析情報の生成
LLM は大量のテキストデータをすばやく精査できるため、企業はソーシャルメディア、レビュー、研究論文などのソースをスクレイピングすることで、市場動向や顧客からのフィードバックをより深く理解することができ、ひいてはビジネス上の意思決定に役立てることができます。
より優れたカスタマーエクスペリエンスの創造
LLM は、企業が高度にパーソナライズされたコンテンツを顧客に提供し、エンゲージメントを促進し、ユーザーエクスペリエンスを向上させるのに役立ちます。チャットボットを導入して 24 時間体制でカスタマーサポートを提供したり、ユーザーに合わせてマーケティングメッセージをカスタマイズしたり、言語翻訳や異文化コミュニケーションを促進したりと、さまざまなことが可能になります。
LLM の課題と限界
ビジネス上で LLM を利用することには多くのメリットがある一方で、考慮すべき潜在的な限界もあります。
コスト
LLM の開発、トレーニング、デプロイには多大なリソースが必要です。多くの LLM が基盤モデルから構築されるのはこのためです。基盤モデルは、NLP 能力により事前に訓練され、より複雑な LLM を構築するための言語理解のベースラインを提供します。オープンソース・ライセンスの LLM は無料で利用できるため、自社で LLM を開発する余裕がない組織にとって理想的です。
スピード
LLM のプロンプトは複雑で不均一な場合があります。大量のデータを処理するためには、通常、大規模なコンピュートリソースとストレージが必要です。llm-d などのオープンソースの AI フレームワークにより、開発者は分散推論などの手法を使用して、LLM のような複雑で大規模な推論モデルに対する需要の増加に対応できます。
分散推論と llm-d は、モジュール式アーキテクチャを使用してハードウェア群全体に推論の労力を分散することにより、AI ワークロードを処理します。これによってモデル推論が迅速化されます。
プライバシーとセキュリティ
LLM は多くの情報にアクセスする必要があり、その中には顧客情報や独自のビジネスデータが含まれる場合もあります。これは、サードパーティ・プロバイダーがモデルをデプロイしたり、モデルにアクセスしたりする場合に特に注意が必要です。
精度と偏り
ディープラーニングモデルが統計的に偏りのあるデータや母集団を正確に反映しないデータでトレーニングされると、結果が損なわれます。残念なことに、今ある人間の偏見が人工知能に反映されることがよくあり、差別的なアルゴリズムや偏りのある出力を招くリスクを生じさせています。組織では生産性やパフォーマンスの向上に AI を活用しようとし続けていますが、偏りを最小化するための戦略を適用することが不可欠です。これはインクルーシブデザインのプロセスと、収集したデータ内の代表的な多様性を入念に検討することから始まります。
LLM のメリットと限界
大規模言語モデル (LLM) により、自然言語理解と自然言語生成に大きな利点がもたらされ、さまざまな用途のコンテンツの作成が可能になります。また、コーディングに関する支援を通じて開発者の生産性を向上させることができ、要約や翻訳などのタスクの実行も可能になります。LLM はデータ分析に優れ、スケーラブルなソリューションを提供するとともに、パーソナライゼーションを強化します。しかし、制限もあります。その主なものとして、ハルシネーションや誤情報を生成する場合があること、リアルタイムの知識が欠如していること、複雑な推論に困難が生じることが挙げられます。また、バイアスの内在、高い計算コスト、「ブラックボックス」の問題 (透明性の欠如)、データのプライバシーやセキュリティに関するリスクなどの課題、非決定論的な動作や過剰依存の可能性も生じます。
AI の使用におけるガバナンスと倫理に関する考慮事項
LLM を利用する組織にとって、ガバナンスと倫理に関する考慮事項が大きな課題となります。LLM が強力な機能を備えていること、そして危害を与える可能性があることがその主な理由です。倫理的に最も重要な懸念点はバイアスです。LLM は膨大なデータセットから学習するため、社会的な偏見を反映してそれが増幅され、差別的な結果を招く可能性があるからです。 また別の問題であるハルシネーションとして、LLM が誤った情報をもっともらしく提示することがあります。倫理的な運用が要求される環境、特に医療や金融などの重要な分野においては、免責条項や事実の正確性の確認を通じて誤情報を最小限に抑えるメカニズムが必要です。
その他の考慮事項には以下のようなものがあります。
- 透明性と説明可能性を損なう、多くの LLM が持つ「ブラックボックス」の性質
- 悪用や有害なコンテンツ生成により、有害または違法なコンテンツが生成されるリスク
- 知的財産 (IP) や著作権に関する懸念
- プライバシーおよびデータ漏洩のリスク
AI ガバナンス
AI ガバナンスは、LLM の責任ある開発と監視に不可欠であり、これによって LLM が確実に組織の価値観や法的要件に沿うものになるようにします。AI 規制が急速に進化する中、組織はデータプライバシー法 (GDPR や HIPAA など) および AI 固有の新しい義務へのコンプライアンスを優先する必要があります。これらは多くの場合、強力なリスク管理、データガバナンス、人間による監督、AI システムの堅牢なサイバーセキュリティを要求します。また、明確なアカウンタビリティのフレームワークの確立も不可欠であり、LLM のパフォーマンスと開発からデプロイまでの影響に対して誰が責任を負うのかを定義し、重要な意思決定には「ヒューマン・イン・ザ・ループ」(人間が介入する) 戦略が不可欠です。
LLM を外部データソースに接続
LLM が外部データに基づいて出力を返すようにするには、いくつかの方法があります。
- 検索拡張生成 (RAG)：任意の知識ソースのデータを統合することで LLM のナレッジベースを追加するアーキテクチャです。これには、データリポジトリ、テキストのコレクション、既存のドキュメントなどが含まれます。
- エージェント型 AI：自動化に LLM のクリエイティブな能力を組み合わせます。エージェントがツールと通信する方法にはオーケストレーションが使用され、フレームワークによってはフローやグラフが必要になります。このアプローチにより、LLM は「推論」を行い、質問に回答する最善の方法を決定することができます。たとえば、利用可能な情報に基づいてクエリに回答できるかどうかや外部検索が必要かどうかを判断することができます。
- モデル・コンテキスト・プロトコル (MCP)：エージェント型 AI が外部ソースに接続する手段です。MCP は RAG を補完し、AI アプリケーションと外部サービス間の双方向接続と標準化された通信を可能にするさらに一歩進んだオープンソース・プロトコルです。
LLM と SLM
大規模言語モデル (LLM) と小規模言語モデル (SLM) はいずれも、人間の言語 (プログラミング言語を含む) を解釈するようにトレーニングされた人工知能 (AI) システムの一種です。通常、両者の主な違いは、トレーニングに使用されるデータセットのサイズ、それらのデータセットでのトレーニングに使用されるプロセス、ユースケースを開始する際のコストとメリットです。
Red Hat でできること
Red Hat® AI は、Red Hat のお客様の信頼を得ているソリューションに基づいて構築された AI 製品のポートフォリオです。
Red Hat AI のサポートによって以下のことが可能になります。
- AI を迅速に導入してイノベーションを実現する
- AI ソリューションの提供における複雑さを解消できる
- どこにでもデプロイできる
Red Hat AI は、当社のプラットフォームで効率的に動作することがすでに検証されているサードパーティモデルのリポジトリへのアクセスを提供しています。これらのすぐに使えるモデルのセットは、容量に関するガイダンス計画のシナリオを通じて実行されるため、自社のドメイン固有のユースケースについて情報に基づいた意思決定を行うのに役立ちます。
LLM を使い始める
AI モデルを試してみる準備ができたら、Red Hat が LLM、基盤モデル、生成モデル、機械学習モデルのサポートを提供します。
Red Hat® Enterprise Linux® AI から始めることをお勧めします。これは、エンタープライズ・アプリケーション向けの Granite ファミリー LLM を開発、テスト、実行できる基盤モデル・プラットフォームです。この AI プラットフォームにより、開発者は LLM と AI のツールを備えた単一のサーバー環境にすばやくアクセスできます。また、モデルを調整して生成 AI アプリケーションを構築するために必要なものがすべて揃っています。
戦略の主権をどの程度保持していますか？Red Hat Sovereignity Readiness Assessment ツールの概要
Red Hat Sovereignty Readiness Assessment ツールは、Web ベースのセルフサービス評価ツールであり、7 つの重要ドメインにわたる組織のデジタル管理についての明確で客観的なベースラインを提供します。
