AI推論とは何か？

AIの推論は、モデルがすでに学習を終えた後に実行されます。ユーザー、アプリケーション、または自動化されたシステムが新しい入力を送信すると、学習済みのモデルは学習中に得た知識を活用して、有用な出力を生成します。

その入力は、文章によるプロンプト、検索クエリ、商品画像、音声録音、コードの一行、あるいはデータベースの行などである可能性があります。出力は、回答、生成された画像、分類結果、レコメンデーション、翻訳、あるいは予測などである可能性があります。

だからこそ、ChatGPTの応答、AIによる画像生成、検索アシスタントの結果、レコメンデーションエンジン、コンテンツのモデレーション判断など、あらゆる処理には推論が関わっているのです。モデルが毎回再構築されるわけではなく、新しいデータに対してモデルが実行されているのです。

学習と推論は、同じAIシステムにおける2つの異なる段階です。学習では、大規模なデータセットを処理し、予測結果と実例を比較し、内部パラメータを調整するという手順を何度も繰り返すことで、モデルを作成または更新します。

その学習作業によって実用可能なモデルが生成された後、推論が開始されます。学習済みのモデルはサーバーにデプロイされ、新たな入力を受け取り、再度完全な学習プロセスを経ることなく、学習したパターンを適用します。

この違いを簡単に覚える方法は次の通りです。トレーニングとはモデルが学習する過程であり、推論とはモデルが活用される過程です。最初の段階についてより詳しく知りたい場合は、AIモデルのトレーニング方法に関するガイドをご覧ください。

具体的な手順はモデルの種類によって異なりますが、基本的な流れは似ています。入力データが到着すると、システムはそれをモデルが期待する形式に整え、モデルはそのパラメータに基づいて計算を行い、システムはモデルの出力を、ユーザーが読み取ったり、表示したり、利用したりできる形に変換します。

言語モデルの場合、プロンプトは通常、トークンに分割されます。モデルはこれらのトークンを評価し、1ステップずつ、次に現れそうなトークンを予測します。画像モデルの場合、入力はテキスト、画像、あるいはその両方の場合があり、モデルはリクエストに合致するピクセルや視覚的特徴を段階的に生成します。

その他のシステムでは、文書の分類、検索結果の順位付け、画像内の物体の検出、音声の文字起こし、あるいは商品の推奨などを行う場合があります。いずれの場合も、推論とは、新しい入力をモデルの出力に変換する、リアルタイムの実行ステップのことです。

AIの推論は、単にデータベースから情報を検索するような単純な作業ではありません。大規模なモデルには数十億ものパラメータが含まれている場合があり、それを活用するには、モデル内で情報を処理し、次の出力を算出するために、多くの数学的演算が必要となります。

この計算は、多くの場合、迅速に行われる必要があります。チャットボットの回答、検索アシスタントの応答、あるいはリアルタイム翻訳は、数秒以内に行われるべきであるため、推論システムでは、レイテンシ、メモリ帯域幅、バッチ処理、モデルサイズ、およびハードウェアの利用率が重要視されます。

GPUやその他のAIアクセラレータは、多くの並列処理を効率的に実行できるため有用です。モデルが大きくなるほど、コンテキストが長くなるほど、また同時接続ユーザーが増えるほど、推論インフラの設計にはより細心の注意を払う必要があります。

チャットボットが質問に答えるとき、それは推論を行っていることになります。画像生成ツールがプロンプトに基づいて画像を作成したり、コーディングアシスタントが関数を提案したり、翻訳ツールが文章を別の言語に変換したりする場合も同様です。

推論は、目立たないシステムにも活用されています。動画をランキング表示するレコメンデーションフィード、不審な取引を検知する不正検知システム、関心領域を強調表示する医療用画像解析モデル、あるいは欠陥を検出する工場用ビジョンシステムなど、これらすべてが、新しいデータに対して学習済みのモデルを活用しています。

これらの例はユーザーから見ると異なって見えますが、基本的なパターンは共通しています。つまり、学習済みのモデルが入力を受け取り、演算を行い、意思決定や回答、生成結果を裏付ける出力を返すというものです。

1回の推論リクエストは小規模なものかもしれませんが、現代のAIシステムは膨大な規模で稼働しています。数百万から数十億件に及ぶプロンプト、画像リクエスト、レコメンデーション、API呼び出しにより、GPU、ネットワーク、ストレージ、冷却システム全体に絶え間ない負荷がかかることになります。

だからこそ、推論はAIインフラの中心的な役割を担っているのです。トレーニングは最も目立つ計算処理かもしれませんが、推論は、ユーザーが展開されたAIツールを利用するたびに繰り返されます。世界規模で見れば、こうした繰り返しの利用が、GPUの需要やデータセンターの電力消費を押し上げる大きな要因となり得ます。

1回のAIクエリにかかる正確なエネルギー消費量は、モデルの規模、ハードウェア、バッチ処理、稼働率、データセンターの効率、および出力の種類によって異なります。重要な点は、推論によって、日常的なAIの利用が、チップ、サーバー、電力、冷却システム、データセンターといった物理的なインフラと結びついているということです。

AIプロバイダーは、推論をより高速に、より低コストに、そしてより効率的に行うために、多大な技術的労力を費やしています。バッチ処理により複数のリクエストをまとめて処理でき、キャッシュにより繰り返し行われる処理を再利用でき、ルーティングにより単純なタスクを小規模なモデルや特化型モデルに振り分けることができます。

他にも、必要な計算量を削減する手法がいくつかあります。量子化によりモデルの値をよりコンパクトに表現でき、蒸留により挙動をより小さなモデルに移植でき、また、剪定やアーキテクチャの変更により、有用な品質を維持しつつ不要な処理を削除することができます。

専用のハードウェアも重要です。GPU、AIアクセラレータ、高速ネットワーク、高帯域幅メモリは、展開されたモデルが大規模な環境でも確実に動作するのに役立ちます。推論効率の向上により、レイテンシ、コスト、電力消費を削減できますが、それによってインフラが不要になるわけではありません。