短い答え
推論は、すでに訓練されたAIモデルが、プロンプト、画像、音声ファイル、またはその他の入力を処理して結果を生成するときに発生します。ChatGPTのレスポンス、AIイメージの生成、レコメンデーションのリクエストは、すべて推論計算を必要とします。
推論はAIモデルの実行
推論中、訓練されたモデルは入力データを分析し、予測または生成されたコンテンツを生成する。トレーニングとは異なり、推論はモデルに新しい知識を教えない。その代わりに、以前に学習したパラメータを使用して、リアルタイムでユーザーに対応する。
トレーニングと推論は異なる
トレーニングは、膨大なデータセットを膨大な計算量を用いて長期間処理することでモデルを構築する。推論は、ユーザーが訓練されたモデルと対話する運用段階である。トレーニングは通常、イベントごとに計算負荷がかかるが、推論はグローバル・スケールで継続的に行われる。
推論にはGPUと専用ハードウェアが必要
最新のAI推論は、並列処理に最適化されたGPUやAIアクセラレータ上で実行されることが多い。大規模な言語モデルは、特に数百万人のユーザーに同時にサービスを提供する場合、大きなメモリ帯域幅と計算能力を必要とします。
推論は電気を消費する
すべての推論リクエストは、計算ハードウェア、ネットワーク、ストレージ、冷却インフラを通じて電力を消費します。世界中でAIの導入が進むにつれ、推論ワークロードは世界のデータセンターの電力需要の重要な部分を占めるようになってきている。
推論を最適化できる
AIプロバイダーは、バッチ処理、量子化、モデルの蒸留、キャッシング、より効率的なハードウェアを通じて、推論を継続的に最適化している。これらの技術は、モデルの品質を維持しながら、レイテンシー、電力消費、運用コストを削減することを目的としている。