简短回答
AI推理是指使用已经训练好的模型的那个时刻。它会处理提示、图像、音频文件或其他输入，并返回结果。每次ChatGPT的回复、AI图像生成或推荐请求都需要进行推理计算。
推理是人工智能模型的执行
在人工智能领域，推理是指将经过训练的模型应用于新数据。模型会分析输入数据，并生成预测结果、答案或内容。与训练不同，推理不会向模型传授新知识，而是利用先前学习到的参数，实时响应用户。
训练和推理是不同的
训练是通过使用海量计算长期处理海量数据集来建立模型。推理是用户与训练好的模型进行交互的操作阶段。训练通常对每个事件的计算密集度较高，但推理是在全球范围内持续进行的。
推理需要 GPU 和专用硬件
现代人工智能推理通常在 GPU 或为并行处理而优化的人工智能加速器上运行。大型语言模型可能需要大量内存带宽和计算能力，尤其是在同时为数百万用户提供服务时。
推理耗电
每个推理请求都会通过计算硬件、网络、存储和冷却基础设施消耗电力。随着人工智能在全球范围内的广泛应用，推理工作负载在全球数据中心电力需求中的地位日益重要。
可优化推理
人工智能供应商通过批处理、量化、模型提炼、缓存和更高效的硬件不断优化推理。这些技术旨在降低延迟、耗电量和运营成本，同时保持模型质量。