人工智能使用多少 GPU 小时？
人工智能工作负载每天都要消耗大量的 GPU 计算时间。这包括模型训练、推理、实验和生产使用。
什么是 GPU-小时？
一个 GPU 小时代表一个图形处理器运行一个小时。这是一种表达不同人工智能工作负载计算使用情况的简单方法。
训练和推理对 GPU 小时的消耗不同
人工智能 GPU 小时数主要由两类工作负载消耗：训练和推理。
训练大型模型需要在许多 GPU 上连续运行数天或数周的集中计算。推理工作负载则不同：它们需要在全球范围内连续处理提示、图像请求和 API 调用。
虽然训练通常会吸引更多的公众关注，但随着人工智能在全球范围内的广泛应用，推理在 GPU 长期需求中所占的份额可能会越来越大。
为什么 GPU 小时数很重要
GPU 小时数有助于估算现代人工智能系统背后的人工智能基础设施规模、电力需求和计算强度。
为什么 GPU 小时数是重要的人工智能基础设施指标？
GPU 小时数是估算人工智能基础设施使用规模的最简单方法之一。
它们有助于估算电力需求、硬件利用率、冷却要求和基础设施增长，而无需访问人工智能提供商的专有内部指标。
尽管 GPU 小时数并不能捕捉到每一个技术细节，但它们为了解人工智能工作负载的快速扩展提供了一个有用的代表。
计数器的工作原理
该计数器使用全球人工智能计算代理，并将每日 GPU 估计使用量转换为实时计数器。 方法.