生产运营¶
生产运营页面主要面向运维人员,把 Token 服务的实时生产状态、资源使用情况和成本效率集中展示,便于检查服务负载、定位异常并评估资源利用情况。原资源成本驾驶舱的主要指标已并入本页。
如何打开¶
- 登录 Token 工厂控制台。
- 在产品导航中打开 驾驶舱,选择 生产运营 菜单。

页面菜单是否显示取决于用户是否具有生产运营页面的查看权限。若菜单不可见,请联系管理员检查驾驶舱权限。
筛选数据¶
页面默认查看最近 1 小时 和 全部集群 的数据。可将时间范围切换为最近 1 小时、6 小时或 24 小时,也可选择单个集群。时间范围变化会更新生产趋势、延迟、热点排行和事件等实时运营内容;集群筛选会同时作用于运营数据和资源成本数据。
核心请求量与 Token 吞吐卡片按最近 10 分钟计算每分钟平均值,并约每分钟刷新一次,因此切换到 6 小时或 24 小时后,这两张卡的统计窗口仍是最近 10 分钟。页面隐藏时暂停定时刷新,重新显示后立即刷新。
页面指标¶
实时生产与运营状态¶
| 区域 | 指标说明 |
|---|---|
| 核心生产指标 | Token 吞吐(Token/m)、请求量(req/m)、首 Token 延迟 TTFT P90、每输出 Token 延迟 TPOT P90。请求量和 Token 吞吐卡片还显示近期变化趋势。 |
| 运营与资源指标 | 队列深度、GPU 平均利用率、已部署模型数、GPU 池数量和综合 SLA 达标率。SLA 卡按是否达到目标显示状态。 |
| 请求与 Token 吞吐趋势 | 同时查看请求量和 Token 吞吐随时间的变化,两条曲线使用各自刻度。 |
| 延迟分布趋势 | 查看 TTFT 与 TPOT 的 P50、P90、P99,观察延迟水平及尾部变化。 |
| 热点 GPU 池 | 按集群和 GPU 型号汇总利用率、GPU 卡数;有功耗数据时同时展示功耗。 |
| 热点模型 | 查看所选时间范围内 Token 用量较高的前五个模型。 |
| 运营事件时间线 | 查看最近 6 小时的异常、告警、调度变更和扩缩容事件。 |
| 生产运营建议 | 查看系统根据当前容量和运营数据生成的优化建议。 |
资源成本与效率¶
资源成本区域使用最近 7 天 的数据,随顶部集群筛选更新:
- 资源成本指标:GPU 总量、平均单卡日产出、空转率和错配率;运营模式还显示平均单卡日收入。
- GPU 型号成本效率排行:按 GPU 型号查看利用率、显存利用率和单卡产出效率;企业模式不显示单卡日毛利。
- 模型成本排行:按每百万 Token 成本由低到高查看自部署模型与 MaaS API 模型。
生产运营趋势使用顶部选择的时间范围,资源成本区域固定使用近 7 天,两者的统计周期不同。
数据状态说明¶
各面板分别加载,单个数据源异常不会阻塞其他面板。首次加载时面板显示加载状态;请求失败时显示系统异常。若个别实时指标暂不可用,该指标可能显示“—”,其余已成功加载的指标仍可查看。选择具体集群时,无法归属到该集群的无模型名请求不会计入该集群请求量和 Token 吞吐。
热点模型、热点 GPU 池或趋势数据暂缺时,相应区域可能为空。建议检查所选时间范围内是否有调用,以及集群和监控数据是否正常。