跳转至

生产运营

生产运营页面主要面向运维人员,把 Token 服务的实时生产状态、资源使用情况和成本效率集中展示,便于检查服务负载、定位异常并评估资源利用情况。原资源成本驾驶舱的主要指标已并入本页。

如何打开

  1. 登录 Token 工厂控制台。
  2. 在产品导航中打开 驾驶舱,选择 生产运营 菜单。

生产运营页面

页面菜单是否显示取决于用户是否具有生产运营页面的查看权限。若菜单不可见,请联系管理员检查驾驶舱权限。

筛选数据

页面默认查看最近 1 小时 和 全部集群 的数据。可将时间范围切换为最近 1 小时、6 小时或 24 小时,也可选择单个集群。时间范围变化会更新生产趋势、延迟、热点排行和事件等实时运营内容;集群筛选会同时作用于运营数据和资源成本数据。

核心请求量与 Token 吞吐卡片按最近 10 分钟计算每分钟平均值,并约每分钟刷新一次,因此切换到 6 小时或 24 小时后,这两张卡的统计窗口仍是最近 10 分钟。页面隐藏时暂停定时刷新,重新显示后立即刷新。

页面指标

实时生产与运营状态

区域 指标说明
核心生产指标 Token 吞吐(Token/m)、请求量(req/m)、首 Token 延迟 TTFT P90、每输出 Token 延迟 TPOT P90。请求量和 Token 吞吐卡片还显示近期变化趋势。
运营与资源指标 队列深度、GPU 平均利用率、已部署模型数、GPU 池数量和综合 SLA 达标率。SLA 卡按是否达到目标显示状态。
请求与 Token 吞吐趋势 同时查看请求量和 Token 吞吐随时间的变化,两条曲线使用各自刻度。
延迟分布趋势 查看 TTFT 与 TPOT 的 P50、P90、P99,观察延迟水平及尾部变化。
热点 GPU 池 按集群和 GPU 型号汇总利用率、GPU 卡数;有功耗数据时同时展示功耗。
热点模型 查看所选时间范围内 Token 用量较高的前五个模型。
运营事件时间线 查看最近 6 小时的异常、告警、调度变更和扩缩容事件。
生产运营建议 查看系统根据当前容量和运营数据生成的优化建议。

资源成本与效率

资源成本区域使用最近 7 天 的数据,随顶部集群筛选更新:

  • 资源成本指标:GPU 总量、平均单卡日产出、空转率和错配率;运营模式还显示平均单卡日收入。
  • GPU 型号成本效率排行:按 GPU 型号查看利用率、显存利用率和单卡产出效率;企业模式不显示单卡日毛利。
  • 模型成本排行:按每百万 Token 成本由低到高查看自部署模型与 MaaS API 模型。

生产运营趋势使用顶部选择的时间范围,资源成本区域固定使用近 7 天,两者的统计周期不同。

数据状态说明

各面板分别加载,单个数据源异常不会阻塞其他面板。首次加载时面板显示加载状态;请求失败时显示系统异常。若个别实时指标暂不可用,该指标可能显示“—”,其余已成功加载的指标仍可查看。选择具体集群时,无法归属到该集群的无模型名请求不会计入该集群请求量和 Token 吞吐。

热点模型、热点 GPU 池或趋势数据暂缺时,相应区域可能为空。建议检查所选时间范围内是否有调用,以及集群和监控数据是否正常。

相关文档

评论