Token 工厂效能平台功能特性¶
本平台覆盖 Token 工厂的生产与运营流程,按角色提供操作入口和数据视图,支持业务使用、服务管理、生产运维和经营分析。
-
业务用户
在模型广场试用并调用模型,一键部署专属推理服务,使用 AI 应用和 GPU 实例,随时查看自己的用量与消费记录。
-
服务管理员
负责模型上下架和服务接入,配置调用规则、路由策略和内容安全策略,并为不同团队分配访问权限。
-
运维人员
管理基础设施和资源调度,部署高性能推理服务,实时监测服务性能,及时处理告警与运行故障。
-
经营人员
分析产能、客户用量与消费、收入与成本及资金使用情况,开展预算管理和投资测算,让每一度算力都算得清、赚得到。
功能特性¶
| 分类 | 模块 | 功能特性 | 说明 |
|---|---|---|---|
| 云原生 AI | 模型服务 | 模型体验与选型 | 在模型广场查找文本生成、图片理解、图像生成等模型,选择适合业务的模型。通过在线试用和对比多个模型,在接入业务前检查回答效果 |
| 模型部署 | 将主流开源、自研的模型部署为专属推理服务,并查看服务运行状态。支持采用多机多卡的分布式部署 | ||
| API 接入 | 提供 OpenAI 兼容 API 和调用示例,支持 Cherry Studio、Cline、LobeChat、Bob 等客户端,方便业务系统和开发工具调用模型 | ||
| API Key 管理 | 创建和管理调用密钥,控制应用对模型服务的访问权限 | ||
| 用量统计 | 按模型、API Key 和时间查看调用与 Token 消耗,了解各应用的使用情况,为预算管理和应用调整提供依据 | ||
| 服务管理与 Token 治理 | 模型上下架 | 支持模型导入、创建、发布和下线,管理向用户开放的模型目录 | |
| MaaS 服务接入 | 接入自建服务或上游模型 API,由平台统一向用户提供调用入口 | ||
| 智能路由 | 通过路由、负载均衡和备用路径分配请求,提高服务可用性 | ||
| 调用限流 | 支持全局、租户和 API Key 等层级的流量限制,减少突发请求对共享服务的影响 | ||
| 内容安全 | 通过敏感词检测、正则匹配、接入安全模型等内容策略,管理模型调用中的内容风险 | ||
| 分析中心 | 按模型、租户统计输入和输出 Token 用量,分析收入、成本及毛利的变化趋势 | ||
| 推理加速服务 | 高性能模型部署 | 在 NVIDIA 及多种国产算力上结合主流推理框架部署高性能推理服务,支持多机多卡和 P/D 分离,按预填充与解码的不同特点规划资源 | |
| KV 缓存复用 | 通过 KV Cache 卸载及 Redhare 分层缓存复用重复前缀计算,结合本地与远端内存、存储资源扩大缓存空间,减少长上下文和多轮任务中的重复计算 | ||
| 优选模板库 | 围绕 vLLM、SGLang 及 LLM-D、Dynamo 等主流推理引擎分布式编排框架,提供丰富的优选部署模板,缓解吞吐、显存及延迟瓶颈 | ||
| 模型验收测试 | 上线前验证模型 API 兼容性、功能与性能,使优化结果同时满足模型效果和服务质量要求,作为上线服务标准 | ||
| 服务观测 | 关联服务吞吐、P/D 队列、缓存命中、GPU 和网络指标,区分请求增长、计算不足、缓存及通信问题,为持续性模型性能优化与排障提供依据 | ||
| 算力云 | 实例管理 | 根据 GPU 需求选择实例规格创建实例,按任务需要管理运行资源 | |
| 开发访问 | 通过 JupyterLab、SSH 或 VS Code 访问实例,进行代码调试、算法实验和服务部署 | ||
| 付费方式 | 支持按量付费或包年包月,分别满足短期实验和长期运行需要 | ||
| AI 应用 | 知识问答 | 结合企业知识和对话上下文回答问题,支持回答评价与反馈 | |
| 应用接入 | 通过应用链接、H5 页面使用服务,或通过 OpenAPI 接入业务系统 | ||
| 云原生底座 | GPU 资源与调度 | 异构 GPU 纳管 | 统一识别和管理 NVIDIA GPU 及昇腾等国产 AI 加速设备,支持在同一集群中管理和调度不同卡型,适应多种硬件并存的算力环境 |
| GPU 共享 | 支持整卡、vGPU、MIG 等资源使用方式。在适用硬件上按显存或算力分配额度,让多个任务共享 GPU,减少资源闲置 | ||
| AI 任务与服务调度 | 结合任务的 GPU 需求和节点拓扑分配资源,支持 Gang 调度、拓扑感知调度等调度模式,支持多节点推理,满足不同规模模型的运行需求 | ||
| 网络与存储 | 容器网络 | 通过多 CNI、Multus、SpiderPool 等组件配置网络,使用 IP 池管理地址分配 | |
| 高性能通信 | 通过相应 RDMA 配置,满足 AI 任务对低延迟、高带宽通信的需求 | ||
| 持久化存储 | 通过 CSI 接入已有存储或云原生本地存储,为模型文件、数据集和有状态服务提供持久化卷 | ||
| 运营管理 | 驾驶舱 | 产能与计费转化分析 | 对比可供给产能、实际产出和计费 Token,分析算力利用情况及产出向计费消费的转化 |
| 客户与模型分析 | 结合客户用量、收入贡献、消费集中度和模型排行,分析消费结构及不同模型的经营表现 | ||
| 成本效率比较 | 比较不同 GPU 型号的利用率、单卡产出和单位 Token 成本,评估资源和模型的运行效率。收益分析需使用完整的成本与消费数据 | ||
| 生产状态分析 | 查看吞吐、首 Token 延迟(TTFT)、每 Token 生成延迟(TPOT)、队列、GPU 池和 SLA。结合告警、调度及扩缩容事件,分析指标变化的原因 | ||
| Copilot 智能工作台 | 平台信息查询 | 结合资源、服务、监控和消费数据回答问题,减少人工切换页面、收集信息的工作 | |
| 问题分析 | 针对容量、性能、成本和运行异常分析可能原因,比较处理方案,列出还需核实的条件 | ||
| 投资测算 | 根据设备、吞吐、价格、负载和成本,计算年收入、净现金流及静态回本期,比较不同经营条件,并保留假设和数据来源 | ||
| 费用中心 | 计费与订单 | 按商品用量和规则计费,支持按量或周期付费,区分普通输入、输出和缓存 Token;记录服务购买及资源变更 | |
| 账单与收支 | 支持按账号、产品、区域和账期汇总、筛选及导出账单,记录余额变化,方便消费对账与资金核对 | ||
| 账户与额度 | 支持账户充值、余额提醒和主子账号资金共享,可为子账号分配使用额度,控制预算 | ||
| 优惠与奖励 | 按活动规则记录邀请进度、发放代金券,并按有效期和适用范围抵扣消费,不足部分扣除现金余额 | ||
| 运维管理 | 可观测性 | 推理性能监测 | 关注请求吞吐、首 Token 延迟(TTFT)、每 Token 生成延迟(TPOT)和请求错误,了解服务响应速度及稳定性 |
| GPU 资源监测 | 结合 GPU 利用率、显存占用及节点资源,分析推理负载与资源使用情况,为容量调整和性能优化提供依据 | ||
| 推理故障定位 | 关联请求链路、服务日志、资源指标和运行事件,排查请求变慢、调用失败及服务异常的原因 | ||
| 告警管理 | 针对服务延迟、错误及资源异常提供告警和通知,提醒运维人员及时处理服务故障 | ||
| 全局管理 | 身份与权限管理 | 支持本地账号及 LDAP、OIDC、OAuth 2.0 等外部身份源,通过用户组、角色和工作空间分配权限,隔离不同用户的资源 | |
| 平台治理与设置 | 记录关键操作,支持安全审计与责任追溯,统一配置会话、密码策略、通知服务及平台外观 |