模型目录与能力识别
查询方式
项目调用:
GET /v1/models
本地接口为:
GET /api/models
项目会保留 GET / POST 方法探测结果,并缓存短时间结果;模型 ID 以网关返回为准。
模型信息
管理台会解析并展示:
- tier / 环境层级
- 模型族
- 量化精度
- 上下文长度
- 实验版本
supported_endpoint_types
解析失败的模型仍保留并允许手动调用,不因命名不规范而丢弃。
能力判断
- Chat:通常具有
openai端点类型。 - TTS:优先检查模型 ID
tts-v1及audio/speech调用结果。 - ASR:优先检查
speech-recognize、transcription及audio/transcriptions调用结果。 - 视频 LLM:优先检查
t2_minimax-h3、t2v、i2v、v2v、video等标识,并使用/v1/videos异步任务验证;不能用 Chat 接口替代。 - 不能只根据模型名称猜测语音能力,必须通过健康检查或实际请求确认。
真实可用性探测
模型表中的“可用”来自 POST /api/models/probe 的真实调用,不等同于 /api/models 目录可见。结果会写入服务器 SQLite,并通过 GET /api/models/probe-results 返回;刷新页面或换浏览器仍会看到同一份最新结果。页面支持测试当前模型、测试筛选结果或测试全部模型;批量探测默认并发 2 个请求,401/403 会停止剩余任务。
探测状态会区分:
- 可用、不可用
- 鉴权失败(401/403)
- 限流(429)
- 超时
- 暂无对应探针
Chat 模型使用流式 Chat 请求并读取上游 usage.completion_tokens 计算速度。页面展示 TTFT、总耗时和 token/s;如果网关不返回 usage,则显示 --,不会用字符数估算 token。TTS 和 ASR 不显示 token/s,只展示音频端点的耗时指标。视频 LLM 展示任务状态、进度、生成耗时和文件名,不虚构 token/s。
视频模型的测试流程是:创建 5 秒、1280x720 的最小任务 → 详情页轮询 /api/models/video-task → 任务 completed 后通过 /api/models/video-task/content 下载结果。批量按钮会跳过视频模型,避免意外创建计费任务。
探测请求使用固定短文案和服务端内存生成的短静音 WAV,不会上传用户音频。探测成功只证明端点可调用,粤语转写、翻译和音色效果仍需业务样本验收。
页面会在模型表和模型详情中展示最近一次测试时间,详情区可以展开查看脱敏后的请求头、响应头和请求摘要。Authorization、Cookie、完整请求体和完整错误响应不会展示或存储。
Qwen 参数
Qwen3 类模型建议在请求中加入:
"chat_template_kwargs": {"enable_thinking": false}
否则短文本可能先消耗隐藏推理 token,导致可见正文为空。