HKGAI Modelhub / 能力

模型目录

动态模型列表、能力判断和真实可用性探测。

模型目录与能力识别

查询方式

项目调用:

GET /v1/models

本地接口为:

GET /api/models

项目会保留 GET / POST 方法探测结果,并缓存短时间结果;模型 ID 以网关返回为准。

模型信息

管理台会解析并展示:

  • tier / 环境层级
  • 模型族
  • 量化精度
  • 上下文长度
  • 实验版本
  • supported_endpoint_types

解析失败的模型仍保留并允许手动调用,不因命名不规范而丢弃。

能力判断

  • Chat:通常具有 openai 端点类型。
  • TTS:优先检查模型 ID tts-v1 及 audio/speech 调用结果。
  • ASR:优先检查 speech-recognize、transcription 及 audio/transcriptions 调用结果。
  • 视频 LLM:优先检查 t2_minimax-h3、t2v、i2v、v2v、video 等标识,并使用 /v1/videos 异步任务验证;不能用 Chat 接口替代。
  • 不能只根据模型名称猜测语音能力,必须通过健康检查或实际请求确认。

真实可用性探测

模型表中的“可用”来自 POST /api/models/probe 的真实调用,不等同于 /api/models 目录可见。结果会写入服务器 SQLite,并通过 GET /api/models/probe-results 返回;刷新页面或换浏览器仍会看到同一份最新结果。页面支持测试当前模型、测试筛选结果或测试全部模型;批量探测默认并发 2 个请求,401/403 会停止剩余任务。

探测状态会区分:

  • 可用、不可用
  • 鉴权失败(401/403)
  • 限流(429)
  • 超时
  • 暂无对应探针

Chat 模型使用流式 Chat 请求并读取上游 usage.completion_tokens 计算速度。页面展示 TTFT、总耗时和 token/s;如果网关不返回 usage,则显示 --,不会用字符数估算 token。TTS 和 ASR 不显示 token/s,只展示音频端点的耗时指标。视频 LLM 展示任务状态、进度、生成耗时和文件名,不虚构 token/s。

视频模型的测试流程是:创建 5 秒、1280x720 的最小任务 → 详情页轮询 /api/models/video-task → 任务 completed 后通过 /api/models/video-task/content 下载结果。批量按钮会跳过视频模型,避免意外创建计费任务。

探测请求使用固定短文案和服务端内存生成的短静音 WAV,不会上传用户音频。探测成功只证明端点可调用,粤语转写、翻译和音色效果仍需业务样本验收。

页面会在模型表和模型详情中展示最近一次测试时间,详情区可以展开查看脱敏后的请求头、响应头和请求摘要。Authorization、Cookie、完整请求体和完整错误响应不会展示或存储。

Qwen 参数

Qwen3 类模型建议在请求中加入:

"chat_template_kwargs": {"enable_thinking": false}

否则短文本可能先消耗隐藏推理 token,导致可见正文为空。