怎么验证中转站的模型有没有掺水
四种可以自己动手的方法,检查中转站有没有偷换模型、缩水上下文或虚报用量,以及为什么只问模型“你是谁”并不可靠。
不用只听我们怎么说。下面这些方法对任何中转站都适用,可以自己测试。
1. 核对用量和费用
打开控制台的「日志」页面,逐条核对模型名、输入和输出 Token,以及扣费金额。然后用模型广场的倍率算一遍,看金额是否对得上。
2. 测试长上下文
发一段很长的文本,在开头、中间和结尾各放一个不相关的暗号,然后让模型把三个暗号都找出来。如果上下文被截断,通常会漏掉前面的暗号。同时看日志里的输入 Token,应该和文本长度大致相符。
3. 同题对比
准备几道你熟悉答案的难题,比如复杂的代码重构或多步推理。分别问不同模型,再和你从模型厂商那里直接得到的结果对比。一次结果说明不了什么,建议多测几轮。
4. 看模型特有的能力
测试多模态输入、长输出、工具调用和结构化输出这些能力。低价模型冒充高价模型时,这些地方比较容易露馅。
为什么不能只问“你是谁”
模型的自我介绍并不可靠。模型可能答错自己的版本,系统提示词也能改变它的回答,所以这个结果只能作为参考。
发现问题怎么办
保存请求日志和测试内容,发给客服核对。