小微
入口较广覆盖综合电商、打车出行、挂号问诊、家政维修、证件办理和硬件设备控制。
硬件设备控制达到可核验状态;金融计算能给结果,但不属于外部服务履约。
意图多能识别,上下文基本可保持;流程常停在登录、首页或用户接管,入口没有继续转成订单。
用同一把尺子回答四件事:V1 的基线是什么,V2 改了什么,四个 Agent 的供给与办成发生了什么变化,以及小微 MCP 到底有没有用。
V1、V2 都按三个层次判断。三者不能混在一起:能听懂,不代表有服务;有服务入口,也不代表最终办成。
只有 V1、V2 都测过(或条件几乎一样)的需求,才用来判断有没有进步;V2 才加的需求只说明这次测的范围变大了。
是否进入与 Query 对应的真实服务入口。只有文字建议、无关页面或不能继续操作的卡片,均不算有供给。
是否达到该场景规定的办成终点,例如订单确认、支付确认或可核验结果。停在首页、列表页或选择页,都不算办成。
意图看条件是否理解正确;上下文看多轮条件是否保持;流程看是否沿正确链路稳定推进、少中断和少绕路。
判断顺序:模型能力决定能不能理解任务、带对条件;供给决定有没有真实路径;服务完成决定最后有没有办成。报告先看供给,再看服务完成,最后用意图、上下文和流程解释原因。
范围为 12 个场景、24 个 Case、4 个 Agent。V1 只回答:能提供什么服务,真正办成了什么,没办成卡在哪里。
“理解需求”与“完成服务”分开判断。只给建议、只打开首页或只声称完成,都不算办成。
覆盖综合电商、打车出行、挂号问诊、家政维修、证件办理和硬件设备控制。
硬件设备控制达到可核验状态;金融计算能给结果,但不属于外部服务履约。
意图多能识别,上下文基本可保持;流程常停在登录、首页或用户接管,入口没有继续转成订单。
覆盖餐饮外卖、票务酒店、打车与地图导航,交易和出行入口相对稳定。
打车能落实起终点、车型和价格,到确认用车边界;部分金融计算任务完成。
流程深度优于纯问答,但指定平台或地址容易被改写,复杂条件仍需用户纠正。
覆盖酒店预订、打车出行、挂号问诊和家政维修等生活服务。
维修能形成真实服务订单并到支付确认边界。
执行入口多,但首轮条件承接与平台匹配会漂移,出现错门店、错商品或错误数字。
以信息查询、解释和内容生成为主,外部交易、出行和生活服务入口较少。
金融计算可完成;外部服务大多没有形成可核验订单或状态变化。
意图与上下文往往正确,但流程停在文字建议,无法把理解转成真实服务结果。
V1 核心结论:四家都能理解多数任务,但服务供给、流程深度和最终办成并不一致,“理解需求”还没有稳定转化为“完成服务”。
V2 有两个客观变化:测试范围扩大,以及小微出现一组可确认接入 MCP 的服务场景。
新增 Query 只能说明覆盖变广,不能直接证明模型进步。模型变化只用 V1、V2 共同或高度相近的 Query 判断。
新增导航、快递、话费、生活缴费、办公、阅读、招聘、汽车养护等服务。
本轮确认 9 个 MCP 小程序,覆盖外卖、电商、票务、酒店、话费、生活缴费和挂号。
报告只使用“已确认 MCP 场景”和“未确认 MCP 场景”。未确认不等于一定没有 MCP。
先看供给,再看办成,最后单独判断小微 MCP 的作用。每个判断都回到 Query 和真实页面。
表内所有状态都可点击查看证据。V1、V2 都测过的服务显示前后变化;只有 V2 才加的服务,只显示这次能不能用。
支持的唯一判据:进入与 Query 对应的真实服务入口。只有文字建议、错误入口或一张不能继续操作的卡片,均记为不支持。
两次都测过的服务用来判断有没有进步;V2 新加的服务只说明这次测了哪些。
| V2 服务与 Query | 小微 | 千问 | 阿宝 | 豆包 |
|---|
先比两次都测过的服务,再看 V2 新加的部分。不把“已打开”“已选择”当成完成。
两次都测过的服务按“办成了哪几类”比;V2 新加的部分按“办成了几个 Case”数,两者不混着算。




V1:打开小程序,未到订单
V2:条件带入并形成待确认订单
V1:没有进入打车服务
V2:车型和价格可核验
V1:把任务理解成小程序方案
V2:生成 35×45 白底成品
V1:华凌空调显示制冷 26°C
V2:TCL 面板显示 26°C先把场景聚成 5 类;每类分别比较已确认 MCP 与未确认 MCP Case 中,四个 Agent 在四项指标上的名次。
数字越小越靠前;同分并列。每组下方直接列出参与比较的具体 Case。
已确认:外卖平台、综合电商|未确认:餐饮品牌、买菜生鲜、到店预约
Case:外卖平台、综合电商;均含清晰与多轮。
Case:餐饮品牌、买菜生鲜、到店预约;均含清晰与多轮。
已确认:火车票/机票、订酒店|未确认:电影票、门票/演出、打车、地图导航
Case:火车票/机票、订酒店;均含清晰与多轮。
Case:电影票、门票/演出、打车、地图导航;均含清晰与多轮。
已确认:运营商话费、生活缴费|未确认:家政维修、查寄快递、租房找房、汽车养护
Case:运营商话费、生活缴费;均含清晰与多轮。
Case:家政维修、查寄快递、租房找房、汽车养护;均含清晰与多轮。
已确认:挂号问诊|未确认:政务办事、公积金/社保/医保
Case:挂号问诊,包含清晰与多轮。
Case:政务办事、公积金/社保/医保;均含清晰与多轮。
没有已确认 MCP 对照;仅展示未确认 MCP 组
暂无已确认 MCP Case,不能比较。
Case:办公工具、金融记账、证件办理、招聘求职、阅读、硬件设备;均含清晰与多轮。
商品类已确认 MCP 组中,小微在上下文、意图、流程、服务完成四项均位于第 1;未确认组中,意图和上下文仍为第 1,但流程和服务完成降到第 3。差异集中在“把条件带进订单”,不是“有没有听懂”。

小微:商品、地址进入订单确认,办成。

千问:生成商品卡,地址缺失,未到付款。

阿宝:进入点单,但平台和商品条件发生偏移。

豆包:只有门店与步骤建议,没有订单。

小微:条件听懂,但只有文字,未进购物车。

千问:有真实商品入口,但未锁定指定平台。

阿宝:进入订单页,但门店和商品不完整。

豆包:停留在购物清单和操作建议。
小微当前最需要解决的不是“听不懂”,而是页面状态、流程终点和结果声明之间不一致。
三项都用意图、上下文、流程拆开看,避免把不同问题揉成一句“模型能力不稳定”。


