小微
入口较广覆盖电商、出行、挂号、家政、证件和硬件设备。
只办成硬件设备控制;金融计算不算外部服务履约。
能听懂、上下文基本保持,但流程常停在登录或首页,没转成订单。
用同一把尺子回答四件事:V1 的基线是什么,V2 改了什么,四个 Agent 的供给与办成发生了什么变化,以及小微 MCP 到底有没有用。
能听懂,不代表有服务;有服务入口,也不代表最终办成。
只有 V1、V2 都测过(或条件几乎一样)的需求,才用来判断有没有进步;V2 才加的需求只说明这次测的范围变大了。
一句话总结:三个层次分开看,顺序是「模型能力 → 供给 → 服务完成」——先看有没有真实路径,再看有没有办成,最后用意图、上下文、流程解释原因。
是否进入与 Query 对应的真实服务入口。只有文字建议、无关页面或不能继续操作的卡片,均不算有供给。
是否达到该场景规定的办成终点,例如订单确认、支付确认或可核验结果。停在首页、列表页或选择页,都不算办成。
意图看条件是否理解正确;上下文看多轮条件是否保持;流程看是否沿正确链路稳定推进、少中断和少绕路。
范围为 12 个场景、24 个 Case、4 个 Agent。V1 只回答三件事:能提供什么服务、真正办成了什么、卡在哪里。
“理解需求”与“完成服务”分开判断。只给建议、只打开首页或只声称完成,都不算办成。
一句话总结:四家加起来只办成 3 个外部服务——小微的硬件设备、千问的打车、阿宝的家政维修,豆包一个都没有。供给最广的小微,办成数也没比别人多。
覆盖电商、出行、挂号、家政、证件和硬件设备。
只办成硬件设备控制;金融计算不算外部服务履约。
能听懂、上下文基本保持,但流程常停在登录或首页,没转成订单。
覆盖餐饮外卖、票务酒店、打车和地图导航。
只办成打车,到确认用车边界。
指定平台或地址容易被改写,复杂条件要用户纠正。
覆盖酒店、打车、挂号和家政维修。
只办成家政维修,到支付确认边界。
入口多,但条件承接会漂移,出现错门店、错商品。
以查询、解释和内容生成为主,外部服务入口少。
外部服务都没办成,只有金融计算可完成。
意图和上下文正确,但流程停在文字建议。
V2 有两个客观变化:测试范围扩大,以及小微出现一组可确认接入 MCP 的服务场景。
新增 Query 只能说明覆盖变广,不能直接证明模型进步。模型变化只用 V1、V2 共同或高度相近的 Query 判断。
新增导航、快递、话费、生活缴费、办公、阅读、招聘、汽车养护等服务。
本轮确认 9 个 MCP 小程序,覆盖外卖、电商、票务、酒店、话费、生活缴费和挂号。
报告只使用“已确认 MCP 场景”和“未确认 MCP 场景”。未确认不等于一定没有 MCP。
先看供给,再看办成,最后单独判断小微 MCP 的作用。每个判断都回到 Query 和真实页面。
表内所有状态都可点击查看证据。V1、V2 都测过的服务显示前后变化;只有 V2 才加的服务,只显示这次能不能用。
支持的唯一判据:进入与 Query 对应的真实服务入口。只有文字建议、错误入口或一张不能继续操作的卡片,均记为不支持。
两次都测过的服务用来判断有没有进步;V2 新加的服务只说明这次测了哪些。
| V2 服务与 Query | 小微 | 千问 | 阿宝 | 豆包 |
|---|
先比两次都测过的服务,再看 V2 新加的部分。不把“已打开”“已选择”当成完成。
两次都测过的服务按“办成了哪几类”比;V2 新加的部分按“办成了几个 Case”数,两者不混着算。




V1:打开小程序,未到订单
V2:条件带入并形成待确认订单
V1:没有进入打车服务
V2:车型和价格可核验
V1:把任务理解成小程序方案
V2:生成 35×45 白底成品
V1:华凌空调显示制冷 26°C
V2:TCL 面板显示 26°C先把场景聚成 5 类;每类分别比较已确认 MCP 与未确认 MCP Case 中,四个 Agent 在四项指标上的名次。
数字越小越靠前;同分并列。每组下方直接列出参与比较的具体 Case。
已确认:外卖平台、综合电商|未确认:餐饮品牌、买菜生鲜、到店预约
Case:外卖平台、综合电商;均含清晰与多轮。
Case:餐饮品牌、买菜生鲜、到店预约;均含清晰与多轮。
已确认:火车票/机票、订酒店|未确认:电影票、门票/演出、打车、地图导航
Case:火车票/机票、订酒店;均含清晰与多轮。
Case:电影票、门票/演出、打车、地图导航;均含清晰与多轮。
已确认:运营商话费、生活缴费|未确认:家政维修、查寄快递、租房找房、汽车养护
Case:运营商话费、生活缴费;均含清晰与多轮。
Case:家政维修、查寄快递、租房找房、汽车养护;均含清晰与多轮。
已确认:挂号问诊|未确认:政务办事、公积金/社保/医保
Case:挂号问诊,包含清晰与多轮。
Case:政务办事、公积金/社保/医保;均含清晰与多轮。
没有已确认 MCP 对照;仅展示未确认 MCP 组
暂无已确认 MCP Case,不能比较。
Case:办公工具、金融记账、证件办理、招聘求职、阅读、硬件设备;均含清晰与多轮。
商品类已确认 MCP 组中,小微在上下文、意图、流程、服务完成四项均位于第 1;未确认组中,意图和上下文仍为第 1,但流程和服务完成降到第 3。差异集中在“把条件带进订单”,不是“有没有听懂”。

小微:商品、地址进入订单确认,办成。

千问:生成商品卡,地址缺失,未到付款。

阿宝:进入点单,但平台和商品条件发生偏移。

豆包:只有门店与步骤建议,没有订单。

小微:条件听懂,但只有文字,未进购物车。

千问:有真实商品入口,但未锁定指定平台。

阿宝:进入订单页,但门店和商品不完整。

豆包:停留在购物清单和操作建议。
小微当前最需要解决的不是“听不懂”,而是页面状态、流程终点和结果声明之间不一致。
三项都用意图、上下文、流程拆开看,避免把不同问题揉成一句“模型能力不稳定”。


