Visa 实测 22 个 AI 购物代理：42.8% 运行失败，过半失败仍下单

核心要点

• Visa 实测 22 个模型，整体失败率 42.8%。
• 54% 的失败运行里，代理仍然做出了购买决定。
• 三轮全过的比例只有 34.2%，一致性是硬伤。
• 最好的模型过 82.2%，最差的只有 28.9%。
• 本轮只测需求发现与买不买，没测结算和支付。

Visa 在 11 月 5 日发布了一份基准测试，名字叫 Visa Agentic Commerce Benchmark。

第一轮找了 12 家实验室的 22 个模型，跑 15 个购物场景，每个模型每个场景跑 3 次，合计 990 次运行。

整体通过率 57.2%，失败率 42.8%。这个数被中文媒体反复引用，但多数转述漏了一个关键前提。

先说结论：这轮测的是”该不该买”，不是”能不能付”。

42.8% 的失败里，一半还是买了

先把测试设计说清楚，否则数字会被误读。

场景是一个模拟市场，买家也由 AI 扮演，手里握着一份需求清单，但只主动说出其中一部分。被测模型要靠对话把没说的需求问出来，再决定买哪件，或者干脆不买。

一次运行算通过，要同时满足两条：需求全部问出来，且决策正确。如果货架上没有符合的，正确动作是不下单。

结果里最刺眼的是这一条：在失败的运行中，54% 仍然做出了购买动作。

买错了，或者需求没问全就买了，这两种情况都算在内。对卖家来说，这不是”没成交”，而是”成交了一笔麻烦”。

这里必须纠正一个流传的说法。部分中文解读写成”过半失败案例仍完成了下单支付”，这不准确。

按 Visa 的说明，第一轮只覆盖需求发现与购买决策，结算、支付、下单执行要放到后续轮次。所以准确表述是：代理做出了购买决定，而不是完成了付款。

这个区别对卖家很重要。付款环节还没被验证，意味着真正的风险敞口现在还没打开。

失败不在算错，在没问全

Visa 把原因拆得很细，结论指向同一个地方：模型不是算错了参数，是没问到关键条件。

它按”问出隐藏需求的能力”把模型分成两组。问得最多的 5 个，平均通过率 70.2%；问得最少的 5 个，只有 44.4%。差了将近 26 个百分点。

价格和能力也不是线性关系。单次运行成本最高的 5 个模型，通过率 67.1%；最便宜的 5 个，50.2%。贵有优势，但买不到稳定。

最典型的是电视那个场景。买家提到亲戚推荐了某个品牌、自己有第三方会员，但预算、格式兼容、HDR10+、游戏需求都没说。模型要一项项问出来，才算过关。

放到跨境场景，这就对应到 Listing 的字段完整度。你的商品页没写清楚接口制式、电压、尺码对应的脚长、包装内含物，代理问不出来，就只能猜。

而它猜错的方式不是”不买”，是”买一个差不多的”。

一致性才是真问题

如果只看单次通过率，57.2% 已经不算难看。真正让人犹豫的是重复性。

每个模型对每个场景跑 3 次，3 次全过的比例只有 34.2%。换句话说，同一个代理，同一个需求，第一次买对，第二次第三次可能买错。

模型之间的差距也大。最好的 82.2%，最差的 28.9%，中间拉得很开。而且 Visa 自己说，排名靠前的十几个模型置信区间有重叠，谁是第一并不明确。

这对卖家的含义很直接：你没法按”接入了某个模型”来判断流量质量。同一个入口，今天来的单是准的，明天来的单可能就跑偏了。

售后团队感受会更明显。异常订单不会均匀分布，会集中出现在某几天、某个代理版本上，排查时很难复现。

三层风险，落到卖家账上

把测试结果翻译成运营语言，风险分三层。

第一层最容易被低估。人工下单时，买家自己会确认接口和尺码；代理下单时，确认动作由模型完成，出错后责任归属模糊。

第二层会直接打在你的指标上。退货率是按卖家维度统计的，不管下单的是人还是代理。

第三层最麻烦。代理支付涉及授权链路，一旦出现”我没让它买”的争议，举证成本很高。这也是加拿大银行限制 AI 代理支付这类动作的背景。

反过来，支付侧也在补课。蚂蚁国际的代理支付方案就在解决”谁授权、授权到哪一步”的问题，思路是给代理设额度和白名单，而不是给完整卡号。

接不接，分品类给判断

先给结论：接，但别把它当主渠道，而且要先修数据。

理由有三个。流量在前面，Visa 引用 PYMNTS 的调查说，约 1.32 亿美国成年人已经在 AI 帮助下买过东西。信任在后面，Visa 9 月的信任指数显示，72% 的美国消费者用过 AI 助手，只有 23% 敢让 AI 代付。

用的人多，敢付的人少。这决定了未来一两年，代理带来的是”决策流量”，不是”支付流量”。

分品类看，判断不一样。

标品、参数明确、退换成本低的，比如充电器、存储卡、小家电配件，适合早接。代理问几句就能锁定型号，出错概率低。

服装、鞋、美妆这类依赖体感和肤质的，建议缓。尺码和色差靠对话问不出来，错单最终都变成退货。

高客单、需要安装或定制服务的，要设门槛。可以让代理询价、留资，但成交环节回到人工或至少加一道确认。

真正该先做的是商品数据。同样是 PYMNTS 的调查，只有 15% 的商家把商品数据结构化到代理能直接用的程度。

字段缺失，代理就找不到你的货，或者找到也判断不了。这不是接不接的问题，是能不能被选中的问题。

Shopify 的代理店面把这条路走得更前面，商品结构、库存、配送承诺都做成了机器可读的接口。值得对照自己的后台看一遍缺口。

还有一个现实提醒。Visa 说后续会把测试扩到结算、支付和订单执行。等那一轮结果出来，现在的 42.8% 可能会变，也可能更难看。

在那之前，别把代理当成”免费的新渠道”。它是一个会自己做决定的买家，而它的判断准确率，目前还不到六成。

主编判断一句：AI 代理带来的第一波不是销量，是退货和工单；先把商品数据和异常订单识别做扎实的卖家，才吃得到第二波。

参考文章

• 《Visa’s new shopping agent benchmark finds AI models buying the wrong things》｜Pivot News｜https://pivotnews.ai/five/visa-s-new-shopping-agent-benchmark-finds-ai-models-buying
• 《Visa benchmark puts AI shopping agents at a 42.8% failure rate》｜Pivot News｜https://pivotnews.ai/five/visa-benchmark-puts-ai-shopping-agents-at-a-42-8-failure
• 《AI Shoppers Failed 42.8% of Visa’s Test, and Often Still Bought》｜AI Velocity｜https://aivelocity.dev/news-insights/visa-agentic-commerce-benchmark-ai-shopping-agents
• 《Visa Tested AI Shopping Agents. 42.8% of Runs Failed, and Many Still Bought》｜UniverseBlend｜https://universeblend.blog/ai-shopping-agents-visa-benchmark
• 《The 42.8% Problem: What Visa’s Benchmark Says About Letting AI Shopping Agents Use a Credit Card》｜TrackFuture｜https://trackfuture.ai/article/the-428-problem-what-visas-benchmark-says-about-letting-ai-shopping-agents-use-a-credit-card

FAQ

42.8% 是支付失败率吗？

不是。它衡量的是需求发现与购买决策的失败率，测试没有覆盖结算与支付环节。所以不能说”四成支付失败”。

失败还下单，是代理乱买吗？

不完全是。多数是需求没问全就做出决定，买了一件”接近但不完全符合”的商品。测试里这种情况占失败运行的 54%。

接入代理流量要改什么？

先改商品数据。规格、兼容性、包装内容、退换规则要结构化，代理才读得到。其次是客服话术前置，把代理渠道的退货理由单独标记。

现在适合全面接入吗？

不建议。标品可以先试，非标和高客单要设确认环节。等 Visa 把测试扩到支付阶段，再看新一轮数据。