模拟评测：环境可重复不等于用户反应可信

准备推出新的商品筛选界面时，可以先测代理是否会操作，也可以让模拟买家比较两个界面。两者回答不同问题：操作能力通过不证明真实买家愿意使用；浏览轨迹像人也不证明新界面会提高加购。本专题用Shopify三篇研究区分环境、用户分布与干预效果，让模拟成为候选筛选工具。

三篇是不同研究贡献，可相互启发，不能拼成一个已披露统一系统，更不是Sidekick Flow内部实现。

先让环境和任务可重复

ShopGym把探索网站与生成测试商店分开，中间用匿名化规范连接；生成阶段只读规范与合成目录，分功能生成和验证。ShopGuru不凭语言想象任务：先在具体collection中确认筛选值、商品、库存变体和政策存在，再产生任务。论文将任务表达为环境、初态、意图、验证函数的组合。§2与附录任务验证说明

合成测试：“在运动水杯类目找到价格不超过100元的蓝色现货商品，加入一个”。如果全店确实有蓝色，目标collection却没有，任务本身不可完成；若验证器仅看“购物车非空”，加入红色杯子也会假通过。任务构造与验证程序都需要测试。

{
  "case_id": "SYN-SHOP-BLUE",
  "environment_version": "demo-shop-v4",
  "catalog_snapshot": "demo-catalog-v2",
  "initial_state": {"cart": [], "locale": "zh-CN", "currency": "CNY"},
  "constraints": {"collection": "sport-bottles", "color": "blue", "max_price": 100},
  "verification": {"sku": "DEMO-BLUE-01", "quantity": 1, "other_items": 0},
  "forbidden": ["place_order", "submit_payment"]
}

这是原创环境契约，未构建ShopGym商店。运行器每次先清空购物车、重置登录/本地存储及同意状态，核对目录和价格，结束后核对SKU、变体、数量与禁止副作用。第一次加购残留到第二次，可能让失败代理看起来成功；界面改版同时换了价格，可能让所谓模型改进实际来自环境变化。环境不可控时记录变化并限制比较，不为了稳定结果修改真实店铺。

可以先建立一个小型固定沙盒，不必立即生成多家商店。它适合调试操作链；要评估页面多样性才增加布局、类目和政策变体。ShopGym报告结构与代理行为比较，只支持相应控制环境的评价信号，不保证视觉像素完全一致或真实购买分布一致。

用户分布是另一项依赖

一个耐心、目标明确的“平均买家”可能总能找到筛选按钮，而匆忙访问者早已离开。SimGym从历史流量构造意图和行为画像；SimPersona更进一步，用行为VQ-VAE学习类型、将类型映射到persona token并训练代理，再按商店经验分布采样。SimPersona §2–3、图1 这是数据与模型训练方案，不是给Prompt增加年龄职业就完成用户验证。

合成沙盒可先用行为分群：快速浏览、价格比较、政策敏感，各占50%/30%/20%。比例只是演示，必须由目标业务数据或明确研究假设替换。每个分群报告完成、放弃和错误，不只总分；改变比例后结果翻转，说明决定依赖用户构成。没有流量数据时，人工探索画像可用于发现交互障碍，不能声称代表真实市场。

画像来源的时间、脱敏方式和用途需明确。用来生成画像的历史clickstream应与验证真实A/B效果的会话分离；从试验结果反推“什么人会喜欢新版”，再宣称模拟预测准确，形成泄漏。店内历史也不能自动代表新渠道流量。

最后检验模拟能否预测变化

SimGym的关键量尺不是轨迹相似，而是control到treatment的加购变化是否与真实用户同方向，以及跨店变化幅度的相关性。其样本筛掉促销、价格、商品组合变化与新店爬坡等混杂；评价视觉主题改变。§2.3、§4–5与限制

SimGym表2的77%方向一致性范围为：50店、特定skimmers分群、每店600代理、重复两次；Gemini 3 Flash配置的方向一致性区间为66%–87%。这不是“所有买家77%准确”，也不证明某一家店的收益幅度可信。研究未覆盖新平台和所有业务目标。

下面为合成例，比例并非论文数据：

所有比较要保留独立会话数与用户分母、分群、窗口、试验分配、变化内容及置信范围；“跑了600代理”不是600真实用户证据。操作失败和浏览器异常应单独统计，不能全计买家放弃。模拟器版本改变后，用已知真实干预重新校准，不只看新代理浏览得更顺。

在新业务先用已有真实实验做留出校准：同时检查方向、幅度和关键分群；能支持筛选后，再把有限真实流量留给候选比较。若模拟缺有效外部校准，它仍可发现路径错误和提出假设，但不能负责扩大上线决定。涉及付款、健康、安全或不可逆动作时，模拟必须保持受控操作边界。

产物与下一步

形成环境快照/复位规则、任务可行性检查、分群来源、模拟到真实的校准表，分别放进评测包与试点计划。第13章保留选择量尺的主线，本专题承接环境与外部效度细节。

参考资料

• ShopGym v1 §2及附录：环境、任务生成与验证。
• SimGym v1 §2.3、§4–5及表2：界面干预、方向一致性与限制。
• SimPersona v2 §2–3、图1：行为分群与商店分布建模。
• 具体原论文链接见本页来源表。契约、分群比例与比较表为合成教学例，未构建商店、训练模拟买家或执行真实试验。