# FDE-PoC-Tech-Stack-Selector — 评估标准 ## 1. 通过门槛 - 总分 **≥80/100** - “检索新鲜度”“明确决策”“安全边界”三项均不得低于其权重的 70% - 无红线项 - 主方案能在约定 PoC 周期内启动 --- ## 2. 百分制评分 | 维度 | 权重 | 满分标准 | | --- | ---: | --- | | 场景与假设 | 10 | 用户、流程、假设、Primary Metric、范围清晰 | | 检索新鲜度 | 15 | ≥8 来源;官方/国内来源达标;版本、许可、部署可核验 | | 约束完整性 | 10 | 数据、环境、算力、信创、团队、集成与预算完整 | | 路径合理性 | 10 | L1/L2/L3 判断清晰,选择最低可行复杂度 | | 技术栈适配 | 15 | 全栈逐层匹配场景,无堆栈与重复组件 | | 明确决策 | 10 | 唯一主方案、降级方案、淘汰方案及触发条件完整 | | 可执行蓝图 | 10 | 架构、D0-D10、负责人、依赖和交付物清晰 | | 评估与可观测 | 10 | Golden Dataset、回归、Trace、业务验收完整 | | 安全与 Vibe 治理 | 5 | 数据/代码边界、密钥、Review、依赖与权限可控 | | 升级与回退 | 5 | Beta/生产保留/重写/新增及失败回退明确 | --- ## 3. 红线项 出现任一项即不通过: - 没有联网检索却声称是“最新选型”; - 没有唯一主方案,只给工具清单; - 推荐未经批准的模型或编码工具处理客户敏感数据/代码; - 编造版本、许可证、客户案例、性能或价格; - 没有 Golden Dataset 或可测 Primary Metric; - PoC 关键路径没有降级/人工兜底; - 许可证或商业使用边界未核验; - Vibe Coding 生成代码未经人工 Review 直接部署; - 把 PoC 工具无条件视为生产方案; - 为简单流程无理由引入多 Agent、多个向量库或多个编排框架。 --- ## 4. 检索证据验收 | 检查项 | 必达 | | --- | --- | | 有效来源 | ≥8 | | 官方文档/仓库/Release | ≥4 | | 国内官方/实践来源 | ≥3 | | 最新资料时效 | 关键工具优先 ≤180 天 | | 版本/发布日期 | 每个关键候选均记录 | | 许可证 | 每个开源关键候选均核验 | | 部署与国内可用性 | 每个关键候选均说明 | | 冲突信息处理 | 写明采用哪个来源及理由 | 不能满足数量时,应明确资料不足并降低结论置信度,不得用低质量来源凑数。 --- ## 5. 方案质量验收 ### 主方案 - 每层只有必要组件; - 组件之间接口和数据流清晰; - 直接对应 PoC 核心假设; - 团队在周期内能够掌握; - 有可执行安装/接入路径; - 有评估、日志和失败定位能力。 ### 降级方案 - 比主方案更简单或风险更低; - 在 1–2 个工作日内可切换; - 数据、接口和评估集可复用; - 有明确触发日期或指标。 ### 淘汰方案 至少两个,淘汰理由必须来自: - 硬门禁不通过; - 周期、团队或数据不适配; - 许可证/供应商锁定; - 调试/评估能力不足; - Beta 迁移成本明显不合理。 不得写“因为不够流行”。 --- ## 6. PoC 结果门禁 | 结果 | 条件 | 动作 | | --- | --- | --- | | Go | Primary Metric 达标;Guardrail 无破坏;风险可控 | 进入 Beta 设计 | | Conditional Go | 核心指标接近,但有 1–2 个可验证阻塞 | 限时再实验 | | Pivot | 业务假设成立,但当前栈不可行 | 切换降级/备选栈 | | No-Go | 假设不成立、风险不可接受或价值不足 | 停止投入并复盘 | No-Go 是有效 PoC 结果,不得为了展示成功而修改指标口径。 --- ## 7. 示例验收 ```text Given: - 500 份中文售后文档,含 PDF/表格/扫描件 - 数据不出域,NVIDIA GPU 可用 - 2 名 Python 工程师,10 个工作日 - 目标:引用正确率 ≥90%,答案正确率 ≥80% When: - 执行 STACK-POC - 对 30 份代表文档做解析与检索 bake-off - 比较 RAGFlow、MaxKB、Dify+自定义解析、轻量自研 Then: - 有 ≥8 个当期来源及版本/许可核验 - 给出唯一主方案和 D3 降级触发条件 - 有模型、解析、检索、UI、评估、部署、Vibe 工具全栈 - 50–100 条 Golden Dataset 可重复执行 - D0-D10 任务和 PoC→Beta 清单完整 - 总分 ≥80 且无红线 ``` --- ## 8. 不通过处置 | 问题 | 处置 | | --- | --- | | 搜索证据不足 | 暂停最终推荐,补官方和国内来源 | | 主方案不唯一 | 回到硬门禁与核心假设,删除非必要组件 | | 技术堆栈过重 | 回到 L1/L2/L3,降到最低复杂度 | | 数据/安全不清 | 升级 IT/安全,不进入构建 | | Golden Dataset 缺失 | AIBP 补业务真值,暂停效果比较 | | 团队无法接管 | 更换更简单路径或增加明确支持资源 | | Beta 路径不成立 | 标记为一次性 Demo,重新评估投入价值 |