六西格玛项目进入改进阶段后，团队经常会遇到一个关键问题：方案实施以后，指标看起来变好了，这能不能证明方案有效？
答案未必如此。结果改善可能来自方案，也可能只是正常波动、订单结构变化、季节因素、抽样差异或其他同期措施造成。如果只比较实施前后的两个平均值，很容易把偶然变化当成改善成果。
优思学院认为，衡量解决方案有效性，应同时检查统计证据、实际改善幅度、目标达成程度、经济效益和成果持续性。一个方案即使得到P值小于0.05，如果改善幅度没有实际价值、成本过高或成果无法维持，仍然不能算成功。
一、评价方案以前，先把「有效」定义清楚
团队在提出解决方案时，通常会使用「降低不良率」「缩短周期」或「提升效率」等表达。这些方向虽然正确，却不足以作为验证标准，因为项目完成后很难判断改善到什么程度才算成功。
比较完整的目标应包含：
- 评价指标：准备改善什么结果；
- 当前基线：方案实施前的表现；
- 目标水平：希望达到多少；
- 完成期限：何时取得成果；
- 维持时间：改善需要持续多久；
- 适用范围：涉及哪些产品、流程、设备或客户。
例如，「降低焊接不良率」可以进一步明确为：
在三个月内，将A产品焊接工序的不良率由过去六个月平均4.8%降低至2%以下，并连续维持八周。
有了清楚标准，团队才能确定需要收集哪些数据、采用什么分析方法，以及在什么条件下接受或否定方案。
二、解决方案验证不能省略可靠的改善前基线
任何改善都需要一个合理的比较起点。如果实施方案前只收集了几天数据，或者恰好选取表现最差的一周作为基线，改善幅度便可能被夸大。
建立基线时应检查：
- 数据是否覆盖具有代表性的生产周期；
- 样本是否包含不同班次、设备、产品和材料批次；
- 指标定义在改善前后是否一致；
- 测量方法和检验标准有没有改变；
- 过程是否存在明显特殊原因；
- 基线期间是否发生异常停机或特殊订单。
如果改善前后的产品组合、抽样方法或判定规则不同，直接比较结果就可能失去意义。例如改善前主要生产高难度型号，改善后大部分订单变成简单型号，即使不良率下降，也不能立即归功于解决方案。
三、数据可信是验证有效性的前提
六西格玛项目有时会出现一种情况：解决方案实施以后，指标突然大幅改善，但进一步调查发现，真正改变的是测量方式。
例如检验人员减少、量具更换、缺陷标准放宽，或者原本全检改为抽检，都可能改变数据结果。此时观察到的改善未必来自过程本身。
因此，验证方案前应确认测量系统具备足够能力。连续型数据可以通过重复性与再现性、偏倚、线性和稳定性分析进行评价；合格与不合格等属性判断，则可检查不同检验人员之间及人员自身的一致程度。
测量系统发生变化时，改善前后的数字可能已经不是同一种数据。
四、利用控制图观察过程是否真正发生变化
控制图是判断解决方案效果的重要工具，因为它按照时间顺序保留数据，可以观察方案实施前后过程中心、波动和稳定状态的变化。
例如某工序实施防错装置后，不良率从平均5%下降至2%。如果控制图显示数据在方案实施时间附近出现清楚的水平转移，并在较低水平维持稳定，这会为方案有效性提供较强证据。
控制图可以帮助团队回答：
- 指标是否在实施方案后出现水平转移；
- 改善是逐渐形成还是突然发生；
- 过程波动有没有同步缩小；
- 结果是否只在短期下降后重新恶化；
- 改善后是否仍然存在特殊原因；
- 方案对不同时间或班次的效果是否一致。
不过，数据点全部落在控制界限内，只能说明过程处于相对稳定状态，并不能证明结果满足客户要求。一个过程可以稳定地保持高不良率，也可以稳定地生产接近规格边缘的产品。因此，控制图还需要结合目标、规格和过程能力进行解释。
五、假设检验判断差异是否可能来自随机波动
当团队需要比较改善前后的平均值、不良率、周期时间或其他指标时，可以使用适合数据类型的假设检验。
| 比较问题 | 可能采用的方法 |
|---|---|
| 改善前后平均值是否不同 | 两样本t检验、配对t检验或相应非参数检验 |
| 改善前后不良率是否不同 | 两比例检验或卡方检验 |
| 多个方案的平均表现是否不同 | ANOVA或相应非参数方法 |
| 方案效果是否受到其他因素影响 | 回归分析、协方差分析或实验设计 |
如果P值小于事先设定的显著性水平，例如0.05，代表在原假设成立的前提下，观察到当前或更极端结果的概率较低。它为「前后确实存在差异」提供统计证据，但不代表方案必然具有重大效果，也不能单独证明因果关系。
假设检验的结果会受到样本量影响。样本很大时，微小差异也可能达到统计显著；样本过小时，具有实际价值的改善也可能无法被检验识别。因此，分析时还应报告改善幅度和置信区间，而不是只展示P值。
六、统计显著与实际有效是两种判断
假设某流程的平均周期由60.0分钟降至59.5分钟，P值为0.01。从统计角度看，这个差异可能显著；但如果项目投入了大量设备费用，而客户交付、产能和成本几乎没有变化，这项改善的实际价值便很有限。
相反，如果客户投诉率从2%下降至0.8%，即使样本量暂时不足以得到P值小于0.05，这个变化仍然可能值得团队继续收集数据和验证。
因此，评价方案时至少要同时考虑：
- 绝对改善幅度；
- 相对改善比例；
- 置信区间；
- 客户能够感受到的变化；
- 工程或运营上的实际影响；
- 投入成本与预期收益。
项目团队最好在实施前便设定「最小实际重要差异」。例如不良率至少下降1个百分点，或者平均周期至少缩短10分钟，达到这个水平才值得全面推广。这样可以避免项目结束后按照结果临时修改成功标准。
七、过程能力改善要建立在过程稳定的基础上
涉及尺寸、重量、强度和其他规格要求时，团队还会使用Cp、Cpk、Pp或Ppk评价过程表现。
如果解决方案有效，过程可能出现以下变化：
- 均值更接近目标值；
- 标准差下降；
- Cpk或Ppk提高；
- 预计超规格比例降低；
- 实际不良率和返工率下降。
但过程能力指数不能脱离稳定性解释。如果改善后的过程仍然存在失控点、趋势或频繁调整，计算出来的Cpk并不能可靠预测未来表现。合理顺序通常是先用控制图确认过程状态，再评价过程满足规格的能力。
能力指数也不应成为唯一目标。Cpk提高可能来自规格被放宽、数据经过筛选或测量方法改变，这些都不代表产品质量真正提升。
八、没有对照设计，前后比较容易受到其他因素干扰
在方案试行期间，外部条件可能同时发生变化。例如市场进入淡季、原材料供应商更换、员工熟练度提高、设备完成大修，或者管理层同时推行另一项改善措施。这些变化都会影响结果。
条件允许时，可以通过以下设计提高验证可信度：
- 保留一条未实施方案的相似生产线作为对照；
- 在相同时间比较试验组与对照组；
- 随机安排不同方案；
- 采用分阶段试行，观察方案导入时间与结果变化；
- 利用DOE同时研究多个因素；
- 在相同产品、设备和材料条件下进行配对比较。
如果一台设备实施新参数，另一台相似设备维持原设置，而只有前者明显改善，方案有效的证据会比单纯比较前后两个时期更强。
无法设置对照组时，团队至少应记录实施期间的人员、材料、设备、订单和环境变化，并利用分层或回归分析控制主要干扰因素。
九、解决方案是否成功，要从质量、交付和成本一起判断
一项改善方案可能降低缺陷，却增加生产周期；也可能提高产量，却造成设备磨损或库存上升。只看项目的主指标，容易把问题转移到其他环节。
评价方案时可以从以下维度检查：
质量表现
- 产品是否持续满足规格和客户要求；
- 不良率、返工率和报废率是否下降；
- 客户投诉及退货有没有减少；
- 过程波动和质量成本是否降低。
交付与产量
- 实际产出能否达到计划；
- 周期时间和等待时间是否缩短；
- 准时交付率是否提高；
- 改善有没有造成新的瓶颈。
成本与资源
- 方案投入有没有超出预算；
- 节省金额是否可以由财务数据验证；
- 设备、材料、人工和维护成本如何变化；
- 回收期是否可以接受。
风险与副作用
- 方案会不会增加安全、环境或合规风险；
- 员工负荷是否过高；
- 其他产品或客户是否受到影响；
- 过程对人员经验的依赖是否增加。
真正有效的方案应改善整体结果，而不是为了让单一KPI变好，把成本和风险转移给另一个部门。
十、短期试行成功，还不等于成果已经维持
方案刚实施时，项目团队通常高度关注现场，操作人员也会特别谨慎。因此，短期数据表现良好并不奇怪。真正的挑战，是当项目会议结束、管理层关注减少、人员轮换和订单变化以后，效果能否继续维持。
控制阶段应建立：
- 更新后的标准作业程序；
- 关键参数和CTQ监控方法；
- 控制图及判异规则；
- 明确的异常反应计划；
- 责任人和检查频率；
- 培训与资格确认；
- 定期审核和成果复核机制。
团队可以在实施后30天、60天或90天重新评价主要指标。若结果逐渐回到改善前水平，应调查标准是否执行、过程条件是否改变，或者原来的方案是否只对特定情境有效。
十一、日常数据为什么经常无法支持改善？
很多企业每天都记录不良数量、产量和停机时间，但真正分析时才发现资料过于粗略。例如只知道昨天出现100件不良，却不知道是哪种缺陷、哪台设备、哪个班次、哪批材料或哪个工序产生。
总数可以说明问题严重，却不能帮助团队确定改善方向。有效的数据收集应保留必要的分层信息，例如：
- 产品型号和订单；
- 缺陷类型与发生位置；
- 设备、生产线和工位；
- 日期、时间和班次；
- 材料供应商及批次；
- 操作人员或作业方法；
- 过程参数和环境条件。
数据越多不一定越好。如果为了收集所有可能资料而增加大量记录工作，员工容易应付填写，数据质量反而下降。合理做法是根据流程知识和潜在原因，收集能够区分问题来源的必要信息。
十二、一套完整的解决方案验证流程
- 在实施前定义成功标准：明确主指标、目标、期限、最低实际改善幅度和维持时间。
- 建立可信基线：使用具有代表性的数据说明改善前表现。
- 确认测量系统：确保前后数据采用一致而可靠的定义和方法。
- 设计试行方案：尽量设置对照、随机化或分阶段导入，并控制干扰因素。
- 检查统计证据：结合控制图、假设检验、置信区间或回归分析判断变化是否可信。
- 评价实际价值：确认改善幅度是否影响客户、质量、交付和成本。
- 检查副作用：避免改善一个指标却损害其他流程。
- 标准化并持续监控：利用控制计划、作业标准和控制图维持成果。
- 安排后续复核：在适当时间重新确认效果是否仍然存在。
结论：有效方案必须经得起统计、业务和时间三重检验
六西格玛解决方案的有效性，不能只靠项目成员的感觉，也不能只凭改善后的一张漂亮图表判断。团队需要确认数据可靠、差异具有统计依据、改善幅度具备实际价值，而且成果能够在正常生产条件下持续维持。
控制图可以显示过程是否发生稳定变化，假设检验可以判断前后差异是否可能来自随机波动，过程能力和质量成本则进一步说明改善是否满足客户与经营需要。把这些证据结合起来，项目团队才能较有把握地回答：
「结果真的因为我们的方案而改善，而且这种改善值得投入，也能够继续维持。」
