竞争性假设分析(ACH):如何使用,以及何时失灵

一叠文件上的放大镜:在竞争性假设分析中权衡证据

英文版(English version)

竞争性假设分析(ACH,Analysis of Competing Hypotheses)是一种结构化技术,用来判断几种解释中哪一种最符合证据。ACH不是先挑一个中意的答案再为它收集支持,而是列出所有合理的假设,并把每一项证据同时拿来与所有假设对照。最后留下来的答案,是证据无法排除的那个,而它往往不是会议一开始就看好的那个。

中央情报局分析员理查兹·霍耶尔提出了ACH,并在《Psychology of Intelligence Analysis》(1999年)中发表。这本书至今仍是情报分析领域讲授最广的著作之一。此后,ACH从政府情报界扩展到竞争情报、调查、网络安全和企业战略。

我职业生涯的大部分时间都在使用ACH,既用于为企业做竞争情报,也用于我们自己发布的情报产品。本文解释这一方法,演示一个实例,并梳理研究对其何时有用、何时无用的结论。

概览

  • ACH把证据同时与所有假设对照,而不只是与最看好的那个对照。
  • 它寻找能否定假设的证据,而不是支持假设的证据。一个确凿的不一致就能排除一个假设;一堆一致的证据却无法证明任何假设。
  • 关键在于有诊断性的证据。与所有假设都相符的证据,几乎什么也说明不了。
  • 产出是一份排序加一份观察清单:哪些解释能站住,以及未来出现哪些迹象会改变答案。
  • 它不是灵丹妙药。实验表明,ACH有助于理清思路,但不会自动消除偏差。它在严谨的流程中效果最好。

ACH为何存在:直觉式分析的问题

分析问题最自然的方式,是早早形成看法,然后为它收集证据。这感觉很严谨,实际上却是在辩护,聪明人正是这样说服自己犯下自信满满的错误。

问题在于确认偏差。大多数证据都与不止一种解释相符,所以一个执意的分析员总能为自己已经偏爱的答案找到支持。霍耶尔的洞见是:对策必须是程序性的。了解偏差并不能让你免于偏差;只有迫使你考虑其他可能的结构才能做到。更全面的列表见认知偏差指南(英文)。

美国情报界此后将这一理念写入了正式标准。为整个情报界设定分析标准的指令ICD 203要求分析员纳入对替代可能性的分析(ODNI, ICD 203)。

ACH的八个步骤

霍耶尔将ACH描述为一个八步程序(Heuer, 第8章)。简单地说:

  1. 列出假设。集思广益,列出所有合理的解释,最好与看问题角度不同的人一起进行。把你不喜欢的假设也列进去。
  2. 列出证据和论据。包括事实、报告、前提和逻辑论证,既要注意有什么,也要注意缺少什么。
  3. 建立矩阵。假设放在顶部,证据放在侧边。对每个单元格,问该证据与该假设是一致、不一致还是无关。
  4. 精简矩阵。改写或合并假设,删去无助于区分假设的证据。
  5. 得出初步结论。沿每个假设的那一列向下寻找不一致之处。最可能的假设通常不是支持证据最多的那个,而是反对证据最少的那个。
  6. 检验敏感性。问一问你的结论真正依赖的是哪几项证据,如果其中任何一项是错误的、误导性的或被人刻意安排的,结论会怎样。
  7. 报告结论,包括每个假设的相对可能性,而不只是胜出的那个。
  8. 设定里程碑。写明哪些未来的观察结果会提示事态正在朝另一个方向发展。
ACH矩阵示例:用四项证据检验四个假设,并统计不一致之处
实例的ACH矩阵。最引人注目的证据,即招聘信息,与所有假设都相符,什么也决定不了。

核心概念:诊断性

ACH中最有用的概念是诊断性。如果一项证据有助于区分各个假设,它就具有诊断性。与所有假设都一致的证据,可能让人觉得它有力地支持了你偏爱的假设,但它并不能帮助你做出选择。

这颠覆了大多数机构解读信息的方式。管理者往往根据证据是否醒目、是否最新、是否权威来衡量它。ACH提出的是另一个问题:这项证据是否让某个假设变得不那么可能?如果不是,无论它看起来多么令人印象深刻,都把它放到一边。

一个实例

假设一家竞争对手在过去两个月里发布了十几个电池工程师职位。管理层想知道这意味着什么。四个假设:

  • H1:该竞争对手正在建立自己的电池产品线。
  • H2:它正在把外包的部件收回自制,以降低成本。
  • H3:它正准备收购一家电池初创企业,并在交易前提前招人。
  • H4:这是正常的人员流动,招聘信息说明不了什么。

再看证据:

  • 招聘信息本身与四个假设都相符,完全无法区分。
  • 招聘岗位集中在电池包装配和供应商质量,而不是电芯化学研究。这与H1不一致,因为新的电池产品线需要化学家;也与H4不一致,因为集中在单一职能的招聘潮不是正常流动。它与H2相符。
  • 该竞争对手的主要供应商最近提价。与H2一致,对其他假设则说明不了什么。
  • 公开披露文件和行业媒体中都看不到融资动向或收购传闻。这与H3不一致。

最引人注目的证据,即招聘潮,结果诊断性最低。真正起作用的是不起眼的细节:招的是哪些岗位,还发生了什么。H2没有任何不一致,得以保留。需要关注的里程碑是:供应合同的变化、工厂许可,以及任何会让H3重新成立的新融资。

关于ACH,研究怎么说

ACH被广泛讲授,但证明它能改善判断的证据并不一致。

在2019年的一项实验中,曼迪普·达米、伊恩·贝尔顿和戴维·曼德尔将50名情报分析员随机分为两组,针对同一问题,一组使用ACH,一组不用。他们的结论是,情报界应当考虑ACH在哪些条件下有用,并探索替代方法(Dhami, Belton & Mandel, Applied Cognitive Psychology, 2019)。一篇对相关实验的综述指出,使用ACH的分析员在给出概率时有时不如不用ACH的分析员连贯,也更少利用基础比率信息(Karvetski, Mandel & Irwin, Judgment and Decision Making, 2020)。

同事们在白板前相互质疑彼此的推理,这是竞争性假设分析的一道检验

这并不意味着ACH没用,而是说明矩阵不能替代判断。根据我的经验,满足以下四个条件时,ACH才物有所值:

  • 各假设确实彼此不同,这样证据才能把它们区分开。
  • 先考虑基础比率:在类似情况下,每种解释最终被证实的频率有多高?
  • 由团队之外的人质疑假设清单,因为没有人写下的那个解释,恰恰是会让你意外的那个。
  • 真正持续监测里程碑,让分析在会议结束后依然有效。

这样使用时,ACH与其说是一台计算器,不如说是一种纪律:它让论证过程清晰可见,供他人检查。

ACH的定位

ACH属于结构化分析技术家族中的一员。它与以下方法搭配效果很好:

  • 情景规划(英文):用于有关未来的问题,而不是对当下的解释。
  • 评估预测(英文):用于评判他人的说法。
  • 事前验尸(premortem):假设计划已经失败,追问原因。
  • 前瞻文化(英文):如果机构不愿根据不受欢迎的答案采取行动,任何技术都无济于事。

常见问题

什么是竞争性假设分析?

ACH是由中央情报局分析员理查兹·霍耶尔提出的结构化分析技术。它把每项证据与每个假设对照,从而同时评估多种可能的解释,并倾向于反对证据最少的假设。

ACH是谁提出的?

长期担任中央情报局分析员的小理查兹·J·霍耶尔提出了ACH,并在其1999年的著作Psychology of Intelligence Analysis中作了阐述,该书由中央情报局情报研究中心(Center for the Study of Intelligence)出版。

ACH中的诊断性是什么?

诊断性指一项证据在多大程度上有助于区分各个假设。与所有假设都一致的证据,即使看起来有力地支持其中某一个,诊断性也很低。

ACH能消除确认偏差吗?

单靠它不能。针对情报分析员的实验结果不一。当各假设彼此不同、考虑了基础比率、并由外部人员质疑假设清单时,ACH的帮助最大。

企业可以使用ACH吗?

可以。ACH被用于竞争情报、调查、网络安全和战略,凡是团队必须在不完整证据的多种竞争性解释中做出选择的地方都适用。

与Competitive Futures合作

我们在竞争情报工作和发布的情报产品中使用包括ACH在内的结构化分析,并在高管培训和高级战略分析课程中讲授。如果你的团队要做的决定取决于能否正确解读不完整的证据,请预约20分钟的交流。

Competitive Futures相关分析

参考文献

  • Dhami, M. K., Belton, I. K., & Mandel, D. R. (2019). The “analysis of competing hypotheses” in intelligence analysis. Applied Cognitive Psychology, 33(6), 1080–1090. doi.org/10.1002/acp.3550
  • Heuer, R. J., Jr. (1999). Psychology of Intelligence Analysis, ch. 8. Center for the Study of Intelligence, CIA. cia.gov
  • Karvetski, C. W., Mandel, D. R., & Irwin, D. (2020). Coherence of probability judgments from uncertain evidence: Does ACH help? Judgment and Decision Making, 15(6), 939–958.
  • Office of the Director of National Intelligence (2015, amended 2022). Intelligence Community Directive 203: Analytic Standards. odni.gov