競合仮説分析(ACH):使い方と、うまくいかないとき

書類の山の上に置かれた虫眼鏡。競合仮説分析で証拠を比較検討する

英語版(English version)

競合仮説分析(ACH:Analysis of Competing Hypotheses)は、複数の説明のうちどれが証拠に最もよく合うかを判断するための構造化された手法である。お気に入りの答えを選んでその裏付けを集めるのではなく、ACHは考えうる仮説をすべて並べ、一つひとつの証拠をすべての仮説と同時に照らし合わせる。最後に残るのは証拠が否定できなかった答えであり、それは会議室で最初に有力視されていた答えでないことが多い。

ACHはCIAの分析官リチャーズ・ホイヤーが考案し、『Psychology of Intelligence Analysis』(1999年)で発表した。同書は今もインテリジェンス分析で最も広く教えられている本の一つである。ACHはその後、政府のインテリジェンスから、コンペティティブ・インテリジェンス、調査、サイバーセキュリティ、企業戦略へと広がった。

私はキャリアの大半でACHを使ってきた。企業向けのコンペティティブ・インテリジェンスでも、自社で発行するインテリジェンス・レポートでもである。本稿では手法を説明し、具体例を示し、どのような場合に役立ち、どのような場合に役立たないかについて研究が何を示しているかを整理する。

概要

  • ACHは証拠をすべての仮説と同時に照らし合わせる。有力な仮説とだけ照らし合わせるのではない。
  • 探すのは裏付ける証拠ではなく、否定する証拠である。確かな矛盾が一つあれば仮説を排除できるが、整合する証拠をいくら積み上げても仮説を証明することはできない。
  • 重要なのは診断性のある証拠である。すべての仮説に合う証拠からは、ほとんど何もわからない。
  • アウトプットは順位付けと監視リストである。どの説明が残るか、そして将来どのような兆候があれば答えが変わるか。
  • 魔法ではない。実験によれば、ACHは思考の整理には役立つが、バイアスを自動的に取り除くわけではない。規律あるプロセスの中で使ったときに最もよく機能する。

ACHが生まれた理由:直感的な分析の問題

問題を分析する自然なやり方は、早い段階で見解を固め、それを支える証拠を集めることだ。厳密に感じられるが、実際には弁護であり、賢い人々が自信満々の誤りに自分を言いくるめてしまうのはこうしてである。

問題は確証バイアスにある。証拠の大半は複数の説明と整合するので、意志の固い分析官は、すでに気に入っている答えの裏付けをいつでも見つけられる。ホイヤーの洞察は、対策は手続きでなければならないという点だった。バイアスを知っていても、それから身を守れるわけではない。代替案を検討せざるをえない仕組みがあって初めて守れる。より幅広い一覧は認知バイアスのガイド(英語)を参照。

米国のインテリジェンス・コミュニティはその後、この考え方を正式な基準に組み込んだ。コミュニティ全体の分析基準を定める指令ICD 203は、分析官に代替案の分析を取り入れることを求めている(ODNI, ICD 203)。

ACHの8つの手順

ホイヤーはACHを8段階の手順として示した(Heuer, 第8章)。平易に言えば次のとおりである。

  1. 仮説を列挙する。考えうる説明をすべて洗い出す。できれば問題を違う角度から見る人たちと一緒に行う。気に入らない仮説も含める。
  2. 証拠と論拠を列挙する。事実、報告、前提、論理的な論拠を含め、何が欠けているかにも、何があるかと同じように注意を払う。
  3. マトリクスを作る。仮説を横軸に、証拠を縦軸に置く。各マスについて、その証拠がその仮説と整合するか、矛盾するか、無関係かを問う。
  4. マトリクスを精査する。仮説を言い換えたり統合したりし、仮説を見分けるのに役立たない証拠は外す。
  5. 暫定的な結論を出す。仮説ごとに列を下へ見ていき、矛盾を探す。最も可能性の高い仮説は、たいてい裏付ける証拠が最も多い仮説ではなく、反する証拠が最も少ない仮説である。
  6. 感度を検証する。結論が実際にはどの少数の証拠に依拠しているのか、そしてそのいずれかが誤っていたり、誤解を招くものだったり、意図的に仕込まれたものだったりした場合にどうなるかを問う。
  7. 結論を報告する。勝った仮説だけでなく、すべての仮説の相対的な可能性を含める。
  8. マイルストーンを設定する。事態が別の方向に進んでいることを示す、将来の観察事項を挙げておく。
四つの仮説を四つの証拠と照らし合わせ、矛盾の数を数えたACHマトリクスの例
具体例のACHマトリクス。最も目を引く証拠である求人は、すべての仮説に合致し、何も決めない。

核心となる考え方:診断性

ACHで最も役に立つ概念は診断性である。証拠に診断性があるとは、それが仮説を見分けるのに役立つということだ。すべての仮説と整合する証拠は、お気に入りの仮説を強く支えているように感じられても、選ぶ助けにはならない。

これは多くの組織の情報の読み方を逆転させる。経営者は証拠を、どれだけ目を引くか、新しいか、権威があるかで重みづけしがちだ。ACHは別の問いを立てる。この証拠は、いずれかの仮説の可能性を下げるか?下げないなら、どれほど印象的に見えても脇に置く。

具体例

ある競合企業が過去2か月で、バッテリー技術者の求人を十数件出したとする。経営陣はそれが何を意味するのか知りたい。仮説は四つ。

  • H1:競合企業が自社のバッテリー製品ラインを立ち上げようとしている。
  • H2:コスト削減のため、外注していた部品を内製化しようとしている。
  • H3:バッテリー関連のスタートアップの買収を準備しており、取引に先立って人員を確保している。
  • H4:通常の人員入れ替わりであり、求人にはあまり意味がない。

次に証拠を見る。

  • 求人そのものは四つの仮説すべてに合う。まったく区別がつかない。
  • 募集職種はパック組立と調達先の品質管理であり、セル化学の研究ではない。これはH1と矛盾する。新しいバッテリー製品ラインには化学者が必要だからだ。H4とも矛盾する。一つの職種に集中した募集は通常の入れ替わりではないからだ。H2には合う。
  • 競合企業の主要な調達先が最近値上げした。H2と整合する。他の仮説については何も語らない。
  • 資金調達の動きも買収のうわさも、開示資料や業界紙に見当たらない。これはH3と矛盾する。

最も目を引く証拠である求人の急増は、診断性が最も低いことがわかる。決め手となるのは目立たない細部、つまりどの職種か、ほかに何が起きたかである。H2は矛盾ゼロで残る。今後注視すべきマイルストーンは、調達先との契約の変更、工場の許認可、そしてH3を再浮上させる新たな資金調達である。

ACHについて研究が示していること

ACHは広く教えられているが、判断の質を高めるという証拠は一様ではない。

2019年の実験で、マンディープ・ダミ、イアン・ベルトン、デビッド・マンデルは、50人のインテリジェンス分析官を、同じ問題についてACHを使うグループと使わないグループに無作為に割り振った。彼らは、インテリジェンス・コミュニティはACHが有用となる条件を検討し、代替手法を探るべきだと結論づけた(Dhami, Belton & Mandel, Applied Cognitive Psychology, 2019)。関連実験のレビューによれば、ACHを使った分析官は、使わなかった分析官に比べて確率の割り当ての一貫性が低い場合があり、基準率の情報を使う傾向も弱かった(Karvetski, Mandel & Irwin, Judgment and Decision Making, 2020)。

ホワイトボードの前で互いの推論に異を唱える同僚たち。競合仮説分析の歯止めとなる

だからといってACHが無用なわけではない。マトリクスは判断の代わりにはならない、ということだ。私の経験では、ACHが真価を発揮するのは次の四つの条件がそろったときである。

  • 仮説がはっきり異なっている。そうであれば、証拠で区別できる。
  • まず基準率を検討する。似た状況で、それぞれの説明が実際に正しかった頻度はどれくらいか。
  • チームの外の人が仮説リストに異を唱える。誰も書き出さなかった説明こそが、あなたを驚かせるからだ。
  • マイルストーンを実際に監視する。そうすれば、分析は会議の後も生き続ける。

このように使えば、ACHは計算機というより規律である。推論を目に見える形にし、他の人が検証できるようにする。

ACHの位置づけ

ACHは構造化分析手法の一つである。次の手法と組み合わせるとよく機能する。

  • シナリオ・プランニング(英語):現在の説明ではなく、将来に関する問いに。
  • 予測の評価(英語):他人の主張を判断するときに。
  • プレモーテム:計画がすでに失敗したと仮定し、その理由を問う。
  • フォーサイトの文化(英語):組織が歓迎されない答えに基づいて行動しないなら、どんな手法も役に立たないからだ。

よくある質問

競合仮説分析とは何か?

ACHは、CIAの分析官リチャーズ・ホイヤーが考案した構造化分析手法である。一つひとつの証拠をすべての仮説と照らし合わせることで複数の説明を同時に評価し、反する証拠が最も少ない仮説を有力とする。

ACHを考案したのは誰か?

長年CIAの分析官を務めたリチャーズ・J・ホイヤー・ジュニアがACHを考案し、CIAのインテリジェンス研究センター(Center for the Study of Intelligence)が1999年に刊行した著書『Psychology of Intelligence Analysis』で説明した。

ACHにおける診断性とは?

診断性とは、ある証拠が仮説同士を見分けるのにどれだけ役立つかを指す。すべての仮説と整合する証拠は、どれか一つを強く支えているように見えても、診断性が低い。

ACHで確証バイアスはなくなるか?

それだけではなくならない。インテリジェンス分析官を対象とした実験の結果はまちまちである。ACHが最も役立つのは、仮説がはっきり異なり、基準率が考慮され、外部の人が仮説リストに異を唱えるときである。

企業でもACHを使えるか?

使える。ACHはコンペティティブ・インテリジェンス、調査、サイバーセキュリティ、戦略など、チームが不完全な証拠に対する競合する説明の中から選ばなければならないあらゆる場面で使われている。

Competitive Futuresにご相談ください

私たちはACHを含む構造化分析を、コンペティティブ・インテリジェンスの業務と自社発行のインテリジェンス・レポートで用いており、エグゼクティブ教育と上級戦略分析講座で教えている。不完全な証拠を正しく読めるかどうかに左右される意思決定を控えているなら、20分間の面談をお申し込みいただきたい。

Competitive Futuresの関連分析

参考文献

  • Dhami, M. K., Belton, I. K., & Mandel, D. R. (2019). The “analysis of competing hypotheses” in intelligence analysis. Applied Cognitive Psychology, 33(6), 1080–1090. doi.org/10.1002/acp.3550
  • Heuer, R. J., Jr. (1999). Psychology of Intelligence Analysis, ch. 8. Center for the Study of Intelligence, CIA. cia.gov
  • Karvetski, C. W., Mandel, D. R., & Irwin, D. (2020). Coherence of probability judgments from uncertain evidence: Does ACH help? Judgment and Decision Making, 15(6), 939–958.
  • Office of the Director of National Intelligence (2015, amended 2022). Intelligence Community Directive 203: Analytic Standards. odni.gov