경쟁가설분석(ACH): 사용법, 그리고 실패하는 경우

서류 더미 위의 돋보기. 경쟁가설분석에서 증거를 저울질한다

영어판 (English version)

경쟁가설분석(ACH, Analysis of Competing Hypotheses)은 여러 설명 가운데 어느 것이 증거에 가장 잘 맞는지 판단하는 구조화된 기법이다. 마음에 드는 답을 고른 뒤 그 근거를 모으는 대신, ACH는 합리적인 가설을 모두 펼쳐 놓고 각 증거를 모든 가설과 한꺼번에 대조한다. 끝까지 살아남는 답은 증거가 배제하지 못한 답이며, 회의실에서 처음 유력했던 답이 아닌 경우가 많다.

CIA 분석관 리처즈 휴어가 ACH를 고안해 『Psychology of Intelligence Analysis』(1999)에서 발표했다. 이 책은 지금도 정보 분석 분야에서 가장 널리 가르치는 책 가운데 하나다. 이후 ACH는 정부 정보기관에서 경쟁정보, 조사, 사이버보안, 기업 전략으로 퍼져 나갔다.

나는 경력의 대부분 동안 ACH를 써 왔다. 기업을 위한 경쟁정보 업무에서도, 우리가 발행하는 정보 보고서에서도 그렇다. 이 글은 방법을 설명하고, 예시를 따라가 보고, 언제 도움이 되고 언제 그렇지 않은지에 대해 연구가 무엇을 말하는지 정리한다.

한눈에 보기

  • ACH는 증거를 모든 가설과 한꺼번에 대조한다. 유력한 가설 하나와만 대조하지 않는다.
  • 뒷받침하는 증거가 아니라 반증하는 증거를 찾는다. 확실한 불일치 하나로 가설을 배제할 수 있지만, 들어맞는 증거를 아무리 쌓아도 가설을 증명할 수는 없다.
  • 중요한 것은 진단성 있는 증거다. 모든 가설에 들어맞는 증거는 거의 아무것도 알려 주지 않는다.
  • 결과물은 순위와 감시 목록이다. 어떤 설명이 살아남는지, 그리고 앞으로 어떤 징후가 나타나면 답이 바뀌는지.
  • 마법이 아니다. 실험에 따르면 ACH는 생각을 정리하는 데 도움이 되지만 편향을 저절로 없애 주지는 않는다. 규율 있는 과정 안에서 쓸 때 가장 잘 작동한다.

ACH가 생겨난 이유: 직관적 분석의 문제

문제를 분석하는 자연스러운 방법은 일찍 견해를 정한 뒤 그것을 뒷받침하는 증거를 모으는 것이다. 엄밀하게 느껴지지만 실제로는 변론이며, 똑똑한 사람들이 자신만만한 실수로 스스로를 몰아가는 방식이 바로 이것이다.

문제는 확증 편향이다. 증거 대부분은 둘 이상의 설명과 들어맞기 때문에, 작정한 분석관은 이미 마음에 둔 답의 근거를 언제든 찾아낼 수 있다. 휴어의 통찰은 해법이 절차여야 한다는 것이었다. 편향을 안다고 해서 편향에서 보호받는 것은 아니다. 대안을 검토하도록 강제하는 구조가 있어야 보호받는다. 더 폭넓은 목록은 인지 편향 안내서(영어)를 참고하라.

미국 정보공동체는 이후 이 생각을 공식 기준에 담았다. 정보공동체 전체의 분석 기준을 정하는 지침 ICD 203은 분석관에게 대안 분석을 반영하도록 요구한다(ODNI, ICD 203).

ACH의 8단계

휴어는 ACH를 8단계 절차로 설명했다(Heuer, 8장). 쉽게 풀면 다음과 같다.

  1. 가설을 나열한다. 합리적인 설명을 모두 떠올린다. 가능하면 문제를 다르게 보는 사람들과 함께 한다. 마음에 들지 않는 가설도 넣는다.
  2. 증거와 논거를 나열한다. 사실, 보고, 전제, 논리적 논거를 넣고, 무엇이 있는지만큼 무엇이 없는지에도 주목한다.
  3. 매트릭스를 만든다. 가설은 위쪽에, 증거는 옆쪽에 둔다. 칸마다 그 증거가 그 가설과 일치하는지, 불일치하는지, 무관한지 묻는다.
  4. 매트릭스를 다듬는다. 가설을 고쳐 쓰거나 합치고, 가설을 구별하는 데 도움이 되지 않는 증거는 뺀다.
  5. 잠정 결론을 내린다. 가설별로 열을 따라 내려가며 불일치를 찾는다. 가장 가능성 높은 가설은 대개 뒷받침하는 증거가 가장 많은 가설이 아니라 반하는 증거가 가장 적은 가설이다.
  6. 민감도를 시험한다. 결론이 실제로 어떤 소수의 증거에 기대고 있는지, 그리고 그중 하나가 틀렸거나 오해를 부르거나 의도적으로 심어진 것이라면 어떻게 되는지 묻는다.
  7. 결론을 보고한다. 이긴 가설만이 아니라 모든 가설의 상대적 가능성을 함께 담는다.
  8. 이정표를 정한다. 사태가 다른 방향으로 흘러가고 있음을 알려 줄 미래의 관찰 사항을 적어 둔다.
네 가지 가설을 네 가지 증거와 대조하고 불일치 수를 센 ACH 매트릭스 예시
예시에 대한 ACH 매트릭스. 가장 눈에 띄는 증거인 채용 공고는 모든 가설에 들어맞아 아무것도 결정하지 못한다.

핵심 개념: 진단성

ACH에서 가장 유용한 개념은 진단성이다. 증거가 가설들을 구별하는 데 도움이 되면 진단성이 있다. 모든 가설과 들어맞는 증거는 마음에 둔 가설을 강하게 뒷받침하는 것처럼 느껴져도 선택에는 도움이 되지 않는다.

이는 대부분의 조직이 정보를 읽는 방식을 뒤집는다. 경영진은 증거를 얼마나 눈에 띄는지, 최근인지, 권위가 있는지로 저울질하는 경향이 있다. ACH는 다른 질문을 던진다. 이 증거가 어느 가설의 가능성을 낮추는가? 그렇지 않다면, 아무리 인상적으로 보여도 제쳐 두라.

예시

한 경쟁사가 지난 두 달 동안 배터리 엔지니어 채용 공고를 열두 건 냈다고 하자. 경영진은 그 의미를 알고 싶어 한다. 가설은 네 가지다.

  • H1: 경쟁사가 자체 배터리 제품군을 만들고 있다.
  • H2: 비용을 줄이기 위해 외주하던 부품을 내재화하고 있다.
  • H3: 배터리 스타트업 인수를 준비하며 거래에 앞서 인력을 채우고 있다.
  • H4: 일상적인 인력 교체이며 채용 공고에는 큰 의미가 없다.

이제 증거를 보자.

  • 채용 공고 자체는 네 가설 모두에 들어맞는다. 전혀 구별해 주지 못한다.
  • 채용 직무는 팩 조립과 공급업체 품질 관리이지, 셀 화학 연구가 아니다. 이는 H1과 불일치한다. 새 배터리 제품군에는 화학자가 필요하기 때문이다. H4와도 불일치한다. 한 직무에 몰린 집중 채용은 일상적인 교체가 아니기 때문이다. H2와는 들어맞는다.
  • 경쟁사의 주요 공급업체가 최근 가격을 올렸다. H2와 일치하며, 다른 가설에 대해서는 아무것도 말하지 않는다.
  • 자금 조달 움직임이나 인수 소문이 공시 자료나 업계 언론에 보이지 않는다. 이는 H3와 불일치한다.

가장 눈에 띄는 증거인 채용 공고의 급증은 진단성이 가장 낮은 것으로 드러난다. 일을 하는 것은 조용한 세부 사항, 곧 어떤 직무인지, 그 밖에 무엇이 일어났는지다. H2는 불일치 없이 살아남는다. 지켜볼 이정표는 공급 계약의 변화, 공장 인허가, 그리고 H3를 되살릴 새로운 자금 조달이다.

ACH에 대해 연구가 말하는 것

ACH는 널리 가르쳐지지만, 판단을 개선한다는 증거는 엇갈린다.

2019년 실험에서 맨디프 다미, 이언 벨턴, 데이비드 맨델은 정보 분석관 50명을 같은 문제에 대해 ACH를 쓰는 집단과 쓰지 않는 집단에 무작위로 배정했다. 이들은 정보공동체가 ACH가 유용한 조건을 검토하고 대안을 모색해야 한다고 결론지었다(Dhami, Belton & Mandel, Applied Cognitive Psychology, 2019). 관련 실험을 검토한 연구에 따르면, ACH를 쓴 분석관은 쓰지 않은 분석관보다 확률을 덜 일관되게 부여하는 경우가 있었고 기저율 정보를 활용할 가능성도 낮았다(Karvetski, Mandel & Irwin, Judgment and Decision Making, 2020).

화이트보드 앞에서 서로의 추론에 이의를 제기하는 동료들. 경쟁가설분석의 견제 장치다

그렇다고 ACH가 쓸모없다는 뜻은 아니다. 매트릭스가 판단을 대신하지 못한다는 뜻이다. 내 경험으로는 다음 네 가지 조건이 갖춰질 때 ACH가 제값을 한다.

  • 가설들이 분명히 다르다. 그래야 증거로 구별할 수 있다.
  • 기저율을 먼저 검토한다. 이와 비슷한 상황에서 각 설명이 실제로 맞았던 경우는 얼마나 되는가?
  • 팀 밖의 누군가가 가설 목록에 이의를 제기한다. 아무도 적지 않은 설명이 당신을 놀라게 하는 설명이기 때문이다.
  • 이정표를 실제로 감시한다. 그래야 분석이 회의 뒤에도 살아 있다.

이렇게 쓰면 ACH는 계산기라기보다 규율이다. 논증을 눈에 보이게 만들어 다른 사람이 점검할 수 있게 한다.

ACH의 자리

ACH는 구조화 분석 기법의 한 갈래다. 다음 기법과 함께 쓰면 잘 작동한다.

  • 시나리오 플래닝(영어): 현재에 대한 설명이 아니라 미래에 관한 질문에.
  • 예측 평가(영어): 다른 사람의 주장을 판단할 때.
  • 프리모템: 계획이 이미 실패했다고 가정하고 그 이유를 묻는다.
  • 미래 예측 문화(영어): 조직이 달갑지 않은 답에 따라 행동하지 않는다면 어떤 기법도 소용이 없기 때문이다.

자주 묻는 질문

경쟁가설분석이란 무엇인가?

ACH는 CIA 분석관 리처즈 휴어가 고안한 구조화 분석 기법이다. 각 증거를 모든 가설과 대조해 여러 설명을 한꺼번에 평가하고, 반하는 증거가 가장 적은 가설을 유력하게 본다.

ACH는 누가 만들었나?

오랫동안 CIA 분석관으로 일한 리처즈 J. 휴어 주니어가 ACH를 고안했고, CIA 정보연구센터(Center for the Study of Intelligence)가 1999년 펴낸 저서 Psychology of Intelligence Analysis에서 설명했다.

ACH에서 진단성이란 무엇인가?

진단성은 어떤 증거가 가설들을 얼마나 잘 구별해 주는지를 말한다. 모든 가설과 들어맞는 증거는 그중 하나를 강하게 뒷받침하는 것처럼 보여도 진단성이 낮다.

ACH로 확증 편향이 사라지나?

그것만으로는 아니다. 정보 분석관을 대상으로 한 실험 결과는 엇갈렸다. ACH는 가설이 분명히 다르고, 기저율을 고려하며, 외부인이 가설 목록에 이의를 제기할 때 가장 도움이 된다.

기업도 ACH를 쓸 수 있나?

그렇다. ACH는 경쟁정보, 조사, 사이버보안, 전략 등 팀이 불완전한 증거를 두고 경쟁하는 설명 가운데 하나를 골라야 하는 모든 곳에서 쓰인다.

Competitive Futures와 함께하기

우리는 ACH를 비롯한 구조화 분석을 경쟁정보 업무와 우리가 발행하는 정보 보고서에 쓰고, 경영자 교육과 고급 전략 분석 과정에서 가르친다. 불완전한 증거를 제대로 읽느냐에 달린 결정을 앞두고 있다면 20분 상담을 신청하라.

Competitive Futures의 관련 분석

참고 문헌

  • Dhami, M. K., Belton, I. K., & Mandel, D. R. (2019). The “analysis of competing hypotheses” in intelligence analysis. Applied Cognitive Psychology, 33(6), 1080–1090. doi.org/10.1002/acp.3550
  • Heuer, R. J., Jr. (1999). Psychology of Intelligence Analysis, ch. 8. Center for the Study of Intelligence, CIA. cia.gov
  • Karvetski, C. W., Mandel, D. R., & Irwin, D. (2020). Coherence of probability judgments from uncertain evidence: Does ACH help? Judgment and Decision Making, 15(6), 939–958.
  • Office of the Director of National Intelligence (2015, amended 2022). Intelligence Community Directive 203: Analytic Standards. odni.gov