Analiza konkurencyjnych hipotez (ACH): jak jej używać i kiedy zawodzi

Lupa nad stosem dokumentów: ważenie dowodów w analizie konkurencyjnych hipotez

Wersja angielska (English version)

Analiza konkurencyjnych hipotez (ACH, od ang. Analysis of Competing Hypotheses) to ustrukturyzowana technika oceny, które z kilku wyjaśnień najlepiej pasuje do dowodów. Zamiast wybrać ulubioną odpowiedź i zbierać dla niej poparcie, ACH wykłada wszystkie rozsądne hipotezy i sprawdza każdy dowód wobec wszystkich naraz. Przetrwa ta odpowiedź, której dowody nie zdołały wykluczyć, i często nie jest to ta, od której zaczęła się dyskusja.

Analityk CIA Richards Heuer opracował ACH i opisał ją w książce Psychology of Intelligence Analysis (1999), która wciąż należy do najczęściej wykładanych pozycji z analizy wywiadowczej. Od tamtej pory ACH przeszła z wywiadu państwowego do wywiadu konkurencyjnego, dochodzeń, cyberbezpieczeństwa i strategii przedsiębiorstw.

Korzystam z ACH przez większość kariery, w wywiadzie konkurencyjnym dla firm i w naszych własnych publikacjach wywiadowczych. Ta strona wyjaśnia metodę, przechodzi przez przykład i omawia, co badania mówią o tym, kiedy pomaga, a kiedy nie.

W skrócie

  • ACH sprawdza dowody wobec każdej hipotezy naraz, a nie tylko wobec ulubionej.
  • Szuka dowodów obalających, a nie potwierdzających. Jedna solidna niezgodność może wyeliminować hipotezę; stos zgodnych dowodów nie udowodni żadnej.
  • Liczą się dowody diagnostyczne. Dowód pasujący do każdej hipotezy nie mówi prawie nic.
  • Wynikiem jest ranking i lista sygnałów do obserwacji: które wyjaśnienia przetrwały i jakie przyszłe znaki zmieniłyby odpowiedź.
  • To nie magia. Eksperymenty pokazują, że ACH może pomóc uporządkować myślenie, ale nie usuwa automatycznie błędów poznawczych. Najlepiej działa w ramach zdyscyplinowanego procesu.

Po co powstała ACH: problem z analizą intuicyjną

Naturalny sposób analizowania problemu to wcześnie wyrobić sobie zdanie, a potem zbierać dowody na jego poparcie. Wydaje się to rzetelne. W rzeczywistości to adwokatura i właśnie tak inteligentni ludzie wmawiają sobie pewne siebie błędy.

Problemem jest efekt potwierdzenia. Większość dowodów pasuje do więcej niż jednego wyjaśnienia, więc zdeterminowany analityk zawsze znajdzie poparcie dla odpowiedzi, którą już lubi. Heuer zrozumiał, że lekarstwo musi być proceduralne. Wiedza o błędach poznawczych nie chroni przed nimi; chroni struktura, która zmusza do rozważenia alternatyw. Szerszy katalog znajdziesz w przewodniku po błędach poznawczych (po angielsku).

Wspólnota wywiadowcza USA wpisała później tę ideę do swoich formalnych standardów. ICD 203, dyrektywa ustalająca standardy analityczne dla całej wspólnoty, wymaga od analityków uwzględniania analizy alternatyw (ODNI, ICD 203).

Osiem kroków ACH

Heuer opisał ACH jako procedurę w ośmiu krokach (Heuer, rozdz. 8). W prostych słowach:

  1. Wypisz hipotezy. Zbierz wszystkie rozsądne wyjaśnienia, najlepiej z osobami, które widzą problem inaczej. Uwzględnij te, których nie lubisz.
  2. Wypisz dowody i argumenty. Uwzględnij fakty, doniesienia, założenia i argumenty logiczne, i zwracaj uwagę na to, czego brakuje, tak samo jak na to, co jest.
  3. Zbuduj macierz. Hipotezy u góry, dowody z boku. Przy każdej komórce zapytaj, czy dany dowód jest zgodny, niezgodny czy bez znaczenia dla danej hipotezy.
  4. Dopracuj macierz. Przeformułuj lub połącz hipotezy i usuń dowody, które nie pomagają ich rozróżnić.
  5. Wyciągnij wstępne wnioski. Przejdź każdą kolumnę hipotezy w poszukiwaniu niezgodności. Najbardziej prawdopodobna hipoteza to zwykle ta, przeciw której jest najmniej dowodów, a nie ta, za którą jest ich najwięcej.
  6. Sprawdź wrażliwość. Zapytaj, na których kilku dowodach naprawdę opiera się twój wniosek i co się stanie, jeśli któryś z nich okaże się błędny, mylący lub celowo podrzucony.
  7. Przedstaw wnioski, łącznie ze względnym prawdopodobieństwem każdej hipotezy, a nie tylko zwycięskiej.
  8. Wyznacz kamienie milowe. Nazwij przyszłe obserwacje, które powiedzą ci, że wydarzenia idą w innym kierunku.
Przykładowa macierz ACH, w której cztery hipotezy sprawdzono wobec czterech dowodów i policzono niezgodności
Macierz ACH dla omawianego przykładu. Najbardziej rzucający się w oczy dowód, ogłoszenia o pracę, pasuje do każdej hipotezy i niczego nie rozstrzyga.

Kluczowa idea: diagnostyczność

Najbardziej przydatnym pojęciem w ACH jest diagnostyczność. Dowód jest diagnostyczny, jeśli pomaga odróżnić hipotezy od siebie. Dowód zgodny z każdą hipotezą może wydawać się mocnym poparciem dla twojej ulubionej, ale nie pomaga w wyborze.

To odwraca sposób, w jaki większość organizacji czyta informacje. Menedżerowie ważą dowody według tego, jak są wyraziste, świeże czy autorytatywne. ACH zadaje inne pytanie: czy ten dowód czyni którąś hipotezę mniej prawdopodobną? Jeśli nie, odłóż go na bok, choćby wyglądał imponująco.

Przykład krok po kroku

Załóżmy, że konkurent opublikował w ciągu ostatnich dwóch miesięcy kilkanaście ogłoszeń o pracę dla inżynierów od baterii. Zarząd chce wiedzieć, co to oznacza. Cztery hipotezy:

  • H1: Konkurent buduje własną linię produktów bateryjnych.
  • H2: Przenosi do siebie produkcję komponentu zlecanego na zewnątrz, by obniżyć koszty.
  • H3: Przygotowuje przejęcie start-upu bateryjnego i zatrudnia z wyprzedzeniem przed transakcją.
  • H4: To zwykła rotacja kadr, a ogłoszenia niewiele znaczą.

Teraz dowody:

  • Same ogłoszenia o pracę pasują do wszystkich czterech hipotez. Niczego nie rozróżniają.
  • Stanowiska dotyczą montażu pakietów i jakości dostawców, a nie badań nad chemią ogniw. To jest niezgodne z H1, bo nowa linia baterii wymagałaby chemików, i z H4, bo skoncentrowana fala w jednej funkcji nie jest zwykłą rotacją. Pasuje do H2.
  • Główny dostawca konkurenta niedawno podniósł ceny. Zgodne z H2; o pozostałych nic nie mówi.
  • Brak jakichkolwiek działań finansowych czy plotek o transakcji w dokumentach regulacyjnych i prasie branżowej. To jest niezgodne z H3.

Najbardziej rzucający się w oczy dowód, fala ogłoszeń, okazuje się najmniej diagnostyczny. Robotę wykonują dyskretne szczegóły: jakie stanowiska i co jeszcze się wydarzyło. H2 przetrwa bez żadnej niezgodności. Kamienie milowe do obserwacji: zmiany w umowach z dostawcami, pozwolenia na budowę zakładu i każde nowe finansowanie, które ożywiłoby H3.

Co mówią badania o ACH

ACH jest powszechnie wykładana, ale dowody na to, że poprawia trafność ocen, są niejednoznaczne.

W eksperymencie z 2019 r. Mandeep Dhami, Ian Belton i David Mandel losowo przydzielili 50 analityków wywiadu do grupy stosującej ACH i grupy jej niestosującej przy tym samym problemie. Uznali, że wspólnota wywiadowcza powinna rozważyć, w jakich warunkach ACH jest przydatna, i poszukać alternatyw (Dhami, Belton i Mandel, Applied Cognitive Psychology, 2019). Przegląd pokrewnych eksperymentów podaje, że analitycy stosujący ACH przypisywali niekiedy prawdopodobieństwa mniej spójnie niż ci, którzy jej nie stosowali, i rzadziej korzystali z częstości bazowych (Karvetski, Mandel i Irwin, Judgment and Decision Making, 2020).

Współpracownicy podważają nawzajem swoje rozumowanie przy tablicy, co stanowi kontrolę analizy konkurencyjnych hipotez

To nie czyni ACH bezużyteczną. Oznacza tylko, że macierz nie zastępuje osądu. Z mojego doświadczenia ACH się opłaca, gdy spełnione są cztery warunki:

  • Hipotezy są naprawdę różne, więc dowody mogą je rozdzielić.
  • Najpierw uwzględnia się częstości bazowe: jak często każde wyjaśnienie okazuje się prawdziwe w podobnych sytuacjach?
  • Ktoś spoza zespołu podważa listę hipotez, bo wyjaśnienie, którego nikt nie zapisał, to właśnie to, które cię zaskoczy.
  • Kamienie milowe są rzeczywiście monitorowane, więc analiza żyje dalej po spotkaniu.

Stosowana w ten sposób ACH jest nie tyle kalkulatorem, ile dyscypliną: czyni rozumowanie widocznym, aby inni mogli je sprawdzić.

Miejsce ACH

ACH należy do rodziny ustrukturyzowanych technik analitycznych. Dobrze współpracuje z:

  • Planowaniem scenariuszowym (po angielsku), przy pytaniach o przyszłość zamiast wyjaśnień teraźniejszości.
  • Oceną prognozy (po angielsku), gdy oceniasz twierdzenia kogoś innego.
  • Premortem, który zakłada, że plan już się nie powiódł, i pyta dlaczego.
  • Kulturą prognozowania (po angielsku), bo żadna technika nie pomoże, jeśli organizacja nie zechce działać na podstawie niewygodnej odpowiedzi.

Najczęściej zadawane pytania

Czym jest analiza konkurencyjnych hipotez?

ACH to ustrukturyzowana technika analityczna opracowana przez analityka CIA Richardsa Heuera. Ocenia kilka możliwych wyjaśnień naraz, sprawdzając każdy dowód wobec każdej hipotezy, i preferuje hipotezę, przeciw której przemawia najmniej dowodów.

Kto stworzył ACH?

Richards J. Heuer Jr., wieloletni analityk CIA, opracował ACH i opisał ją w książce Psychology of Intelligence Analysis z 1999 r., wydanej przez Center for the Study of Intelligence CIA.

Czym jest diagnostyczność w ACH?

Diagnostyczność to stopień, w jakim dowód pomaga rozróżnić hipotezy. Dowód zgodny z każdą hipotezą ma niską diagnostyczność, nawet jeśli wydaje się mocno popierać jedną z nich.

Czy ACH eliminuje efekt potwierdzenia?

Sama nie. Eksperymenty z udziałem analityków wywiadu dały niejednoznaczne wyniki. ACH pomaga najbardziej, gdy hipotezy są wyraźnie różne, uwzględnia się częstości bazowe, a osoby z zewnątrz podważają listę hipotez.

Czy firmy mogą stosować ACH?

Tak. ACH stosuje się w wywiadzie konkurencyjnym, dochodzeniach, cyberbezpieczeństwie i strategii, wszędzie tam, gdzie zespół musi wybrać spośród konkurencyjnych wyjaśnień niepełnych dowodów.

Współpraca z Competitive Futures

Stosujemy analizę ustrukturyzowaną, w tym ACH, w naszej pracy z zakresu wywiadu konkurencyjnego i w publikowanych produktach wywiadowczych, a także uczymy jej w ramach szkoleń dla kadry kierowniczej i naszego zaawansowanego kursu analizy strategicznej. Jeśli twój zespół podejmuje decyzję zależną od trafnego odczytania niepełnych dowodów, umów 20-minutową rozmowę.

Powiązane analizy Competitive Futures

Bibliografia

  • Dhami, M. K., Belton, I. K., & Mandel, D. R. (2019). The “analysis of competing hypotheses” in intelligence analysis. Applied Cognitive Psychology, 33(6), 1080–1090. doi.org/10.1002/acp.3550
  • Heuer, R. J., Jr. (1999). Psychology of Intelligence Analysis, ch. 8. Center for the Study of Intelligence, CIA. cia.gov
  • Karvetski, C. W., Mandel, D. R., & Irwin, D. (2020). Coherence of probability judgments from uncertain evidence: Does ACH help? Judgment and Decision Making, 15(6), 939–958.
  • Office of the Director of National Intelligence (2015, amended 2022). Intelligence Community Directive 203: Analytic Standards. odni.gov