Kilpailevien hypoteesien analyysi (ACH): miten sitä käytetään ja milloin se pettää

Suurennuslasi asiakirjapinon päällä: todisteiden punnitseminen kilpailevien hypoteesien analyysissa

Englanninkielinen versio (English version)

Kilpailevien hypoteesien analyysi (ACH, engl. Analysis of Competing Hypotheses) on strukturoitu menetelmä, jolla arvioidaan, mikä useista selityksistä sopii parhaiten todisteisiin. Sen sijaan, että valittaisiin mieluisin vastaus ja kerättäisiin sille tukea, ACH asettaa kaikki järkevät hypoteesit rinnakkain ja vertaa jokaista todistetta kaikkiin samanaikaisesti. Jäljelle jää vastaus, jota todisteet eivät pysty sulkemaan pois, eikä se useinkaan ole se, josta kokous lähti liikkeelle.

CIA:n analyytikko Richards Heuer kehitti ACH:n ja julkaisi sen teoksessa Psychology of Intelligence Analysis (1999), joka on yhä yksi tiedusteluanalyysin opetetuimmista kirjoista. Sittemmin ACH on levinnyt valtion tiedustelusta kilpailijatiedusteluun, tutkintaan, kyberturvallisuuteen ja yritysstrategiaan.

Olen käyttänyt ACH:ta suurimman osan urastani, kilpailijatiedustelussa yrityksille ja omissa julkaistuissa tiedustelutuotteissamme. Tämä sivu selittää menetelmän, käy läpi esimerkin ja kokoaa, mitä tutkimus sanoo siitä, milloin se auttaa ja milloin ei.

Lyhyesti

  • ACH vertaa todisteita kaikkiin hypoteeseihin samanaikaisesti, ei vain suosikkiin.
  • Se etsii kumoavia todisteita, ei tukevia. Yksi vankka ristiriita voi pudottaa hypoteesin pois; kasa yhteensopivia todisteita ei voi todistaa yhtäkään.
  • Ratkaisevia ovat diagnostiset todisteet. Todiste, joka sopii jokaiseen hypoteesiin, ei kerro juuri mitään.
  • Tuloksena on järjestys ja seurantalista: mitkä selitykset jäävät jäljelle ja mitkä tulevat merkit muuttaisivat vastauksen.
  • Se ei ole taikaa. Kokeet osoittavat, että ACH voi auttaa jäsentämään ajattelua mutta ei automaattisesti poista vinoumia. Se toimii parhaiten kurinalaisen prosessin osana.

Miksi ACH on olemassa: intuitiivisen analyysin ongelma

Luonteva tapa analysoida kysymystä on muodostaa kanta varhain ja kerätä sitten todisteita sen tueksi. Se tuntuu perusteelliselta. Todellisuudessa se on asianajoa, ja juuri näin fiksut ihmiset päätyvät itsevarmoihin virheisiin.

Ongelma on vahvistusvinouma. Useimmat todisteet sopivat useampaan kuin yhteen selitykseen, joten määrätietoinen analyytikko löytää aina tukea vastaukselle, josta hän jo pitää. Heuerin oivallus oli, että lääkkeen on oltava menettelytapa. Vinoumien tunteminen ei suojaa niiltä; rakenne, joka pakottaa harkitsemaan vaihtoehtoja, suojaa. Laajempi luettelo löytyy kognitiivisten vinoumien oppaasta (englanniksi).

Yhdysvaltain tiedusteluyhteisö on sittemmin kirjannut ajatuksen virallisiin standardeihinsa. Koko yhteisön analyysistandardit määrittävä direktiivi ICD 203 edellyttää, että analyytikot sisällyttävät työhönsä vaihtoehtojen analyysin (ODNI, ICD 203).

ACH:n kahdeksan vaihetta

Heuer kuvasi ACH:n kahdeksanvaiheiseksi menettelyksi (Heuer, luku 8). Yksinkertaisesti:

  1. Listaa hypoteesit. Ideoi kaikki järkevät selitykset, mieluiten ihmisten kanssa, jotka näkevät ongelman toisin. Ota mukaan myös ne, joista et pidä.
  2. Listaa todisteet ja perustelut. Ota mukaan tosiasiat, raportit, oletukset ja loogiset perustelut, ja kiinnitä huomiota siihen, mitä puuttuu, yhtä lailla kuin siihen, mitä on.
  3. Rakenna matriisi. Hypoteesit ylös, todisteet sivulle. Kysy jokaisen ruudun kohdalla, onko todiste hypoteesin kanssa yhteensopiva, ristiriitainen vai merkityksetön.
  4. Hio matriisia. Muotoile hypoteeseja uudelleen tai yhdistä niitä, ja poista todisteet, jotka eivät auta erottamaan hypoteeseja toisistaan.
  5. Tee alustavat johtopäätökset. Käy jokainen hypoteesisarake läpi ja etsi ristiriitoja. Todennäköisin hypoteesi on yleensä se, jota vastaan on vähiten todisteita, ei se, jonka puolesta on eniten.
  6. Testaa herkkyys. Kysy, mihin muutamaan todisteeseen johtopäätöksesi todella nojaa, ja mitä tapahtuu, jos jokin niistä on väärä, harhaanjohtava tai tarkoituksella istutettu.
  7. Raportoi johtopäätökset, myös jokaisen hypoteesin suhteellinen todennäköisyys, ei vain voittajan.
  8. Aseta virstanpylväät. Nimeä tulevat havainnot, jotka kertoisivat, että tapahtumat ovat kääntymässä toiseen suuntaan.
Esimerkki ACH-matriisista, jossa neljää hypoteesia verrataan neljään todisteeseen ja ristiriidat lasketaan
ACH-matriisi esimerkille. Silmiinpistävin todiste, työpaikkailmoitukset, sopii jokaiseen hypoteesiin eikä ratkaise mitään.

Ydinajatus: diagnostisuus

ACH:n hyödyllisin käsite on diagnostisuus. Todiste on diagnostinen, jos se auttaa erottamaan hypoteesit toisistaan. Todiste, joka sopii kaikkiin hypoteeseihin, voi tuntua vahvalta tuelta suosikillesi, mutta se ei auta valitsemaan.

Tämä kääntää ylösalaisin sen, miten useimmat organisaatiot lukevat tietoa. Johtajat painottavat todisteita usein sen mukaan, kuinka näyttäviä, tuoreita tai arvovaltaisia ne ovat. ACH kysyy toisin: tekeekö tämä todiste jostakin hypoteesista epätodennäköisemmän? Jos ei, siirrä se sivuun, vaikka se näyttäisi kuinka vaikuttavalta.

Esimerkki

Oletetaan, että kilpailija on julkaissut kahden viime kuukauden aikana tusinan verran ilmoituksia akkuinsinöörien työpaikoista. Johto haluaa tietää, mitä se tarkoittaa. Neljä hypoteesia:

  • H1: Kilpailija rakentaa omaa akkutuotelinjaansa.
  • H2: Se ottaa ulkoistetun komponentin omaksi tuotannokseen kustannusten leikkaamiseksi.
  • H3: Se valmistelee akkualan startup-yrityksen ostoa ja rekrytoi ennen kauppaa.
  • H4: Kyse on tavallisesta henkilöstön vaihtuvuudesta, eivätkä ilmoitukset merkitse paljoa.

Sitten todisteet:

  • Itse työpaikkailmoitukset sopivat kaikkiin neljään hypoteesiin. Ne eivät erottele mitään.
  • Tehtävät koskevat akkupakkojen kokoonpanoa ja toimittajien laatua, eivät kennokemian tutkimusta. Se on ristiriidassa H1:n kanssa, koska uusi akkulinja vaatisi kemistejä, ja H4:n kanssa, koska yhteen toimintoon keskittynyt aalto ei ole tavallista vaihtuvuutta. Se sopii H2:een.
  • Kilpailijan päätoimittaja nosti hiljattain hintojaan. Yhteensopiva H2:n kanssa; muista se ei kerro mitään.
  • Rahoitusjärjestelyistä tai kauppahuhuista ei näy merkkejä julkisissa asiakirjoissa eikä alan lehdistössä. Se on ristiriidassa H3:n kanssa.

Silmiinpistävin todiste, ilmoitusten aalto, osoittautuu vähiten diagnostiseksi. Työn tekevät huomaamattomat yksityiskohdat: mitkä tehtävät ja mitä muuta tapahtui. H2 säilyy ilman ristiriitoja. Seurattavat virstanpylväät: muutokset toimitussopimuksiin, tehdasluvat ja kaikki uusi rahoitus, joka herättäisi H3:n henkiin.

Mitä tutkimus kertoo ACH:sta

ACH:ta opetetaan laajasti, mutta näyttö sen arvostelukykyä parantavasta vaikutuksesta on ristiriitaista.

Vuoden 2019 kokeessa Mandeep Dhami, Ian Belton ja David Mandel jakoivat 50 tiedusteluanalyytikkoa satunnaisesti käyttämään tai olemaan käyttämättä ACH:ta saman ongelman ratkaisussa. He päättelivät, että tiedusteluyhteisön tulisi pohtia, millä edellytyksillä ACH on hyödyllinen, ja tutkia vaihtoehtoja (Dhami, Belton & Mandel, Applied Cognitive Psychology, 2019). Katsaus vastaaviin kokeisiin kertoo, että ACH:ta käyttäneet analyytikot antoivat joskus todennäköisyyksiä vähemmän johdonmukaisesti kuin ne, jotka eivät käyttäneet sitä, ja hyödynsivät harvemmin perustasotietoa (Karvetski, Mandel & Irwin, Judgment and Decision Making, 2020).

Kollegat haastavat toistensa päättelyä valkotaulun ääressä, mikä on kilpailevien hypoteesien analyysin tarkistuskeino

Se ei tee ACH:sta hyödytöntä. Se tarkoittaa, ettei matriisi korvaa harkintaa. Kokemukseni mukaan ACH on vaivan arvoinen, kun neljä ehtoa täyttyy:

  • Hypoteesit ovat aidosti erilaisia, jotta todisteet voivat erottaa ne toisistaan.
  • Perustasot otetaan huomioon ensin: kuinka usein kukin selitys osoittautuu oikeaksi vastaavissa tilanteissa?
  • Joku tiimin ulkopuolinen haastaa hypoteesilistan, koska selitys, jota kukaan ei kirjoittanut ylös, on se, joka yllättää sinut.
  • Virstanpylväitä todella seurataan, jotta analyysi pysyy elossa kokouksen jälkeen.

Näin käytettynä ACH on vähemmän laskin kuin kurinalaisuuden muoto: se tekee päättelyn näkyväksi, jotta muut voivat tarkistaa sen.

ACH:n paikka

ACH kuuluu strukturoitujen analyysimenetelmien perheeseen. Se toimii hyvin yhdessä seuraavien kanssa:

  • Skenaariosuunnittelu (englanniksi): kysymyksiin tulevaisuudesta nykyhetken selitysten sijaan.
  • Ennusteen arviointi (englanniksi): kun arvioit jonkun toisen väitteitä.
  • Premortem: oletetaan, että suunnitelma on jo epäonnistunut, ja kysytään miksi.
  • Ennakointikulttuuri (englanniksi): mikään menetelmä ei auta, jos organisaatio ei toimi epämieluisan vastauksen pohjalta.

Usein kysyttyä

Mitä on kilpailevien hypoteesien analyysi?

ACH on CIA:n analyytikon Richards Heuerin kehittämä strukturoitu analyysimenetelmä. Se arvioi useita mahdollisia selityksiä samanaikaisesti vertaamalla jokaista todistetta jokaiseen hypoteesiin ja suosii hypoteesia, jota vastaan on vähiten todisteita.

Kuka kehitti ACH:n?

Pitkäaikainen CIA:n analyytikko Richards J. Heuer Jr. kehitti ACH:n ja kuvasi sen vuonna 1999 ilmestyneessä kirjassaan Psychology of Intelligence Analysis, jonka julkaisi CIA:n Center for the Study of Intelligence.

Mitä on diagnostisuus ACH:ssa?

Diagnostisuus kuvaa, kuinka hyvin todiste auttaa erottamaan hypoteeseja toisistaan. Todisteella, joka sopii kaikkiin hypoteeseihin, on matala diagnostisuus, vaikka se näyttäisi tukevan voimakkaasti yhtä niistä.

Poistaako ACH vahvistusvinouman?

Ei yksinään. Tiedusteluanalyytikoilla tehdyt kokeet ovat tuottaneet ristiriitaisia tuloksia. ACH auttaa eniten, kun hypoteesit ovat erilaisia, perustasot otetaan huomioon ja ulkopuoliset haastavat hypoteesilistan.

Voivatko yritykset käyttää ACH:ta?

Voivat. ACH:ta käytetään kilpailijatiedustelussa, tutkinnassa, kyberturvallisuudessa ja strategiassa, kaikkialla, missä tiimin on valittava puutteellisten todisteiden kilpailevien selitysten välillä.

Yhteistyö Competitive Futuresin kanssa

Käytämme strukturoitua analyysia, myös ACH:ta, kilpailijatiedustelutyössämme ja julkaisemissamme tiedustelutuotteissa, ja opetamme sitä johdon koulutuksessa ja strategisen analyysin syventävällä kurssillamme. Jos tiimilläsi on edessään päätös, joka riippuu puutteellisten todisteiden oikeasta tulkinnasta, varaa 20 minuutin keskustelu.

Lisää analyysejä Competitive Futuresilta

Lähteet

  • Dhami, M. K., Belton, I. K., & Mandel, D. R. (2019). The “analysis of competing hypotheses” in intelligence analysis. Applied Cognitive Psychology, 33(6), 1080–1090. doi.org/10.1002/acp.3550
  • Heuer, R. J., Jr. (1999). Psychology of Intelligence Analysis, ch. 8. Center for the Study of Intelligence, CIA. cia.gov
  • Karvetski, C. W., Mandel, D. R., & Irwin, D. (2020). Coherence of probability judgments from uncertain evidence: Does ACH help? Judgment and Decision Making, 15(6), 939–958.
  • Office of the Director of National Intelligence (2015, amended 2022). Intelligence Community Directive 203: Analytic Standards. odni.gov