När du utför ett test av betydelse eller hypotest, finns det två nummer som är lätta att förväxla. Dessa siffror är lätt förvirrade eftersom de båda är siffror mellan noll och ett, och är båda sannolikheter. Ett nummer kallas teststatistikens p-värde. Det andra antalet intressen är nivån på betydelse eller alfa. Vi kommer att undersöka dessa två sannolikheter och bestämma skillnaden mellan dem.
Siffran alfa är tröskelvärdet som vi mäter p-värden mot. Det berättar hur extremt observerade resultat måste vara för att avvisa nollhypotesen om ett signifikantest.
Värdet på alfa är associerat med konfidensnivån i vårt test. Följande listar vissa nivåer av förtroende med deras relaterade värden för alfa:
Även om i teori och praktik många siffror kan användas för alfa, är det vanligaste 0,05. Anledningen till detta är både för att konsensus visar att denna nivå är lämplig i många fall, och historiskt sett har den accepterats som standarden. Det finns dock många situationer då ett mindre alfavärde ska användas. Det finns inte ett enda alfavärde som alltid bestämmer statistisk betydelse.
Alfavärdet ger oss sannolikheten för ett typ I-fel. Typ I-fel uppstår när vi avvisar en nollhypotes som faktiskt är sant. Således på lång sikt, för ett test med en betydelse av 0,05 = 1/20, kommer en sann nollhypotes att avvisas en av var 20 gånger.
Det andra numret som ingår i ett test av betydelse är ett p-värde. Ett p-värde är också en sannolikhet, men det kommer från en annan källa än alfa. Varje teststatistik har motsvarande sannolikhet eller p-värde. Detta värde är sannolikheten för att den observerade statistiken inträffade enbart av en slump, förutsatt att nollhypotesen är sann.
Eftersom det finns ett antal olika teststatistik finns det ett antal olika sätt att hitta ett p-värde. I vissa fall måste vi känna till befolkningens sannolikhetsfördelning.
P-värdet för teststatistiken är ett sätt att säga hur extrem denna statistik är för våra provdata. Ju mindre p-värde, desto mer osannolikt är det observerade provet.
För att avgöra om ett observerat resultat är statistiskt signifikant jämför vi värdena på alfa och p-värdet. Det finns två möjligheter som dyker upp:
Betydelsen av ovanstående är att ju mindre värdet på alfa är, desto svårare är det att hävda att ett resultat är statistiskt signifikant. Å andra sidan, ju större värdet på alfa är, desto lättare är det att påstå att ett resultat är statistiskt signifikant. I kombination med detta är emellertid den högre sannolikheten för att det vi observerat kan tillskrivas tillfällen.