I statistik kan forskare utföra ett antal olika betydelsestester för att avgöra om det finns ett samband mellan två fenomen. En av de första de vanligtvis utför är ett nollhypotest. Kort sagt, nollhypotesen säger att det inte finns något meningsfullt samband mellan två uppmätta fenomen. Efter ett test kan forskare:
• I ett test av betydelse säger nollhypotesen att det inte finns något meningsfullt samband mellan två uppmätta fenomen.
• Genom att jämföra nollhypotesen med en alternativ hypotes kan forskare antingen avvisa eller misslyckas med att avvisa nollhypotesen.
• Nollhypotesen kan inte bevisas positivt. Snarare, allt som forskare kan bestämma från ett test av betydelse är att de bevis som samlats in eller inte motbeviser nollhypotesen.
Det är viktigt att notera att ett misslyckande med att avvisa inte betyder att nollhypotesen är sant, bara att testet inte bevisade att det var falskt. Beroende på experimentet kan det i vissa fall finnas ett samband mellan två fenomen som inte identifieras av experimentet. I sådana fall måste nya experiment utformas för att utesluta alternativa hypoteser.
Nollhypotesen anses som standard i ett vetenskapligt experiment. Däremot är en alternativ hypotes en som hävdar att det finns ett meningsfullt förhållande mellan två fenomen. Dessa två konkurrerande hypoteser kan jämföras genom att utföra ett statistiskt hypotestest, som bestämmer om det finns ett statistiskt signifikant samband mellan data.
Till exempel kan forskare som studerar vattenkvaliteten i en ström vilja bestämma om en viss kemikalie påverkar surhetsgraden i vattnet. Nollhypotesen - att kemikalien inte har någon effekt på vattenkvaliteten - kan testas genom att mäta pH-nivån för två vattenprover, varav ett innehåller en del av kemikalien och ett av dem har lämnats orört. Om provet med den tillsatta kemikalien är mätbart mer eller mindre surt - vilket bestäms genom statistisk analys - är det en anledning att avvisa nollhypotesen. Om provets surhet är oförändrad är det en anledning att inte avvisa nollhypotesen.
När forskare planerar experiment försöker de hitta bevis för den alternativa hypotesen. De försöker inte bevisa att nollhypotesen är sann. Nollhypotesen antas vara ett korrekt uttalande tills motsatta bevis bevisar något annat. Som ett resultat ger ett test av betydelse inte några bevis som rör sanningen om nollhypotesen.
I ett experiment bör nollhypotesen och den alternativa hypotesen noggrant formuleras så att en och endast en av dessa påståenden är sanna. Om de insamlade uppgifterna stöder den alternativa hypotesen, kan nollhypotesen avvisas som falsk. Men om uppgifterna inte stöder den alternativa hypotesen, betyder detta inte att nollhypotesen är sann. Allt det betyder är att nollhypotesen inte har åsidosatts, varför uttrycket "misslyckande med att avvisa." Ett "misslyckande med att avvisa" en hypotes bör inte förväxlas med acceptans.
I matematik bildas vanligtvis negationer genom att helt enkelt placera ordet "inte" på rätt plats. Med hjälp av denna konvention tillåter tester av betydelse forskare att antingen avvisa eller inte avvisa nollhypotesen. Det tar ibland ett ögonblick att inse att ”inte avvisa” inte är detsamma som att ”acceptera”.
På många sätt är filosofin bakom ett test av betydelse lik den för en rättegång. I början av förfarandet, när tilltalade åberopar en grund av "inte skyldig", är det analogt med uttalandet om nollhypotesen. Även om svaranden faktiskt kan vara oskyldig, finns det ingen grund till att "oskyldiga" formellt görs vid domstolen. Den alternativa hypotesen om ”skyldig” är vad åklagaren försöker visa.
Antagandet i början av rättegången är att den tilltalade är oskyldig. I teorin finns det inget behov av svaranden att bevisa att han eller hon är oskyldig. Bevisbördan ligger på åklagaren, som måste marsjera tillräckligt med bevis för att övertyga juryn att svaranden är skyldig över ett rimligt tvivel. På samma sätt, i ett test av betydelse, kan en forskare endast avvisa nollhypotesen genom att tillhandahålla bevis för den alternativa hypotesen.
Om det inte finns tillräckligt med bevis i en rättegång för att visa skuld, förklaras den tilltalade ”inte skyldig.” Detta påstående har inget att göra med oskyldighet; det återspeglar bara det faktum att åtalet inte lyckades med tillräckligt bevis på skuld. På liknande sätt betyder ett misslyckande att avvisa nollhypotesen i ett signifikantest inte att nollhypotesen är sant. Det betyder bara att forskaren inte kunde ge tillräckligt med bevis för den alternativa hypotesen.
Till exempel kan forskare som testar effekterna av en viss bekämpningsmedel på grödorna ge ett experiment där vissa grödor lämnas obehandlade och andra behandlas med olika mängder bekämpningsmedel. Varje resultat där grödan ger varierande baserat på bekämpningsmedel exponering - förutsatt att alla andra variabler är lika skulle ge starka bevis för den alternativa hypotesen (att bekämpningsmedlet gör påverkar grödorna). Som ett resultat skulle forskarna ha anledning att avvisa nollhypotesen.