Nollresultat i sinnlighetsforskning

Nollresultat kan visa gränser, mätfel eller verklig frånvaro av påvisbar effekt; de får inte döljas.

När det förutsagda inte syns

Nollresultat i sinnlighetsforskning är fynd där en studie inte kan påvisa den förutsagda effekten eller skilja en insats från sin jämförelse under de prövade villkoren. Ett sådant resultat är inte tomt och inte automatiskt bevis för att ingenting hände. Effekten kan vara liten, mätningen okänslig, urvalet för litet, genomförandet bristfälligt, svaren olika mellan deltagare eller hypotesen felaktig.

Ett kunskapsfält som bara visar förbättring kommer att överskatta nytta, dölja skada och låta praktiker upprepa sådant som redan prövats utan framgång. Utebliven, blandad och negativ effekt behöver därför få offentlig plats.

Ingen statistisk signifikans är inte noll effekt

Skillnaden är metodologiskt avgörande. En studie kan vara för liten för att upptäcka en relevant effekt. Den kan också, trots ett icke-signifikant resultat, vara tillräckligt precis för att utesluta den stora effekt som marknadsföringen lovat. Konfidensintervall, effektstorlekar, ekvivalensprövning, förhandsregistrerade utfall och upprepade studier hjälper till att skilja brist på belägg från belägg för liten eller ingen effekt.

Redovisa saknade data, följsamhet, avvikelser från protokollet och vilka deltagare som svarade annorlunda. Ett enda medelvärde kan dölja att en grupp hade nytta och en annan bar bördan.

Den osynliga lådan

Positiva och överraskande fynd har större chans att skrivas, antas, spridas och minnas. Om negativa resultat och oönskade händelser rapporteras ofullständigt blir den synliga litteraturen sned. Opublicerade data kan ändra även uppskattningen av skada. Det är inte bara ett akademiskt problem: människor fattar beslut om hälsa, pengar och intimitet utifrån det som går att hitta.

Sinnlighet är särskilt sårbar för denna snedvridning eftersom begreppen är svåra att standardisera och utfallen kan vara subjektiva, sena eller beroende av förväntan. Ett framväxande fält kan känna tryck att visa förvandling. Praktiker kan ha ekonomiska och anseendemässiga skäl att lyfta fram vittnesmål. Deltagare kan finna en övning meningsfull utan förändring på ett standardmått. Alla dessa iakttagelser kan vara sanna samtidigt.

Negativa och blandade utfall

Smärta, ökad skam, överbelastning, beroende, gränsöverskridanden, symtomförsämring, avhopp och utestängning från tillgång är inte besvärliga fotnoter. De kan visa för vem en praktik bör ändras, undvikas eller ersättas av remiss. Oönskade händelser behöver definieras före studien, följas över tid och rapporteras bredvid möjlig nytta.

Avhopp är inte automatiskt brist på motivation. Det kan signalera skada, börda, hinder eller att den utlovade förändringen inte motsvarade deltagarens mål. En kortvarig ökning av obehag kan vara en skadlig effekt, ett övergående förlopp eller ett tecken på behov av ändring; bara en design med uppföljning kan skilja möjligheterna åt.

Undersökning som går att lära av

Förhandsregistrera hypoteser och primära utfall när det är lämpligt. Publicera protokoll och analysbeslut, redovisa avvikelser och låt även nollfynd nå tidskrifter eller öppna register. Upprepa relevanta studier i olika grupper och miljöer. Kvalitativa samtal kan visa varför en effekt uteblev, men de bör inte användas för att efteråt skriva om nollresultatet som en seger.

Skilj också ett nollresultat från en studie som inte kunde besvara frågan. Var måttet opålitligt? Var urvalet otillräckligt? Levererades metoden? Mätte studien det deltagarna faktiskt ville uppnå? En öppen redovisning gör även det misslyckade försöket användbart. När ett tidigare påstående försvagas bör folkbildare korrigera det utan att förödmjuka dem som fann praktiken meningsfull.

För praktik och läsning

Fråga om evidensen innehåller oberoende, negativa och blandade studier. Beskriv osäkerhet tydligt och erbjud alternativ med lägre risk. En deltagares uteblivna förbättring är inte belägg för ”motstånd” eller dold patologi. Nollresultat kräver varken cynism eller försvarstal; det kräver en slutsats proportionerlig till vad studien faktiskt kan visa.

Läs vidare om evidens, osäkerhet, praktik och tolkning.

Källor och vidare läsning