edrog

Een koopman komt bij u aan de deur met een mand met 200 appels. Hij wil u de hele mand verkopen en de bovenste appels zien er prima uit. Daaronder zitten nog betere appels, zegt hij. Maar wanneer u die betere appels wilt zien mag dat niet. En juist deze blijken na de koop rot.

Dat is dus bedrog en precies wat in 2005 met een artikel in the Lancet gebeurd is. De ‘betere appels’ staan in de tabel hiernaast. Is het mogelijk om consequenties te trekken uit de twee sets van RCTs in de tabel hiernaast, of uit de vergelijking hiervan?

Stel dat de meta-analyse van de 8 trials van methode A gezamenlijk een statistisch significant resultaat geven? Het zou kunnen betekenen dat methode A effectief is, maar ook dat het hier een selectie betreft uit 50 indicaties, waarbij deze selectie een significant resultaat geeft. Geen conclusie dus.

Stel dat er een niet-significant positief resultaat voor methode A uit komt? We kunnen dan zeker niet concluderen dat methode A niet werkt. Uit een zo heterogene groep kan geen negatieve conclusie getrokken worden. De methode zou kunnen werken voor sommige, en niet voor andere indicaties.

Uit de vergelijking van de twee methoden kan zeker geen conclusie getrokken worden. Het is immers geen vergelijking! Toch is uit deze vergelijking (methode A betreft homeopathie, B reguliere trials) in 2005 (Shang/Egger, Lancet) de conclusie getrokken dat homeopathie niet werkt. Dit was mogelijk doordat de auteurs deze gegevens niet vermeldden. De redactie van the Lancet heeft dit, tegen de QUOROM regels in,  geaccepteerd. De auteurs weigerden ook deze informatie te verschaffen gedurende de termijn van 3 maanden dat commentaar op deze analyse geleverd mocht worden.

De redactie van the Lancet was kennelijk verblind door de zeer gewenste conclusie en de reputatie van de onderzoeksleider, prof. Egger. Toch was de vraagstelling van dit onderzoek niet de effectiviteit van homeopathie, maar de kwaliteit van homeopathie trials in vergelijking met reguliere trials. Vandenbroucke had eerder (Lancet 1998) gesteld dat het effect van homeopathie niet onder deed voor reguliere behandeling. Egger (BMJ 2001) erkende dat, maar vermoedde vertekening door slechte kwaliteit van homeopathie trials. Slechte trials tonen een te positief effect.

De uitkomst van deze kwaliteitsvergelijking door een uitgesproken tegenstander van homeopathie was dat de kwaliteit van homeopathie trials beter was: 21 uit 110 goede trials tegen 9 uit 110 voor reguliere geneeskunde.

Behalve achterhouden van essentiële informatie was er meer gerommeld met gegevens. Bijvoorbeeld, de geheime selectie zou bestaan uit ‘betere, grotere trials’. De definitie van ‘groter’ was: ‘Met Standard error in kleinste kwartiel’, een merkwaardige en niet gemotiveerde definitie! Misschien omdat de normale definitie ‘groter dan mediaan’ een positief resultaat voor homeopathie leverde? En een ook volgens deze definitie grotere trial was, zonder opgaaf van reden als ‘niet-goed’ beoordeeld. Dit betrof de tot dan als een van de beste trials beoordeelde RCT over hooikoorts van D. Reilly. Deze trial toonde een sterk effect van homeopathie en zou de negatieve conclusie ook onderuit halen.