Publication Bias - was das ist und was Ihr dagegen tun könnt

@Volvox

Ein interessantes Thema, ich wollte selbst einen Thread dazu eröffnen, bin jedoch nicht dazu gekommen. Ben Goldacre hat ja mit seinem neuen Buch genau das Thema in die breite Öffentlichkeit gebracht.

Positiv finde ich, dass seit geraumer Zeit vermehrt auch negative Ergebnisse in den Top-Journals wie NEJM, BMJ etc veröffentlicht werden. Immerhin ein Schritt in die richtige Richtung.

Bemerkenswert finde ich, dass Studien von Pharmafirmen seltener veröffentlicht werden als Studien aus anderen Einrichtungen. Sie sind aber viermal so häufig mit einem positiven Ergebnis versehen. Die Qualität unterscheidet sich dabei aber nicht, die Studien sind hinreichend gut ausgeführt, so dass die Autoren annehmen, dass Publication bias dafür verantwortlich ist. Die Firmen halten neagtive Ergebnisse eben eher zurück.

http://www.bmj.com/content/326/7400/1167

@kleinundgrün

Leider ist Publication bias ein bekanntes Problem. Hier wird das gut illustriert...

http://www.bmj.com/content/315/7109/640?view=long&pmid=9310565

@Volvox
@Makrophage
Ich habe es gar nicht bezweifelt, ich wollte nur wissen, ob es ein echtes Problem ist. Anscheinend ist es das aber anscheinend wird intensiv an dessen Beseitigung gearbeitet:

us den genannten Gründen verlangen mittlerweile einige der renommierten medizinischen Fachzeitschriften, dass alle durchgeführten Studien vorher bekannt gemacht werden müssen. Nur solche im Voraus publik gemachten Studien werden zur Publikation angenommen. Dies soll neben anderen Aspekten einen Überblick über die zum Thema durchgeführten Studien ermöglichen, um den Publikationsbias zumindest abschätzen zu können.

Darüber hinaus gibt es bereits Fachzeitschriften (vorrangig im Internet, s.u.), die gezielt Studien mit „negativem“, d.h. im Sinne der Fragestellung nicht signifikanten Ergebnissen publizieren. Auch die Cochrane Collaboration ist an solchen Ergebnissen sehr interessiert, um sie in ihren Analysen zu den Standards in der Medizin verwenden zu können.

wenn ein pharmaunternehmen unsummen in die forschung eines medikamentes investiert und sich hohe profite verspricht, dann gibt es genug gute gründe, negative studien nicht veröffentlichen zu lassen.

was mich wirklich stört ist aber nicht das, sondern die tatsache das umsummen von geldern und ressourcen verschwendet werden um unnütze und nichtssagende studien durchzuführen.
stichwort junkscience
wo das geld in anderen forschungsgebieten viel dringender gebraucht wird.

Malthael schrieb:wenn ein pharmaunternehmen unsummen in die forschung eines medikamentes investiert und sich hohe profite verspricht, dann gibt es genug gute gründe, negative studien nicht veröffentlichen zu lassen.

Welche Gründe?

@Celladoor
steht doch schon da oben.
kosten für die forschung und der erwartete profit sind schon grund genug unangenehme studien nicht veröffentlichen zu wollen.

Malthael schrieb:steht doch schon da oben.
kosten für die forschung und der erwartete profit sind schon grund genug unangenehme studien nicht veröffentlichen zu wollen.

Und? Dadurch wird der ausbleibende Provit auch nicht mehr.

Malthael schrieb:was mich wirklich stört ist aber nicht das, sondern die tatsache das umsummen von geldern und ressourcen verschwendet werden um unnütze und nichtssagende studien durchzuführen.

Aus der Wiki zum Thema "junkscience":

Die Interessenvertreter sind dabei zugleich die Geldgeber der Forschung

D.h., die Gelder würden nicht anderen Gebieten zu Gute kommen, da die Interessenverreter mit diesen Geldern ja bestimmte Ziele verfolgen.

@kleinundgrün
ja eben. ich sehe das als problem.
wie viel wert hat die forschung, wenn der profit in vordergrund steht und nicht die erkenntnis.

unter diesen bedingungen kann man mMn keine seriöse forschung betreiben.
aber meine einstellung zu diesen dingen kennen die meisten hier, die schon länger dabei sind.

ich hab kein gutes bild von unternehmen und industrien und und und

Malthael schrieb:wie viel wert hat die forschung, wenn der profit in vordergrund steht und nicht die erkenntnis.

Es kommt halt darauf an, wer zu welchem Zweck forscht. Wenn Daimler an einem Elektromotor forscht, wird es auch die Veramarktung im Blick haben und daher auch die Forschung in diese Richtung steuern.

Aber das muss ja nicht per se schlecht sein. Das Ergebnis ist ein günstig herzustellender Elektromotor. Das wird sich noch nicht in der ersten Zeit für den Kunden auswirken, aber spätestens, wenn andere Hersteller zu Daimler in Konkurrenz treten.

kleinundgrün schrieb:Aber das muss ja nicht per se schlecht sein. Das Ergebnis ist ein günstig herzustellender Elektromotor. Das wird sich noch nicht in der ersten Zeit für den Kunden auswirken, aber spätestens, wenn andere Hersteller zu Daimler in Konkurrenz treten.

und damit habe ich auch ein problem.
wenn daimler schon einen elektromotor entwickelt hat, dann haben wir schon einen, dann brauchen wir nicht noch 20 andere unternehmen die auch an einem elektromotor forschen, das ist verschwendung von ressourcen.

egal ich diskutier ungern über solche themen. ich hab meine meinung und die ist alles andere als gut.
und ich gehe auch nicht davon aus, dass jemand meine meinung ändern kann oder wird.
und ich gehe auch nicht davon aus, dass ich die meinung von anderen ändern kann.

also lasse ich es sein

Malthael schrieb:egal ich diskutier ungern über solche themen. ich hab meine meinung und die ist alles andere als gut.
und ich gehe auch nicht davon aus, dass jemand meine meinung ändern kann oder wird.
und ich gehe auch nicht davon aus, dass ich die meinung von anderen ändern kann.

Seltsame Einstellung für jemanden der sich in einem Diskussionsforum angemeldet hat.

Celladoor schrieb:Seltsame Einstellung für jemanden der sich in einem Diskussionsforum angemeldet hat.

diese erkenntnis gewann ich nachdem ich mich hier angemeldet hab.

Malthael schrieb:diese erkenntnis gewann ich nachdem ich mich hier angemeldet hab.

Vor ca. 1 1/2 Jahren? :D

@Celladoor
so ziemlich... am anfang war ich noch ganz naive und engagiert.
jetzt bin ich aufgewacht.
allmy ist ne bühne für leute die sich im eigenen glanz baden wollen.
jeder will das letzte wort haben, jeder will recht haben, jeder will besser bescheid wissen als der andere.

was hat es für einen sinn zu diskutieren, wenn die diskusion ein wettbewerb ist.

Malthael schrieb:jeder will das letzte wort haben, jeder will recht haben, jeder will besser bescheid wissen als der andere.

was hat es für einen sinn zu diskutieren, wenn die diskusion ein wettbewerb ist.

Gegen gute Argumente ist kein Kraut gewachsen.

@Celladoor
wenn ich in der deutschen sprache und in rethorik so bewandert wäre, dann könnte ich für so ziemlich alles überzeugende gründe und argumente liefern.
das ist bedeutungslos.

Malthael schrieb:wenn ich in der deutschen sprache und in rethorik so bewandert wäre, dann könnte ich für so ziemlich alles überzeugende gründe und argumente liefern.

Ich denke nicht, dass man allein mit Rethorik wirklich viele Leute überzeugen kann. Das sieht man doch bei den vielen Verschwurbler-Videos immer wieder. Viel Rethorik, aber dafür schwachsinnige Argumente.

@Celladoor

Celladoor schrieb:Welche Gründe?

Ist doch logsich. Man hat mit viel Geld ein vielversprechendes Medikament entwickelt und 200 Mio investiert. Jetzt hat die Firma drei Phase-3-Studien durchgeführt. Davon hat eine ein positives Ergebnis geliefert. Die anderen beiden waren inkonklusiv und sogar negativ.
Jetzt rate mal, welche beiden nicht veröffentlicht werden, um die Zulassung nicht zu gefährden?

Zum Glück wird das Problem langsam aber sicher angegangen, siehe obige Initiative, Studienregistrierung etc.

Makrophage schrieb:Ist doch logsich. Man hat mit viel Geld ein vielversprechendes Medikament entwickelt und 200 Mio investiert. Jetzt hat die Firma drei Phase-3-Studien durchgeführt. Davon hat eine ein positives Ergebnis geliefert. Die anderen beiden waren inkonklusiv und sogar negativ.
Jetzt rate mal, welche beiden nicht veröffentlicht werden, um die Zulassung nicht zu gefährden?

Wenn es so wäre würde man einfach solange Studien durchführen bis man ein positives Resultat erhält und der Pharmamarkt wäre überschwemmt mit Medikamenten deren Wirkung höchstens mit Placebos oder homöopathischen Mitteln vergleichbare wäre.
Und wenn man so verfahren könnte, könnte man sich die millionenteure Entwicklung einfach sparen.
Aber bei den Zulassungsbehörden arbeiten keine Idioten! Es ist liegt in der Verantwortung der Zulassung, Studien auf ihre Aussagekraft hin zu prüfen. Solche Studien wie sie dir vorschweben, liefern kein signifikantes Ergebnis und werden von der Zulassung auch nicht zugelassen.

Bis jetzt habe ich publication bias immer so aufgefasst, dass Zeitschriften (und gerade die mit einem hohen impact factor) zum einem lieber positive, als negative Ergebnisse veröffentlichen und zum anderen ungerne Artikel veröffentlichen, die vorherige Artikel reproduzieren.
Beides ist natürlich ein Problem für die Grundlagenforschung.