Ve studiích na lidech se zdá, že problém je jiný.

Nemohu uvěřit, že jsem přehlédl článek, když vyšel začátkem tohoto roku.Až do poměrně nedávné doby (tedy od doby, kdy jsem téměř před osmi lety poprvé začal blogovat), jsem nevěnoval velkou pozornost tiskovým zprávám lékařských časopisů a univerzit propagujících publikovaný výzkum pro média. Pokud něco, samotná existence tiskových zpráv lékařských časopisů o takových studiích mě zmátla a připadala mi jako zbytečná a neslušná sebepropagace. (Ano, byl jsem tak naivní, jakkoli mi to teď zní úžasně.) Ve skutečnosti, i když jsem tak trochu chápal, proč univerzity vydávaly tiskové zprávy, když jeden z jejich vyšetřovatelů publikoval práci, která by mohla být velmi zajímavá nebo která se objevila v impaktovaném časopise jsem přemýšlel, proč by se proboha časopisy vůbec obtěžovaly. Koneckonců, kvalita a dopad vědy by neměly záviset na tom, kolik novinek je o ní publikováno v laickém tisku, že? Koncem 90. let však výzkum vyšetřovatelů ve Španělsku zjistil, že tiskové zprávy v časopisech fungují; tiskové zprávy časopisů jsou spojeny s následným zveřejněním novinových článků o článku (článcích) uvedených v tiskové zprávě. Jiné studie naznačují stejný účinek, i když následná studie naznačila, že není zcela jasné, zda se jedná o korelaci nebo příčinnou souvislost. Důvodem je, že tiskové zprávy v časopisech bývají spojovány s „lékařskými informacemi, které varicobooster kontraindikace jsou aktuální, stratifikují riziko na základě demografických proměnných a proměnných životního stylu a mají spíše životní styl než lékařské důsledky“. Autoři dospěli k závěru, že lékařské časopisy „vydávají tiskové zprávy k článkům, které mají vlastnosti, které novináři hledají, čímž dále zdůrazňují jejich důležitost“. I když to nemohu dokázat, intuitivně to platí a je to zjištění, které je posíleno průzkumem mezi novináři z oblasti vědy a zdraví, kteří uvedli „potenciál dopadu na veřejnost“ (což je studie, která stratifikuje riziko na základě demografických proměnných a proměnných životního stylu téměř vždy) a „nové informace nebo vývoj“ jako jejich hlavní kritérium pro zpravodajství, následované „schopností poskytnout lidský úhel pohledu“ a „schopností poskytnout místní úhel pohledu“.

Je těžké si nevšimnout, že tyto vlastnosti do značné míry nesouvisejí s vědeckou přísností nebo důležitostí.

Bez ohledu na to, jaká kritéria používají časopisy k výběru konkrétních článků, o kterých budou vydávat tiskové zprávy, a jak velký vliv mají tiskové zprávy časopisů a univerzit na to, zda média zachytí studii a oznámí ji, existuje jen málo výzkumů, které se zabývají tím, jak tisk v časopisech vydání ovlivňují skutečnou kvalitu zpráv o článcích nabízených časopisy. V tom tkví hodnota Schwartze a spol., protože naznačuje, že my jako akademická obec neseme vinu přinejmenším stejně jako reportéři a mediální společnosti, pro které pracují. Ošetřující ordinace, pod kterou jsem trénoval na začátku 90. let, mívala při převozu pacienta nejvýstižnější přísloví: To, co vám říkají, že pacient má a co pacient ve skutečnosti má, souvisí pouze shodou okolností. V případě tiskových zpráv to někdy vypadá, že to, co říká tisková zpráva, a to, co studie, spolu souvisí jen shodou okolností. V důsledku toho, protože mnoho novinových článků je založeno převážně na tiskové zprávě, znamená to, že to, co říkají zprávy o studii a co říká samotná studie, často souvisí pouze shodou okolností.

Schwartz et al provedli přezkum po sobě jdoucích vydání (od ledna 2009 zpětně) pěti hlavních lékařských časopisů (Annals of Internal Medicine, BMJ, Journal of the National Cancer Institute, JAMA a New England Journal of Medicine), aby identifikovali první 100 původních výzkumných článků s kvantifikovatelnými výsledky, které vytvořily jakékoli zpravodajství v novinách. Tyto časopisy byly vybrány, protože jejich články často získávají zpravodajství, ale mají velmi odlišné redakční postupy. Například Annals a JNCI běžně obsahují poznámky editorů a úvodníky zdůrazňující význam a omezení uváděných studií, zatímco ostatní časopisy nikoli. NEJM nevydává tiskové zprávy. Zde je návod, jak si vybrali své články a tiskové zprávy ke studiu:

Jejich metodika je popsána dále:

Abychom ohodnotili novinové články podle toho, jak kvantifikovaly výsledky, zahrnuli jsme pouze články v časopisech s přímo kvantifikovatelnými výsledky (to znamená, že jsme vyloučili kvalitativní studie, kazuistiky, studie biologických mechanismů a studie nepoužívající individuální jednotku analýzy). Abychom identifikovali související novinové články, hledali jsme v Lexis Nexis a Factiva (databáze zpravodajských článků) články, které obsahovaly název lékařského časopisu (časový rámec pro vyhledávání se prodloužil od dvou měsíců před datem tisku článku v časopise do dvou měsíců poté).

Autoři poté provedli obsahovou analýzu tiskových zpráv a zpráv podle následujících kritérií:

Základní studijní fakta. Patří mezi ně faktory, jako je velikost studie, zdroj (zdroje) financování, identifikace randomizovaných studií, časové rámce longitudinálních studií, míra odpovědí na průzkum a přesný popis (ve srovnání s abstraktem) expozice a výsledku studie.Hlavní výsledek. To zahrnovalo položení několika otázek, včetně: „Byl hlavní výsledek kvantifikován? Pokud ano, byla kvantifikována s nějakými absolutními riziky (včetně proporcí, průměrů nebo mediánů)? Byla čísla použita správně (odpovídala například uváděná čísla číslům abstraktně, pokud jde o velikost a časový rámec, nebo byly poměry šancí či šancí nesprávně interpretovány jako rizika nebo poměry rizik? Problém poměru šancí byl zahrnut do kategorie čísel správně než jako samostatné opatření.”Škodí. Ty zahrnovaly otázky jako (u studií intervencí prohlašujících, že jsou prospěšné): Byly zmíněny škody (nebo prohlášení, které tvrdilo, že k žádné újmě nedošlo)? Byly škody vyčísleny? Pokud ano, byly kvantifikovány s nějakými absolutními riziky?Studijní omezení. Autoři se ptali, zda byla hlavní omezení studie správně popsána (nebo vůbec popsána), a zvažovali „omezení uvedená buď v abstraktu časopisu nebo v poznámce editora, nebo v seznamu specifickém pro design, který jsme vytvořili (webová příloha), který zahrnuje omezení spojená s různé designy studií: malá velikost studie, závěry o příčinných souvislostech, výběrové zkreslení, reprezentativnost vzorku, zkreslování, klinická relevance náhradních výsledků, klinický význam skóre nebo náhradních výsledků, hypotetická povaha rozhodovacích modelů, použitelnost studií na zvířatech u lidí, klinická relevance studií genové asociace, nekontrolovaných studií, studií předčasně zastavených kvůli prospěchu a multifaktoriálních dietních nebo behaviorálních intervencí.“

Jaká tedy byla zjištění? Pro ty z nás, kteří blogují o vědě a medicíně, jsou zjištění depresivní, ale ne překvapivá. Například, ačkoli téměř všechny příběhy uváděly expozici a výsledek přesně, ve většině příběhů chyběly kriticky důležité informace. Například pouze 23 % kvantifikovalo hlavní výsledek pomocí absolutních rizik (což mě vlastně překvapilo; tipoval bych, že číslo bude nižší, ale možná byl rozdíl ve vzorku mezi tím, co jsem četl, a tím, co si Schwartz et al vybrali ke studiu). Mezitím pouze 41 % uvedlo škody spojené s intervencemi uváděnými jako prospěšné (což je, přiznávám, nižší, než bych hádal), a pouze 29 % uvedlo jakékoli omezení studie (což je zhruba to, co bych tipoval).

Takže teď, když víme, že lékařské zprávy ve vzorku studovaném v tomto článku nebyly tak horké, jaká je korelace mezi tiskovou zprávou a zpravodajstvím:

U všech 13 měřítek kvality bylo u novinových článků pravděpodobnější, že toto opatření oznámí, pokud se relevantní informace objevily v tiskové zprávě (tj. ve vysoce kvalitní tiskové zprávě), než pokud informace chyběly (P=0,0002, test znaku; obr. 2 ⇓). Tato asociace byla významná v samostatných srovnáních pro devět měřítek kvality (obr. 2). Když například tisková zpráva nekvantifikovala hlavní výsledek s absolutními riziky, 9 % ze 168 novinových článků poskytlo tato čísla. Naproti tomu, když tisková zpráva poskytovala absolutní rizika, 53 % ze 77 novinových článků poskytlo tato čísla (relativní riziko 6,0, 95% interval spolehlivosti 2,3 až 15,4). Protože dostupnost absolutních rizik se liší v závislosti na designu studie, zopakovali jsme tuto analýzu pouze pro randomizované studie, ve kterých jsou absolutní rizika vždy snadno dostupná. U 140 novinových článků referujících o randomizovaných studiích byl vliv tiskových zpráv uvádějících absolutní rizika stejný jako u hlavní analýzy (relativní riziko 5,8, 95% interval spolehlivosti 2,2 až 15,5).

Ukazuje se také, že přítomnost nebo absence měřítka kvality v tiskové zprávě měla větší vliv než přítomnost či nepřítomnost měřítka kvality v abstraktu článku v časopise na to, zda toto měřítko skončilo zahrnuto v následně hlášených novinových článcích:

Přítomnost měřítka kvality v tiskové zprávě měla silnější vliv na kvalitu souvisejících novinových článků než jeho přítomnost v abstraktu (tabulka 3⇓). Souvislost mezi informacemi v tiskové zprávě a v příběhu byla významná pro sedm z 12 měřítek kvality, která bylo možné srovnávat (tabulka 3). Odpovídající vztah mezi informacemi v abstraktu a v příběhu byl významný pro dvě z 12 opatření. V absolutních číslech byl nezávislý účinek informací v tiskové zprávě větší než vliv informací v abstraktu u osmi z 12 opatření. Jediným opatřením, u kterého byl absolutní účinek abstraktu větší než účinek tiskové zprávy, bylo vyčíslení hlavního výsledku (ačkoli tiskové zprávy měly podstatně větší vliv na vyčíslení hlavního výsledku s absolutními riziky).

Zajímavé je, že existence vysoce kvalitní tiskové zprávy měla malý vliv na zpravodajství ve srovnání se zpravodajstvím o článcích, u kterých nebyla vydána žádná tisková zpráva k základním faktům studie. Vysoce kvalitní tiskové zprávy však pozitivně ovlivnily vykazování kvantifikace pomocí absolutních rizik, zmiňovaly škody a diskutovaly o omezeních studie. Ještě znepokojivější je, že Schwartz et al. tvrdí, že nekvalitní tiskové zprávy jsou horší než žádná tisková zpráva v tom smyslu, že důležitá upozornění a základní informace budou méně pravděpodobné, že budou uvedeny ve zprávách, pokud nebyly zahrnuty do tiskové zprávy, než kdyby tam byly. vůbec žádná tisková zpráva. To však byl trend, protože Schwartz et al poukazují na to, že tato poslední zjištění nebyla statisticky významná. Vrt ve mně nemůže odolat otázce, proč se Schwartz a spol. zmínili o tomto posledním zjištění, i když se zdá, že to dává intuitivní smysl.

Nejde samozřejmě jen o lékařské časopisy. Univerzity a akademická zdravotnická střediska mají tiskové kanceláře a tyto tiskové kanceláře často vydávají tiskové zprávy vychvalující výzkumy svých badatelů, někdy souběžně s časopisy, když je publikován nový článek, někdy nezávisle, a nemohu si nevšimnout, někdy ještě předtím, než práce výzkumníka vůbec prošla procesem vzájemného hodnocení. Ukazuje se, že Woloshin et al (včetně Dr. Schwartze) se touto problematikou zabývali před třemi lety ve studii publikované v Annals of Internal Medicine nazvané Press Releases by Academic Medical Centers: Not So Academic? Nesnažili se zjišťovat vliv univerzitních tiskových zpráv na následnou medializaci (ačkoli bych byl šokován, kdyby taková studie nebyla v návaznosti na tuto), ale hleděli na kvalitu univerzitní tiskové zprávy.

Protože vyšetřovatelé ve své práci z roku 2009 použili podobnou metodologii jako ve své práci z roku 2012, nebudu se podrobně probírat podrobnostmi této práce tak, jako jsem to dělal u předchozí. Jeho klíčová zjištění asi stačí. Výsledky konkrétně podporují hypotézu, že univerzitní tiskové kanceláře jsou náchylné k přehánění, zejména pokud jde o studie na zvířatech a jejich význam pro lidské zdraví a nemoci, ačkoli tiskové zprávy o studiích na lidech byly v 18 % případů přehnané ve srovnání se 41 % případů. pro studie na zvířatech. Opět se zdá, že to dává intuitivní smysl, protože k „prodeji“ výsledků výzkumu na zvířatech je nutné prodat jejich relevanci vůči lidským nemocem. Většinu laiků až tak nezajímají nové a fascinující biologické poznatky základní vědy, které nelze snadno převést na lidi; takže není divu, že univerzitní tiskové kanceláře se mohou trochu natáhnout, aby přitáhly relevanci tam, kde je malá nebo žádná. Kromě toho Woloshin et al pozorovali tendenci univerzit propagovat předběžný výzkum a neposkytovat potřebný kontext:

Tiskové zprávy vydané 20 akademickými zdravotnickými středisky často propagovaly předběžný výzkum nebo inherentně omezené studie na lidech, aniž by poskytovaly základní podrobnosti nebo varování potřebná k posouzení významu, relevance nebo platnosti vědy. Naše zjištění jsou v souladu s těmi z jiných analýz farmaceutických průmyslů (12) a tiskových zpráv lékařských časopisů (13), které také odhalily tendenci přeceňovat důležitost a bagatelizovat (nebo ignorovat) omezení výzkumu.

Je dobře známo, že průmyslové tiskové zprávy mají tendenci dělat všechny tyto věci, což je hlavní důvod, proč na ně v tomto příspěvku tolik nenarážím. Očekává se, že velká farmaceutika přehání, protože důkazy, že to dělají, jsou tak ohromující. Na rozdíl od toho se ale taková nadsázka od vysokých škol většinou neočekává. Alespoň v minulosti tomu tak nebylo. Dnes je zjevně nový den.

Ve studiích na lidech se zdá, že problém je jiný. V medicíně existuje další rčení, že statistická významnost nutně neznamená, že nález bude klinicky významný. Jinými slovy, nacházíme malé rozdíly v léčebném efektu nebo asociacích mezi různými biomarkery a různými onemocněními, které jsou stále statisticky významné. Často jsou však příliš malé na to, aby byly klinicky významné. Je například alela, jejíž přítomnost znamená riziko určitého stavu zvýšené o 5 %, klinicky významná? Může tomu tak být, pokud je riziko v populaci menší než 5 %, ale pokud je riziko v populaci 50 %, mnohem méně. Tuto otázku si klademe neustále v onkologii, když zvažujeme, zda je či není „pozitivní“ nález v klinické studii adjuvantní chemoterapie klinicky relevantní. Například, pokud chemoterapie zvýší pětileté přežití o 2 % u nádoru, který má vysokou pravděpodobnost přežití po operaci klinicky relevantní? Nebo je zvýšená laboratorní hodnota spojená s 5% zvýšením rizika onemocnění klinicky relevantní? Ano, je to trochu hodnotový úsudek, ale malé přínosy, které jsou statisticky významné, nejsou vždy klinicky relevantní.

Nyní je zde nakopávačka, která naznačuje, že součástí problému jsou vyšetřovatelé.