Медиците пишат „за нищо”

85% от научните изследвания в медицината са пълна глупост, смята професор от Станфорд.

За да се поправят нещата, Джон Йоанидис, професор по медицина от Станфордския университет, предлага да се въведат строги стандарти, да се подобри статистиката, да се усъвършенства рецензирането на статиите и да се промени системата на академичната кариера.

Йоанидис е публикувал мнението си в сп. PLOS Medicine. Първата му обзорна статия на тема Why Most Published Research Findings Are False се появила през 2005 година и събрала над 1 млн. „клика“. Във втората статия, излязла на 10-годишнината на списание PLOS Medicine, авторът предлага мерки, които ще помогнат да се поправи ситуацията и да се върне доверието към медицинските публикации.

Разсъжденията и изводите, както и предполагаемите мерки, засягат не само статиите по медицина, но и всички други научни публикации. Тяхното количество е огромно. Авторът привежда данни, че за периода 1996–2011 г. повече от 15 млн. учени по цял свят са публикували над 25 млн. научни статии, но големи и полезни открития се срещат доста рядко.

Много от публикуваните зависимости и явления всъщност са изобщо неверни или силно преувеличени. Прилагането на получените знания на практика изисква продължително време и невинаги е ефективно.

Защо е така?

Според оценката на автора 85% от научните изследвания в областта на медицината водят до неверни или безполезни резултати.

Сред причините той назовава недостатъчната статистическа достоверност на резултатите, преувеличение на малки ефекти, опити да се постигне очакваният резултат, извъртане в интерпретацията на данните, както и предубеждения и конфликти на интереси на различни научни групи.

Интересите от академична кариера, организацията на работа в университетите и научноизследователските институти, практиката за рецензиране на статиите в журналите – всичко това стимулира учените да хвърлят време за получаване на резултати, които никому не са нужни и не помагат да се лекуват пациенти.

За изменение на ситуацията е необходимо да се преразгледат принципите, на които се строи академичната кариера, смята авторът.

Много научни институции датират от Средновековието (като академични звания) или от XVII век (като професионално общество и научни журнали) и не е известно доколко са оптимални в съвременното общество.

Стандарти и статистика

Според автора се изисква ефективна намеса, за да се увеличи надеждността и ефективността на научните изследвания. Част от факторите на риска никъде не изчезват, но останалите може да се променят.

За да не влияят предубеждения и конфликти на интереси върху резултатите, изследванията трябва да се провеждат в големи колаборации, максимално прозрачно и по стандартизирани правила.

Еднаквото представяне на данни, подготовката на образци, протоколи от изследвания и софтуер създават възможност да възпроизводими резултати.

Такъв подход е разпространен в молекулярно-генетичните изследвания. Прилагането на такива стандарти в клиничните изследвания може значително да повиши тяхната достоверност. Регистрацията на рандомизирани клинични изпитания в базата данни увеличава тяхната прозрачност.

Внедряването на по-добри статистически методи може да снижи броя на ненадеждните резултати в такива „неточни“ специалности като епидемиология, психология и икономика, смята авторът. Възможно е в резултат те да се придвижат по надеждност към физичните науки. В случай на предполагаемо научно откритие следва да се използват по-високи прагове за достоверност на данните.

Рецензиране

Системата за рецензиране на статии се нуждае от усъвършенстване. Например известно е, че повечето рецензенти са учени със скромен опит, а повечето изявени учени не рецензират.

Практиките на непотизъм, сексизъм и неоправдан консерватизъм очевидно са широко разпространени. Добросъвестното рецензиране не се поощрява. Повърхностното рецензиране не повишава силно качеството на статиите и дори пропуска откровено неверни работи.

Освен това рецензентите нямат никакъв стимул да работят добросъвестно.

Преразглеждане на „научната валута“

„Двете главни „валути“ в науката са публикациите и финансирането. Върху тях се придобиват научните блага – кариера и власт, а научните титли и властта увеличават „богатството“ на техния притежател. Реалният „обменен курс“ в различни области може силно да се отличава.

Административната власт, личните връзки и лобирането допълнително изкривяват картината –  пише Йоанидис. – В такава ситуация протича отбор на тези, които най-добре се вписват в системата, публикуват скромни и/или невъзпроизводими изследвания, контролират рецензирането, създават бюрокрация, лобиране и задкулисни маневри.“

Сегашната система цени публикациите, наградите, научните звания и властта. Учените от по-висок клас повече се публикуват и имат повече награди. Но на самия връх  на административната стълба (при ректорите на университети и т.н.) нивото на публикации обикновено не е високо.

Възможно е да е заради това, че те са хитри лобисти и лесно заобикалят по-достойните кандидати, които биха могли да вземат по-разумни решения. Но е възможно също те да губят своя живот за управление на бюрократичната машина така, че техните колеги спокойно да могат да се заемат с наука.

Авторът предлага два типа реформи на системата за възнаграждения в науката. При първата се предлага да се възнаграждават не публикациите като такива, а препратките към тях  и използваните резултати. Това ще доведе до по-ефективно лечение, диагностика и т.н., потвърдени в клиничните изследвания. Струва си да се отплаща и обменът на научните данни, квалифицираното рецензиране и образователната активност.

Вторият подход е още по-радикален. Финансирането, наградите и административните постове сами по себе си се оценяват отрицателно.

„Не е известно доколко ефективността на сегашната система за изследвания изобщо може да бъде повишена – резюмира Йоанидис. – Но наличното състояние е толкова слабоефективно, че това е почти вероятно да може да се направи. Различните сценарии са много и в идеалния вариант е добре да се проверят на практика.“