Независимая Национальная Академия Доказательной Медицины (НКО ННАДМ)

😍 Уважаемые коллеги, добрый день. Продолжаем серию авторских постов от Никиты Николаевича Хромова-Борисова. Первая серия посвящена значению "p-value". С первым постом вы можете ознакомится здесь. P-значение уже больше века остаётся одним из главных, но и самых спорных инструментов анализа данных в биомедицине. Собрали хронологическую подборку цитат статистиков и исследователей — от 1900 до 2026 года — о пользе и ограничениях p-значений. Прочитав их, каждый — автор, рецензент, редактор — сможет сам решить, стоит ли и дальше на них опираться. «Вероятности, которыми принято пренебрегать в различных практических приложениях, различны. Иногда в научных исследованиях ограничиваются статистическими приемами, рассчитанными исходя из пренебрежения вероятностями в 0,05. Но это следует делать лишь в случаях, когда собирание более обширного материала очень затруднительно. Если норма в 0,05 для серьезных научных исследований явно недостаточна, то вероятностью ошибки в 0,001 или 0,003 по большей части принято пренебрегать даже в столь академических и обстоятельных исследованиях, как обработка астрономических наблюдений». Колмогоров, 1956; 1999; 2003; Kolmogorov, 1963 [1-3]. p-значения «как правило, не приводят к каким-либо вероятностным утверждениям о реальном мире, а представляют собой рациональную и четко определенную меру нежелания принимать проверяемые ими гипотезы». Fisher, 1956 [4]. «NHST [Проверка значимости нулевой гипотезы -ПЗНГ] - могущественный, но бесплодный интеллектуальный повеса, который оставляет на своем веселом пути длинную вереницу соблазненных дев, но не оставляет жизнеспособного научного потомства». Meehl, 1967; 1970 [5]. «…научный вывод из набора данных — это не формальное упражнение, которое преподают на уроках статистики. Сегодня способ получения выводов из реального набора данных преподается во многих классах статистики точно так же, как преподают геометрию или алгебру. Студент узнает, что статистические методы представляют собой совокупность формул и фиксированных наборов правил, которые, будучи однажды заученными, можно использовать на протяжении всей жизни для получения выводов из данных. Мы узнали, что нужно лишь определить, следует ли отклонить гипотезу на уровне 5% или 1%. Затем статистик может с помпой делать очевидные выводы о данных из любой научной области, объявляя их значимыми или незначимыми. Подобную чепуху обычно преподают профессора, которые имели минимальный опыт применения статистических методов к научным проблемам. В результате растет число научных статей, в которых статистические методы используются для «украшения» результатов. Zelen, 1966 [6]. «Функция проверок [статистической] значимости состоит в том, чтобы не дать вам выставить себя дураком, а не в том, чтобы сделать не подлежащие публикации результаты пригодными для публикации». Colquhoun, 1971 [7]. Источники информации под постом. Автор: Хромов-Борисов Никита Николаевич, к.б.н., ст.н.с., консультант по биостатистике и генетике. Отделение персонализированной психиатрии и неврологии. 👨‍🏫 Читайте. Думайте. Делитесь. Создавайте. 👉 Подписаться на рассылку от ННАДМ по почте ТГ канал | Чат| Рубрикатор |Сайт | Группа ВК | Ютуб | Контакты| Clinicalstudy.ru

😍 Уважаемые коллеги, добрый день. Selective reporting (избирательное репортирование) в практической медицине: что это такое и как минимизировать риски «Избирательное репортирование — это научный проступок» (Iain Chalmers) ✅ Что такое избирательное репортирование (selective reporting)? В самом общем виде под избирательным репортированием —selective reporting в науке обычно понимают практику избирательного представления результатов исследований, зависящую от характера этого результата, а также от заинтересованности определенных лиц в представлении этого результата. ✅ Возможные виды избирательного репортирования Прямые методы: ◈ Не публиковать исследование с отрицательными результатами вообще. ◈ Публиковать их с большим опозданием. ◈ Публиковать результаты исследования не полностью. ◈ Не сообщать о побочных действиях лекарств или сообщать избирательно. Косвенные методы: ◈ Искажение результатов уже проведенного исследования: — анализ по вторичным конечным точкам; — анализ в подгруппах; — манипуляция статистическим анализом. ◈ Манипуляция критериями включения/исключения для создания селективной группы больных. Заведомо неверная трактовка результатов. ✅По каждому пункту Сергей Юрьевич приводит конкретные опубликованные примеры. ✅Как минимизировать риски? Регистрация исследований — важный, но явно недостаточный способ. Одновременно публиковать исследования с прямо противоположными результатами, чтобы не фокусировать внимание ученых и неспециалистов на том, что исследования всегда дают положительные результаты. Пропаганда основ доказательной медицины молодым врачам и исследователям. ✅ Заключение Избирательное репортирование (selective reporting) — многогранное явление, которое может наблюдаться на всех этапах проведения исследования и представления его результатов. Избирательное репортирование является одним из инструментов псевдодоказательной медицины. Читает: Марцевич Сергей Юрьевич — д.м.н., профессор, руководитель отдела профилактической фармакотерапии ФГБУ «НМИЦ ТПМ» Минздрава России, президент Национального общества доказательной фармакотерапии (Москва). С выступлением вы можете ознакомиться здесь: 🎥 ЮТУБ 🎥 ВК ⚠️ Кроме того, автор затрагивает ряд тем, по которым мы ранее готовили отдельные материалы: ✔️Конечные точки в исследованиях; ✔️Публикационное смещение; ✔️Систематические обзоры и метаанализы. #доказательнаямедицина #selectivereporting #избирательноерепортирование #клиническиеисследования #псевдодоказательнаямедицина #EBM #публикационноесмещение #научнаяэтика #фармакотерапия #медицина P.S. Эксперты совместно с ИИ (Claude) пытались нарисовать картинку под термин Черри-пикинг (от англ. cherry-picking — «выбор вишенок»). Удачно или нет, решать вам. 👨‍🏫 Читайте. Думайте. Делитесь. Создавайте. ТГ канал | Чат| Рубрикатор |Сайт | Группа ВК | Ютуб | Контакты| Clinicalstudy.ru 👉 Подписаться на рассылку от ННАДМ по почте

​​🏊🏻‍♂️ Всем - плавать 🏊🏻‍♂️ ..., если не можете сделать метаанализ. Предполагаю, что вы сейчас ожидали научные доказательства пользы плавания для профилактики и лечения ХЗВ (бальнеотерапия у нас, все-таки, имеет уровень 1А). Но нет, я имею ввиду стандарт публикации систематических обзоров без метаанализа SWiM (Synthesis Without Meta-analysis), на который ссылаются авторы работы соответствующего дизайна, которую мне пришлось изучить при ревизии очередной китайской статьи по применению шкалы Каприни в травматологии. Так вот, если вы по какой-то объективной причине не можете обобщить данные систематического обзора и представить результаты по стандарту PRISMA, то нужно придерживаться 9 правил (из которых самым важным и интересным является третье): 1️⃣ Объединение исследований: описать как и почему работы были объединены (по дизайну, популяции, исходам) и как это влияет на интерпретацию, обязательно указать возможные отклонения от протокола, возникшие в период работы с источниками; 2️⃣ Стандартизованные метрики и их трансформация: описать и аргументировать выбор стандартизированных метрик для каждого исхода, при необходимости описать механизм трансформации оригинальных метрик из исследования в стандартизованные; 3️⃣ Синтез данных: описать и аргументировать выбранный метод объединения данных, к которому относится 🏊🏻‍♂️ обобщенное значение р (да, я тоже удивлен, но при отсутствии величины эффекта или невозможности трансформации исхода в единый обобщаемый показатель, можно просто объединить значения р методами Фишера или Стоуффера, получив или нет сигнал о наличии статистической значимости, но не величины эффекта); 🏊🏻‍♂️ описательная статистика для величины эффекта (представление разнородных данных в виде медианы с интерквартильным размахом); 🏊🏻‍♂️ подсчет голосов по направлению эффекта (представление числа исследований, демонстрирующих улучшение, ухудшение и отсутствие эффекта); 4️⃣ Критерии приоритета: при необходимости обосновать выбор отдельных исследований, результаты которых подлежат объединению и лежат в основе заключения; 5️⃣ Оценка гетерогенности: обосновать и использовать неформальные методы для оценки гетерогенности, например, упорядочивание таблиц или структурирование рисунков в соответствии с предполагаемыми модификаторами, такими как методологические характеристики (например, дизайн исследования), субпопуляции (например, пол, возраст), компоненты вмешательства, контекстные, средовые факторы и пр. (как это должно выглядеть на практике, я себе плохо представляю); 6️⃣ Оценка достоверности: описать подход к оценке достоверности заключений (в частности, можно использовать систему GRADE); 7️⃣ Представление данных: описать графические (тут перечисляются все возможные диаграммы, некоторые из которых пришлось погуглить: форест-плоты, харвест-плоты, направления эффекта, альбатросы, пузырьковые, ящики с усами) и табличные (утверждается необходимость включения всех релевантных данных) методы представления результатов; 8️⃣ Представление результатов: для каждого сравнения и исхода представить описание результатов обобщения и достоверность (уверенность); 9️⃣ Ограничения синтеза: дать честную характеристику слабых мест обзора литературы и синтеза данных. Иначе говоря, альтернативные стандарты мало чем отличаются от классической PRISMA на этапе описания данных, но призывают максимально возможно упорядочить и стандартизировать результаты. И в качестве примера, вот так этим пользуются авторы систематического обзора по шкале Каприни (см. иллюстрацию). Вместо того, чтобы просто метааналитически обобщить площади под кривыми ROC из 83 исследований, они их упорядочивают и структурируют по размеру выборки и профилю пациентов. И получают значения от 0,29 до 0,87 во всех работах и от 0,6 до 0,8 в 75% лучших исследований (наших там только два, т.к. глубина поиска была ограничена 2021 годом, а результаты валидации шкалы Каприни во флебологии они не нашли). Почему так? Не спрашивайте. Зато появился повод научиться SWiM. Обе публикации в свободном доступе.