Valor-P e P-hacking: O equívoco da significância estatística na pesquisa científica

00:11:44
https://www.youtube.com/watch?v=Dthk7QFgPws

Zusammenfassung

TLDRO estudo sobre meditación trascendental suxire que un número mínimo de participantes pode reducir as taxas de homicidio, pero carece de base científica. O uso do valor P na investigación é problemático, pois a significancia estatística non implica certeza sobre a veracidade dos resultados. A crise de reproducibilidade afecta á psicoloxía, onde moitos estudos significativos non poden ser replicados. Os científicos están instados a ser humildes e claros sobre as incertezas dos seus achados e a reportar margens de erro.

Mitbringsel

  • 🧘‍♂️ A meditación trascendental pode reducir homicidios?
  • 🔢 Necesitan 1725 participantes para ver resultados?
  • 📉 O valor P non garante verdadeiros descubrimentos.
  • 🚫 Percepción errónea da significancia estatística.
  • 🔄 A crise de replicabilidade afecta á ciencia actual.
  • 📚 Moitos estudos non se poden replicar correctamente.
  • ⚖️ Humildade e incerteza deben ser considerados na ciencia.
  • 👨‍🔬 Os datos deben ser manexados con coidado e ética.

Zeitleiste

  • 00:00:00 - 00:05:00

    Ao longo da década de 2010, um grupo de meditação transcendental acreditava que a meditação coletiva poderia reduzir taxas de homicídio, argumentando que 1725 participantes eram necessários para que esse efeito aparecesse. No entanto, a pesquisa não possui fundamentação científica, utilizando numerologia em vez de dados substanciais. Os autores do estudo observaram uma queda nas taxas de homicídio após alcançar esse número, ignorando que as taxas já estavam em declínio há décadas e manipulando estatísticas para justificar suas alegações. Esse exemplo ilustra como números podem ser distorcidos para sustentar narrativas infundadas.

  • 00:05:00 - 00:11:44

    O teste de significância estatística, comumente associado ao valor P, está enraizado na ciência, mas muitas vezes mal interpretado. Significância estatística não garante que um resultado seja verdadeiro, e a ênfase no valor P levou a uma crise de replicabilidade na pesquisa científica, com muitos resultados não sendo reproduzidos. A prática de manipular dados para alcançar significância é comum. Em resposta, um número crescente de cientistas defende a necessidade de abandonar os testes de significância, propondo uma abordagem mais clara sobre as incertezas e limites das descobertas científicas.

Mind Map

Video-Fragen und Antworten

  • ¿Cuál es el número mínimo de participantes en meditación para reducir homicidios según el estudio?

    Se requiere de 1725 participantes.

  • ¿Qué es el valor P en la investigación?

    El valor P indica la probabilidad de que un resultado sea debido al azar.

  • ¿Por qué se considera problemático el uso del valor P de 0.05?

    Este valor se usa como referencia pero no garantiza que un hallazgo sea real.

  • ¿Qué es la crisis de replicabilidad?

    Es la dificultad de reproducir los resultados de muchos estudios en la literatura científica.

  • ¿Cómo afecta la significancia estadística a los resultados científicos?

    Puede llevar a falsas afirmaciones sobre descubrimientos que no son verdaderos.

Weitere Video-Zusammenfassungen anzeigen

Erhalten Sie sofortigen Zugang zu kostenlosen YouTube-Videozusammenfassungen, die von AI unterstützt werden!
Untertitel
pt
Automatisches Blättern:
  • 00:00:00
    ao longo da década de 2010 um grupo de
  • 00:00:02
    meditação transcendental acreditou que
  • 00:00:04
    se um número suficiente de participantes
  • 00:00:07
    meditassem juntos poderiam trazer
  • 00:00:08
    benefícios sociais incluindo a redução
  • 00:00:11
    da taxa de homicídios sobre isso em 2017
  • 00:00:15
    foi publicado um artigo alegando que o
  • 00:00:17
    número mínimo necessário para que esse
  • 00:00:19
    efeito se manifestasse é a raiz quadrada
  • 00:00:22
    de 1% da população no caso dos Estados
  • 00:00:25
    Unidos isso equivale a 1725 pessoas não
  • 00:00:29
    há base científica f alguma para isso
  • 00:00:31
    apenas numerologia no estudo os autores
  • 00:00:34
    rastrearam a taxa de homicídios em
  • 00:00:36
    diversas cidades Americanas e compararam
  • 00:00:38
    um período arbitrário com o período de
  • 00:00:41
    intervenção o período de intervenção foi
  • 00:00:44
    justamente quando o grupo de meditação
  • 00:00:45
    transcendental superou os 1725
  • 00:00:49
    participantes eles alegam que as taxas
  • 00:00:51
    de homicídio estavam aumentando antes
  • 00:00:53
    dessa data e então quando o participante
  • 00:00:56
    de número 1725 ingressou no grupo at
  • 00:01:00
    Começou a cair subitamente Note que os
  • 00:01:04
    1724 ou menos participantes não eram
  • 00:01:07
    bastante parece que o efeito só era
  • 00:01:09
    mesmo ativado depois que o Limiar mágico
  • 00:01:12
    de
  • 00:01:13
    1725 era ultrapassado obviamente isso
  • 00:01:16
    não é nada científico mas o mais
  • 00:01:18
    interessante nesse estudo foi que para
  • 00:01:20
    tentar embasar os achados os autores
  • 00:01:22
    calcularam que a probabilidade de que a
  • 00:01:24
    redução nas taxas de homicídio pudessem
  • 00:01:27
    ser simplesmente devida ao acaso era de
  • 00:01:29
    uma uma chance em um
  • 00:01:31
    [Música]
  • 00:01:37
    trilhão o estudo que tenta provar que a
  • 00:01:40
    redução na criminalidade foi devida à
  • 00:01:42
    prática de meditação coletiva é um
  • 00:01:44
    exemplo de como é possível explorar os
  • 00:01:46
    números para obter uma estatística
  • 00:01:48
    insignificante e usá-la para embasar
  • 00:01:51
    alegações en fundadas nesse último vídeo
  • 00:01:54
    dessa parte da série eu vou explorar a
  • 00:01:56
    má compreensão e o mau uso do valor p
  • 00:02:00
    mas antes de seguir se inscreva no canal
  • 00:02:02
    e Ative o seu Sininho para acompanhar
  • 00:02:04
    todos os nossos lançamentos aqui no verb
  • 00:02:09
    científica o valor P nos diz que a
  • 00:02:11
    chance de um resultado surgir apenas do
  • 00:02:14
    acaso deve ser menor que uma
  • 00:02:17
    probabilidade arbitrariamente pequena Se
  • 00:02:19
    isso for altamente Improvável dizemos
  • 00:02:21
    que o resultado é estatisticamente
  • 00:02:24
    significativo em outras palavras o valor
  • 00:02:27
    P nada mais é do que o nível arbitrário
  • 00:02:31
    que garante que a probabilidade de
  • 00:02:32
    rejeitar a hipótese nula Quando ela for
  • 00:02:35
    verdadeira seja menor que um dado limite
  • 00:02:38
    específico por razões que não são muito
  • 00:02:41
    Claras até hoje o valor P de 0,05 é
  • 00:02:44
    normalmente usado como corte para dizer
  • 00:02:46
    que o resultado é estatisticamente
  • 00:02:48
    significativo mas como vimos no vídeo
  • 00:02:50
    anterior a natureza do valor p é
  • 00:02:52
    escorregadia e não é tão confiável nem
  • 00:02:55
    tão objetivo quanto a maioria dos
  • 00:02:57
    cientistas supõe se você obteve um
  • 00:03:00
    resultado estatisticamente significativo
  • 00:03:02
    com valor P menor que 0,05 você pode ser
  • 00:03:05
    levado a pensar que as chances da
  • 00:03:07
    hipótese nula ser verdadeira são menores
  • 00:03:09
    do que 5% enquanto que as chances dos
  • 00:03:12
    resultados indicarem uma diferença real
  • 00:03:15
    são maiores do que
  • 00:03:17
    95% você pode pensar também que a
  • 00:03:19
    hipótese nula foi rejeitada então há
  • 00:03:22
    menos de 5% de chance de que você tenha
  • 00:03:25
    tomado a decisão errada e também que se
  • 00:03:27
    você vier a replicar seu estudo a chance
  • 00:03:30
    de obter sucesso vai ser maior do que
  • 00:03:32
    95% se você pensa assim você tá errado
  • 00:03:36
    como também está a maioria das pessoas
  • 00:03:38
    inclusive professores e cientistas isso
  • 00:03:41
    porque significância estatística não é
  • 00:03:43
    uma probabilidade clássica mas sim uma
  • 00:03:46
    probabilidade condicional bisana Eu já
  • 00:03:49
    falei sobre isso em detalhes nessa parte
  • 00:03:51
    da série e aqui basta ter em mente que
  • 00:03:53
    uma probabilidade condicional Como o
  • 00:03:55
    próprio nome diz leva em conta uma
  • 00:03:57
    condição uma dada hipótese nesse caso a
  • 00:04:01
    hipótese
  • 00:04:04
    nula a aplicação do teste de
  • 00:04:06
    significância já tá tão arraigada em
  • 00:04:08
    muitas áreas da ciência que a maioria
  • 00:04:10
    dos cientistas acaba se esquecendo da
  • 00:04:13
    sua lógica real muitos não percebem que
  • 00:04:15
    a única coisa que esse teste mostra é
  • 00:04:17
    que um resultado estatisticamente
  • 00:04:20
    significativo implica apenas que o
  • 00:04:22
    efeito que está sendo observado pode não
  • 00:04:25
    ser nulo e não perceber isso é grave
  • 00:04:28
    pois quando algum efeito não existe ao
  • 00:04:30
    usar um valor P de 5% um em cada 20
  • 00:04:34
    cientistas que procuram por esse efeito
  • 00:04:36
    afirma falsamente que Ele existe a
  • 00:04:39
    significância estatística por si só não
  • 00:04:42
    fornece informações sobre o quão grande
  • 00:04:44
    um efeito pode ser ele diz apenas que
  • 00:04:47
    esse efeito pode não ser nulo colocando
  • 00:04:50
    de outra forma o teste de significância
  • 00:04:52
    se refere a como o mundo não é ele não
  • 00:04:55
    diz nada sobre como o mundo é a
  • 00:04:58
    aplicação negligente do valor p é um dos
  • 00:05:00
    principais fatores por trás da crise da
  • 00:05:03
    replicabilidade que assola a ciência nos
  • 00:05:05
    dias de
  • 00:05:08
    hoje com a ideia equivocada de que o
  • 00:05:11
    teste significativo possa realmente
  • 00:05:13
    garantir que o resultado é real os
  • 00:05:16
    cientistas estão adquirindo o hábito de
  • 00:05:18
    publicar resultados nulos Imagine que 20
  • 00:05:21
    cientistas estejam trabalhando em uma
  • 00:05:23
    ideia 19 deles vão arquivar os seus
  • 00:05:26
    resultados nulos em uma gaveta mas um
  • 00:05:29
    deles vai ter a sorte ou o azar
  • 00:05:31
    dependendo do ponto de vista e vai
  • 00:05:33
    cometer o erro do tipo um ele vai
  • 00:05:35
    acreditar ter encontrado uma diferença
  • 00:05:38
    quando na verdade não existe diferença
  • 00:05:40
    alguma e ao final ele vai publicar esse
  • 00:05:43
    resultado falso acrescentando na
  • 00:05:45
    literatura científica um resultado
  • 00:05:47
    espúrio e replicável tenha em mente que
  • 00:05:49
    o Mero fato de rejeitar a hipótese nula
  • 00:05:52
    não garante nada de novo isso raramente
  • 00:05:55
    serve de base para explicar ou
  • 00:05:57
    justificar uma dada descoberta o hoje a
  • 00:06:00
    literatura científica está inundada de
  • 00:06:02
    artigos e livros inteiros que foram
  • 00:06:04
    escritas sobre as armadilhas dos valores
  • 00:06:07
    P eles são difíceis de entender não nos
  • 00:06:09
    dizem o que realmente queremos saber e
  • 00:06:12
    são repletos de alegações exageradas foi
  • 00:06:15
    isso que os estudiosos da meditação
  • 00:06:17
    transcendental fizeram se apoiaram numa
  • 00:06:20
    estatística falaciosa para defender uma
  • 00:06:22
    crença Sobrenatural Eles simplesmente
  • 00:06:25
    ignoraram a realidade que as taxas de
  • 00:06:27
    homicídio já estavam em queda ao longo
  • 00:06:30
    das quatro décadas anteriores a
  • 00:06:32
    diminuição mostrada no estudo foi apenas
  • 00:06:35
    a continuação de uma tendência de longo
  • 00:06:36
    prazo para tornar a narrativa do artigo
  • 00:06:39
    minimamente persuasiva e com aparência
  • 00:06:41
    legítima os autores precisaram massagear
  • 00:06:44
    profundamente os números ao declarar
  • 00:06:46
    seus resultados eles alegaram ter
  • 00:06:48
    calculado que a probabilidade de que a
  • 00:06:51
    tendência reduzida nas taxas de
  • 00:06:52
    homicídio pudesse ser simplesmente
  • 00:06:55
    devida ao acaso era de um em um trilhão
  • 00:06:58
    ou seja eles usaram o valor p como
  • 00:07:01
    escudo para o escrutínio
  • 00:07:05
    crítico a medida que os resultados
  • 00:07:08
    científicos passam da literatura
  • 00:07:09
    científica para comunicados à imprensa
  • 00:07:12
    jornais revistas ou programas de
  • 00:07:14
    televisão os valores p são
  • 00:07:16
    frequentemente descritos de maneira
  • 00:07:18
    imprecisa por exemplo em 2012 cientistas
  • 00:07:21
    do lhc relataram resultados que
  • 00:07:24
    sustentavam a existência do boson de
  • 00:07:26
    rigs com um valor P de 0,01 ou seja os
  • 00:07:30
    resultados teriam 1% de probabilidade de
  • 00:07:33
    aparecer por acaso mesmo que existisse
  • 00:07:36
    um boson de Higgs a na Geographic
  • 00:07:39
    contudo declarou que os cientistas do
  • 00:07:41
    lhc tinham 99% de certeza de que
  • 00:07:44
    descobriram um bosson de rigs Mas isso é
  • 00:07:47
    um equívoco o valor P de 0,01 não
  • 00:07:50
    significa que os cientistas tinham 9999%
  • 00:07:53
    de certeza que o boson de Higgs era real
  • 00:07:56
    dito de outra forma as pessoas mesmo
  • 00:07:59
    cientistas experientes tendem a pensar
  • 00:08:01
    no valor p como um valor preditivo mas
  • 00:08:04
    não é o valor P nunca foi feito para
  • 00:08:07
    isso ele é apenas um teste preliminar
  • 00:08:10
    para ver se os dados são interessantes
  • 00:08:12
    se vale a pena dar uma checada neles ou
  • 00:08:15
    se são apenas ruídos aleatórios e aqui o
  • 00:08:18
    importante é lembrar que uma hipótese
  • 00:08:20
    muito Improvável permanecerá muito
  • 00:08:22
    Improvável mesmo depois que se obtenha
  • 00:08:25
    resultados experimentais com valor P
  • 00:08:27
    muito baixo
  • 00:08:30
    [Risadas]
  • 00:08:32
    o problema da replicabilidade começou a
  • 00:08:34
    se agravar a partir do momento que os
  • 00:08:36
    periódicos das áreas de Ciências Sociais
  • 00:08:38
    principalmente de Psicologia começaram a
  • 00:08:41
    publicar artigos apenas se eles
  • 00:08:43
    relatassem descobertas estatisticamente
  • 00:08:46
    significativas então isso encorajou os
  • 00:08:49
    pesquisadores a uma prática conhecida
  • 00:08:51
    hoje como packing eles massageiam seus
  • 00:08:53
    dados jogam com o sistema ou
  • 00:08:56
    simplesmente trapaceiam tudo para chegar
  • 00:08:58
    aai de um valor P de 5% que é um
  • 00:09:02
    critério desejável para facilitar o
  • 00:09:04
    processo de revisão por pares daí as
  • 00:09:06
    descobertas falsas e as associações
  • 00:09:08
    fortuitas e equivocadas começaram a se
  • 00:09:11
    proliferar em um vídeo anterior eu falei
  • 00:09:13
    em detalhes sobre a crise da
  • 00:09:15
    replicabilidade que a ciência
  • 00:09:16
    contemporânea tem passado lá Eu
  • 00:09:18
    mencionei que boa parte de muitos
  • 00:09:20
    estudos disponíveis hoje na literatura
  • 00:09:22
    científica simplesmente não pode ser
  • 00:09:25
    reproduzida o que indica que esses
  • 00:09:27
    estudos simplesmente não tem validade
  • 00:09:29
    alguma um dos mais importantes estudos
  • 00:09:31
    de revisão sobre isso envolveu um grande
  • 00:09:34
    número de cientistas que trabalharam
  • 00:09:36
    para replicar sem trabalhos selecionados
  • 00:09:38
    de três das principais revistas de
  • 00:09:40
    Psicologia essa revisão levou a uma
  • 00:09:43
    constatação deplorável mais da metade
  • 00:09:46
    dos estudos não pode ser replicada isso
  • 00:09:48
    é como se a crise da replicabilidade
  • 00:09:50
    tivesse apagado do mapa mais da metade
  • 00:09:53
    de todas as pesquisas em psicologia
  • 00:09:55
    recente e no fundo isso seria um mal
  • 00:09:57
    menor pois o que vemos hoje é que os
  • 00:10:00
    mesmos estudos que não passaram no teste
  • 00:10:02
    de replicação continuaram a ser citados
  • 00:10:05
    rotineiramente tanto por cientistas
  • 00:10:07
    quanto por outros escritores linhas
  • 00:10:10
    inteiras de pesquisas e livros populares
  • 00:10:12
    de sucesso vem sendo construídos em sua
  • 00:10:15
    base então o termo crise Parece mesmo
  • 00:10:18
    ser uma descrição apropriada os
  • 00:10:20
    pesquisadores muitas vezes não percebem
  • 00:10:22
    que os resultados estatisticamente
  • 00:10:24
    significativos não garantem que uma
  • 00:10:26
    descoberta é verdadeira por outro lado
  • 00:10:29
    metade desses cientistas presumem de
  • 00:10:31
    maneira equivocada que por não terem
  • 00:10:34
    encontrado significância estatística não
  • 00:10:36
    havia um efeito real nas suas
  • 00:10:38
    investigações são dois erros que
  • 00:10:40
    prejudicam a ciência numa via de Mão
  • 00:10:42
    Dupla hoje muitos cientistas defendem
  • 00:10:45
    que passou da hora de descartar os
  • 00:10:47
    testes de significância em 2019 mais de
  • 00:10:51
    850 cientistas assinaram uma carta
  • 00:10:54
    aberta na revista Nature argumentando
  • 00:10:56
    Exatamente isso em vez de enfatizar a
  • 00:10:59
    significância eles argumentaram que os
  • 00:11:01
    pesquisadores deveriam ser mais claros
  • 00:11:03
    sobre a incerteza de suas descobertas e
  • 00:11:06
    relatar a margem do erro em torno de
  • 00:11:08
    cada número e o mais importante ter mais
  • 00:11:11
    humildade ao inferir o que pode ser
  • 00:11:13
    derivado dos resultados estatísticos
  • 00:11:15
    afinal de contas a própria estatística
  • 00:11:17
    oferece meios de descobrir como duvidar
  • 00:11:20
    do que você está vendo esse vídeo
  • 00:11:23
    termina por aqui e encerra com ele a
  • 00:11:26
    quinta parte da nossa série que fala
  • 00:11:28
    sobre como as
  • 00:11:29
    nos Enganam no próximo vídeo vai estrear
  • 00:11:32
    a sexta parte que vai falar sobre as
  • 00:11:35
    formas anticientíficas de ver o mundo se
  • 00:11:37
    inscreva no canal e tenha ver científica
  • 00:11:40
    abraço e até a próxima
Tags
  • meditación
  • homicidios
  • valor P
  • significancia estadística
  • crisis de replicabilidade
  • investigación científica
  • psicología
  • errores estadísticos
  • resultados falsos
  • humildade científica