O Social Sciences Replication Project e a nossa oportunidade

No nosso último post, apresentamos as dificuldades e percalços enfrentados por um dos mais ambiciosos projetos de reprodutibilidade em andamento, o Reproducibility Project: Cancer Biology (RP:CB). Hoje vamos falar dos resultados de outro projeto de reprodutibilidade, o Social Sciences Replication Project (SSRP), recentemente publicados na revista Nature Human Behaviour juntamente com um comentário associado ao artigo no mesmo volume.

O SSRP teve como finalidade levantar evidências sobre a replicabilidade de estudos experimentais em ciências sociais publicados na Nature e Science entre 2010 e 2015. De 21 estudos selecionados, 13 encontraram um efeito estatisticamente significativo e no mesmo sentido que o estudo original. Ainda assim, essas replicações tiveram um tamanho de efeito na média 50% menor que o efeito observado no estudo original. Já os estudos que não foram replicados quase sempre tiveram um tamanho de efeito muito perto do zero nas replicações.

Outro dado interessante mostrado no SSRP (já utilizado em outros projetos de reprodutibilidade em psicologia e economia experimental) é o resultado das previsões e apostas de outros pesquisadores. Nessa parte do projeto, a hipótese a ser replicada foi apresentada, com os dados originais, e os participantes tinham que dar o seu melhor chute sobre se o estudo seria replicado ou não. As apostas de quase 400 pesquisadores foi capaz de separar surpreendentemente bem os artigos replicados com sucesso dos que não foram – em um mercado de apostas, os 13 estudos replicados ficaram na frente dos 8 não replicados, sugerindo que a comunidade científica pode prever os resultados que serão replicados. O site 80,000 hours elaborou um quiz baseado nessa pesquisa, ( https://80000hours.org/psychology-replication-quiz/ ), em que você também pode testar a sua capacidade de previsão da replicabilidade desses estudos.

Por outro lado, uma das limitações do projeto foi usar um critério bem específico para a seleção dos estudos a serem replicados. Foram selecionados artigos de duas revistas de grande impacto: Nature e Science são as revistas científicas de maior prestígio no mundo, onde os artigos são considerados inovadores, importantes e “emocionantes” e de onde se espera uma avaliação por pares mais rigorosa. Porém, os resultados do SSRP sugerem que mesmo trabalhos publicados em revistas de alto impacto frequentemente não são replicados – e o que é mais interessante, mostra que cientistas individuais parecem capazes de filtrar o joio do trigo melhor do que essas revistas.

Outra limitação diz respeito a artigos que reportavam uma série de estudos ou que testavam mais de uma hipótese. Como somente um dos estudos ou hipóteses foi testado, esse tipo de replicação não fornece uma visão definitiva sobre as conclusões do trabalho original. Ainda assim, nos dão informações em grande escala sobre a replicabilidade dos experimentos incluídos nele.

Já uma grande virtude do SSRP é a transparência: todas as análises e planos de replicação foram publicados no website do projeto e pré-registrados na Open Science Framework (OSF), além de serem enviados aos autores originais para que os replicadores tivessem feedback antes da coleta dos dados. Toda essa discussão também foi postada na OSF durante o desenvolvimento do projeto, bem como no artigo resultante. Isso é uma interação excepcional entre pesquisadores, o que por si só já fomenta a boa ciência.

Vários dos autores originais, ao revisarem os trabalhos e os resultados de replicação, publicaram respostas na mesma edição da revista e notaram algumas limitações nas replicações. Em especial, Shah e colegas, autores de um dos estudos selecionados, tiveram uma das mais corajosas atitudes relatadas no projeto: inspirados pelo SSRP, eles decidiram replicar os seus próprios experimentos. Assim como o SSRP, também falharam na replicação.

Isso tudo mostra que conduzir replicações fornece informações adicionais ao estudo original, além da oportunidade de revisar condutas e protocolos. A possibilidade de avaliar criticamente a exatidão das afirmações científicas feitas e as conclusões tiradas por outros cientistas (e também pelo próprio grupo) representa um dos pilares da ciência. Se os dados não são confirmados, como podemos confiar em descobertas científicas?

A Iniciativa Brasileira de Reprodutibilidade difere em alguns pontos do SSRP. Primeiramente, não selecionaremos artigos de revistas específicas ou com base em índices de impacto; pelo contrário, faremos uma amostra representativa de artigos predominantemente brasileiros, a partir de uma seleção aleatória. Daí, iremos selecionar apenas um dos experimentos incluídos: nosso foco não é avaliar o artigo em si, mas estimar a reprodutibilidade da ciência brasileira em grande escala. Uma outra diferença é que conduziremos cada experimento em 3 diferentes laboratórios. Desta maneira, será possível analisar o sucesso da replicação levando em conta o grau de variabilidade inter-laboratorial encontrado para cada experimento.

Abordada cientificamente, a não-reprodutibilidade oferece grandes questões para a pesquisa, como coloca Malcolm Macleod em seu comentário sobre o SSRP. A exploração dessas oportunidades geralmente requer uma abordagem colaborativa e multicêntrica como a que a Iniciativa Brasileira de Reprodutibilidade está desenvolvendo. Aproveitar essas oportunidades provavelmente nos levará a melhores projetos de pesquisa, mais bem elaborados e consistentes. Por estas razões, as questões atuais da reprodutibilidade da pesquisa não devem ser vistas como uma crise, mas como uma oportunidade.

Por fim, lembramos que o cadastro para laboratórios que queiram colaborar com a Iniciativa está aberto em nosso site até o dia 15 de novembro! Se você tem experiência com algumas das técnicas pré-selecionadas, não perca também a oportunidade de verificar nossos formulários e também opinar sobre eles.

Por Ana Paula Wasilewska-Sampaio

Saiba mais:

Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015

The Reproducibility opportunity, Malcolm Macleod

Reproducibility vs. Replicability: A Brief History of a Confused Terminology