O Social Sciences Replication Project e a nossa oportunidade
- Iniciativa Brasileira de Reprodutibilidade
- 1 de nov. de 2018
- 4 min de leitura
No nosso último post, apresentamos as dificuldades e percalços enfrentados por um dos mais ambiciosos projetos de reprodutibilidade em andamento, o Reproducibility Project: Cancer Biology (RP:CB). Hoje vamos falar dos resultados de outro projeto de reprodutibilidade, o Social Sciences Replication Project (SSRP), recentemente publicados na revista Nature Human Behaviour juntamente com um comentário associado ao artigo no mesmo volume.
O SSRP teve como finalidade levantar evidências sobre a replicabilidade de estudos experimentais em ciências sociais publicados na Nature e Science entre 2010 e 2015. De 21 estudos selecionados, 13 encontraram um efeito estatisticamente significativo e no mesmo sentido que o estudo original. Ainda assim, essas replicações tiveram um tamanho de efeito na média 50% menor que o efeito observado no estudo original. Já os estudos que não foram replicados quase sempre tiveram um tamanho de efeito muito perto do zero nas replicações.
Outro dado interessante mostrado no SSRP (já utilizado em outros projetos de reprodutibilidade em psicologia e economia experimental) é o resultado das previsões e apostas de outros pesquisadores. Nessa parte do projeto, a hipótese a ser replicada foi apresentada, com os dados originais, e os participantes tinham que dar o seu melhor chute sobre se o estudo seria replicado ou não. As apostas de quase 400 pesquisadores foi capaz de separar surpreendentemente bem os artigos replicados com sucesso dos que não foram – em um mercado de apostas, os 13 estudos replicados ficaram na frente dos 8 não replicados, sugerindo que a comunidade científica pode prever os resultados que serão replicados. O site 80,000 hours elaborou um quiz baseado nessa pesquisa, ( https://80000hours.org/psychology-replication-quiz/ ), em que você também pode testar a sua capacidade de previsão da replicabilidade desses estudos.
Por outro lado, uma das limitações do projeto foi usar um critério bem específico para a seleção dos estudos a serem replicados. Foram selecionados artigos de duas revistas de grande impacto: Nature e Science são as revistas científicas de maior prestígio no mundo, onde os artigos são considerados inovadores, importantes e “emocionantes” e de onde se espera uma avaliação por pares mais rigorosa. Porém, os resultados do SSRP sugerem que mesmo trabalhos publicados em revistas de alto impacto frequentemente não são replicados – e o que é mais interessante, mostra que cientistas individuais parecem capazes de filtrar o joio do trigo melhor do que essas revistas.
Outra limitação diz respeito a artigos que reportavam uma série de estudos ou que testavam mais de uma hipótese. Como somente um dos estudos ou hipóteses foi testado, esse tipo de replicação não fornece uma visão definitiva sobre as conclusões do trabalho original. Ainda assim, nos dão informações em grande escala sobre a replicabilidade dos experimentos incluídos nele.
Já uma grande virtude do SSRP é a transparência: todas as análises e planos de replicação foram publicados no website do projeto e pré-registrados na Open Science Framework (OSF), além de serem enviados aos autores originais para que os replicadores tivessem feedback antes da coleta dos dados. Toda essa discussão também foi postada na OSF durante o desenvolvimento do projeto, bem como no artigo resultante. Isso é uma interação excepcional entre pesquisadores, o que por si só já fomenta a boa ciência.
Vários dos autores originais, ao revisarem os trabalhos e os resultados de replicação, publicaram respostas na mesma edição da revista e notaram algumas limitações nas replicações. Em especial, Shah e colegas, autores de um dos estudos selecionados, tiveram uma das mais corajosas atitudes relatadas no projeto: inspirados pelo SSRP, eles decidiram replicar os seus próprios experimentos. Assim como o SSRP, também falharam na replicação.
Isso tudo mostra que conduzir replicações fornece informações adicionais ao estudo original, além da oportunidade de revisar condutas e protocolos. A possibilidade de avaliar criticamente a exatidão das afirmações científicas feitas e as conclusões tiradas por outros cientistas (e também pelo próprio grupo) representa um dos pilares da ciência. Se os dados não são confirmados, como podemos confiar em descobertas científicas?
A Iniciativa Brasileira de Reprodutibilidade difere em alguns pontos do SSRP. Primeiramente, não selecionaremos artigos de revistas específicas ou com base em índices de impacto; pelo contrário, faremos uma amostra representativa de artigos predominantemente brasileiros, a partir de uma seleção aleatória. Daí, iremos selecionar apenas um dos experimentos incluídos: nosso foco não é avaliar o artigo em si, mas estimar a reprodutibilidade da ciência brasileira em grande escala. Uma outra diferença é que conduziremos cada experimento em 3 diferentes laboratórios. Desta maneira, será possível analisar o sucesso da replicação levando em conta o grau de variabilidade inter-laboratorial encontrado para cada experimento.
Abordada cientificamente, a não-reprodutibilidade oferece grandes questões para a pesquisa, como coloca Malcolm Macleod em seu comentário sobre o SSRP. A exploração dessas oportunidades geralmente requer uma abordagem colaborativa e multicêntrica como a que a Iniciativa Brasileira de Reprodutibilidade está desenvolvendo. Aproveitar essas oportunidades provavelmente nos levará a melhores projetos de pesquisa, mais bem elaborados e consistentes. Por estas razões, as questões atuais da reprodutibilidade da pesquisa não devem ser vistas como uma crise, mas como uma oportunidade.
Por fim, lembramos que o cadastro para laboratórios que queiram colaborar com a Iniciativa está aberto em nosso site até o dia 15 de novembro! Se você tem experiência com algumas das técnicas pré-selecionadas, não perca também a oportunidade de verificar nossos formulários e também opinar sobre eles.
Por Ana Paula Wasilewska-Sampaio
Saiba mais:
Projeto SSRP traz reflexão importante sobre a replicabilidade na ciência social, mostrando que mesmo estudos em revistas de alto impacto podem ter resultados difíceis de reproduzir. Isso reforça a necessidade de rigor e transparência na pesquisa. Para quem está no Brasil e quer diversão segura e confiável, recomendo onabet — ótima plataforma com bônus e jogos variados.
In Brazil, certa vez durante uma live de poker, o streamer mencionou um site de crash game com tema indiano. Fui conferir o ganesha gold e me deparei com um layout que lembra templos, além de um gráfico de multiplicador bem responsivo. Testei uma sequência de apostas supervisionadas pelo chat ao vivo, e a cada retirada antecipada sentia uma pequena vitória. Meu pai, curioso, chegou a pedir para eu mostrar como funciona, e ele gostou da simplicidade e da fluidez – ideal para quem busca diversão sem enrolação.
Em https://apostaaviator.com.br/ você encontra as melhores condições para jogar Aviator. O site oferece todas as informações sobre o jogo. Nele você terá uma interface amigável, um sistema de segurança confiável e pagamentos instantâneos. Você pode depositar e sacar fundos usando métodos de pagamento populares, tornando o processo o mais conveniente possível. O site tem todos os detalhes para sua conveniência.