Na última semana foi divulgada a notícia de que o Reproducibility Project: Cancer Biology (RP:CB) sofrerá seu terceiro grande corte de experimentos. Os 50 artigos inicialmente planejados para reprodução foram reduzidos para 37 em 2015 e 29 em 2017, até chegar ao número atual de 18. Desde a idealização da Iniciativa Brasileira de Reprodutibilidade, temos acompanhado o RP:CB e buscamos desenhar nosso projeto de forma a tentar evitar alguns dos percalços enfrentados por esse e outros grandes projetos de reprodutibilidade (escreveremos em mais detalhes sobre eles em uma série de posts ao longo das próximas semanas).
As maiores dificuldades apresentadas pelo RP:CB vêm da escolha de avaliar a reprodutibilidade de artigos de grande impacto, que muitas vezes contêm inúmeros experimentos de alta complexidade. Dessa forma, ao não conseguir reproduzir, ou mesmo executar, alguns dos experimentos, a interpretação do artigo como reprodutível ou não acaba prejudicada. Para tentar evitar este problema, a Iniciativa Brasileira de Reprodutibilidade optou por focar-se em experimentos individuais, onde cada um dos quais possui um resultado único, quantitativo e mais diretamente interpretável. Além disso, optamos por incluir apenas técnicas comumente utilizadas, executáveis por vários grupos ao redor do país, o que nos permitirá replicar cada experimento em pelo menos 3 laboratórios. Em uma primeira revisão sistemática, selecionamos como técnicas candidatas ensaios de viabilidade celular por MTT, TBARS, western blot, qPCR, ELISA, citometria de fluxo, microscopia por H.E., imunohisto ou citoquímica, labirinto elevado em cruz e exploração em campo aberto.
O RP:CB se preocupou em realizar replicações com a maior exatidão metodológica possível, o que dificultou o planejamento destes experimentos, já que as descrições disponíveis nos artigos eram incompletas e vários dos autores originais foram relutantes em colaborar. Após conversar com Tim Errington, coordenador do RP:CB, resolvermos optar por uma abordagem mais naturalista. Obteremos apenas os detalhes metodológicos disponíveis nos artigos originais, que certamente não serão todos. Após isso, enviaremos os protocolos incompletos para as três equipes envolvidas na replicação de cada experimento, que deverão, de forma independente, preencher essas lacunas de acordo com sua própria experiência.
A equipe coordenadora do projeto revisará os protocolos preenchidos, com participação dos laboratórios colaboradores, e o plano é interferir apenas nos passos em que houver um consenso sobre a melhor abordagem a ser utilizada. É bem estabelecido, por exemplo, que a análise cega de desfechos é melhor do que a não cega; desta forma, isso será fundamental nos protocolos de replicação, ainda que não tenha sido descrito nos artigos originais. Dessa forma, buscaremos nos aproximar da situação que ocorreria quando um laboratório busca a replicação de um experimento com base em um artigo publicado, utilizando o desenho mais controlado e livre de viés possível, mas sem acesso a detalhes não fornecidos.
Um outro limitante para o RP:CB foi a obtenção de materiais que haviam sido desenvolvidos pelos laboratórios originais; com isso, incluiremos em nossa seleção de experimentos apenas aqueles que puderem ser realizados com materiais comercialmente disponíveis. Durante nossa a primeira revisão sistemática, por exemplo, observamos uma alta prevalência de experimentos avaliando efeitos de produtos naturais, que são obtidos através de processos de diferentes complexidades e a partir de plantas de diversas origens. Como esses experimentos adicionariam um nível maior de complexidade e uma potencial fonte de variabilidade adicional, optamos por não incluí-los.
Neste momento, a Iniciativa Brasileira de Reprodutibilidade está iniciando as revisões sistemáticas de cada uma das técnicas pré-selecionadas. O objetivo destas revisões é avaliar a descrição metodológica de todos os passos descritos em cada experimento selecionado, a partir de uma amostra aleatória de artigos brasileiros. Estes experimentos serão posteriormente selecionados para replicação, de acordo com a disponibilidade de equipes replicadoras (aliás, nosso cadastro para colaboradores abrirá em breve!). Além disso, os dados obtidos também fornecerão informações importantes sobre como determinados passos de cada uma das técnicas são comumente realizados, e sobre a prevalência de descrição de cada um deles em artigos brasileiros.
Você pode participar da Iniciativa Brasileira de Reprodutibilidade se trabalha em um laboratório de pesquisa localizado no Brasil que possua infraestrutura e experiência para executar alguma das técnicas descritas. Além disso, você também pode contribuir participando de nossas consultas públicas sobre os formulários de descrição de experimentos, que estarão disponíveis online em breve. Se inscreva em nossa newsletter para ser avisado quando estas etapas estiverem disponíveis e não perder os próximos textos do blog.
Por Clarissa Carneiro