Lapidando a ciência brasileira: reprodutibilidade torna a pesquisa mais confiável e transparente

Ciência | Especialistas desvendam o conceito da palavra que visa replicar pesquisas já publicadas em busca de gargalos que vão de falhas metodológicas a problemas estruturais

Na obra Frankenstein, publicada pela primeira vez em 1818 por Mary Shelley, Victor usa os seus conhecimentos de filosofia natural e química para construir uma criatura a partir de restos humanos. Nessa obra épica, conhecimentos científicos que resultam no ‘monstro’ não aparecem de maneira explícita, mas, sim, “são expostos como pano de fundo para a trama que se desenvolve”, dizem Débora Regina da Rocha Batista, Maurício Cesar Menon e Michel Corci Batista, da Universidade Tecnológica Federal do Paraná, no artigo ‘Literatura e ciência: o livro Frankenstein de Mary Shelley como possibilidade para a educação científica’.

O livro evidencia a capacidade humana de buscar a verdade por meio do uso da ciência, entretanto a autora também oferece um exemplo literário que mostra a ausência do rigor científico: em poucos parágrafos, Victor menciona como construiu a criatura, mas não deixa claro o registro de métodos, não compartilha dados, nem permite que outro cientista possa analisar, criticar ou reproduzir a sua experiência. O resultado de Frankenstein torna notório o que não é ciência: uma intervenção solitária, irreplicável e, por isso, eticamente duvidosa e cientificamente insustentável.

Shelley traz a metáfora de um experimento sem transparência e antecipa, de forma literária, a importância do controle, da documentação e da responsabilização científica. Frankenstein nos faz lembrar que descobertas sem reprodutibilidade não ampliam o conhecimento humano; ao contrário, ameaçam a própria integridade da ciência e de seus criadores.

Nesse contexto, a reprodutibilidade surge como um dos pilares do rigor científico: só há ciência quando um resultado pode ser repetido por outros pesquisadores, em outros contextos, seguindo métodos claros. A ideia de validar descobertas por meio da repetição (elemento essencial do método científico) é justamente o que separa a experimentação confiável de tentativas obscuras, improvisadas ou mal documentadas. Para Fabiano Couto Corrêa da Silva, professor do Departamento de Ciências da Informação da UFRGS, a reprodutibilidade na ciência é a capacidade de reproduzir resultados científicos com base em dados, protocolos e documentação adequados. “Isso envolve rastreabilidade dos dados; consistência e replicabilidade dos resultados; e confiabilidade nos processos científicos”.

De olho no rigor da ciência, um estudo inédito avaliou o nível de replicabilidade de artigos científicos brasileiros na área da biomedicina e ciência básica. Liderado pela Iniciativa Brasileira de Reprodutibilidade, a investigação durou sete anos e envolveu 56 laboratórios em todo o país, entre eles o Laboratório de Neurobiologia e Psicofarmacologia Experimental (PsychoLab), o Centro de Estudos em Estresse Oxidativo (Departamento de Bioquímica) e o Laboratório de Neurogenética Translacional, todos vinculados à UFRGS. Cada local teve a missão de reproduzir um experimento real, utilizando apenas as informações descritas na metodologia original.

A proposta dessa ação foi clara: sem acesso aos resultados originais ou adaptações, cada equipe deveria interpretar o que estava escrito e realizar o experimento com base nisso. Os resultados revelaram que somente entre 15% e 45% dos experimentos da área puderam ser reproduzidos com sucesso por outros laboratórios. Essa é a primeira pesquisa de abrangência nacional que visa reproduzir experimentos de maneira sistemática para verificar seus resultados.

Luiza Behrens, cientista biomédica e doutoranda do Programa de Pós-graduação em Biologia Celular e Molecular (PPGBCM/UFRGS), participou dessa pesquisa e compreende que a reprodutibilidade busca verificar se experimentos podem ser repetidos com os mesmos resultados por outros grupos, em diferentes locais e condições.

“A importância disso está em alguns fatores, tais como validar resultados científicos, promover a aplicabilidade real da ciência e entender interferências, tais como condições atmosféricas, reagentes, ambiente do laboratório”

Luiza Behrens

A acadêmica explica ainda que replicar uma pesquisa ajuda a entender quão confiáveis são os dados científicos daquele experimento, como também permite identificar falhas, pontos críticos e vieses. “Nessa participação pudemos colaborar com a melhoria dos critérios e protocolos científicos. Não se espera 100% de reprodutibilidade, mas é fundamental saber onde e por que ela falha”, diz Luiza.

No Brasil, a maior parte da ciência é produzida dentro das universidades públicas, que são financiadas com recursos públicos. A incapacidade de reproduzir resultados dessas pesquisas deixa de ser um detalhe técnico – é também uma questão de responsabilidade social, ética e econômica.

Por que repetir um experimento é importante?

Reprodutibilidade é a capacidade de que um experimento seja repetido por outra pessoa, em outro local, com outros instrumentos e, ainda assim, se chegue ao mesmo resultado. Parece algo simples, mas é um dos pilares do que se chama “rigor científico”.

O líder da Iniciativa Brasileira de Reprodutibilidade e responsável pela condução desse estudo, Olavo Bohrer Amaral, diz que a ciência precisa de auditorias internas, como forma de controle de qualidade, uma vez que a revisão por pares (peer review) não substitui a reprodução prática dos resultados. “O resultado da nossa investigação foi impactante e revela uma fragilidade estrutural. Os efeitos observados nas repetições são, em geral, menores do que os originais e, em vários casos, simplesmente desaparecem”, aponta Olavo, que é médico e doutor em Ciências Biológicas pela UFRGS e pesquisador na Universidade Federal do Rio de Janeiro.

Esse diagnóstico aponta problemas de infraestrutura (laboratórios, instrumentos, pessoal qualificado, etc.) e na cultura acadêmica. Isso porque a ciência brasileira tem mecanismos frágeis de controle.

“Muitas vezes, a gestão de dados é precária, falta padronização, há dificuldades de infraestrutura e até problemas básicos, como laboratórios que não conseguem comprar reagentes porque a Anvisa não os libera”

Olavo Bohrer Amaral

Outro ponto é o obstáculo cultural, pois a academia evita falar sobre erros. “Parece que você está atacando colegas quando fala em problema. Mas não é isso, é sobre melhorar”, explica ele.

À frente da Iniciativa Brasileira de Reprodutibilidade, Amaral busca reproduzir estudos científicos brasileiros de biomedicina para testar a viabilidade dessas pesquisas. Essa iniciativa nasceu, justamente, para ocupar um espaço crítico e institucional. Isso porque a reprodutibilidade também é política pública e informação.

Fabiano afirma que o debate técnico precisa vir acompanhado de políticas claras.

“Reprodutibilidade não deveria ser um diferencial, mas o cerne da ciência. O problema não é técnico: é político e cultural”

Fabiano Couto Corrêa da Silva

Para ele, três frentes são essenciais:

1. Planos de Gestão de Dados (PGDs): documentos que dizem como os dados serão coletados, armazenados e compartilhados antes de a pesquisa começar;
2. Infraestrutura de repositórios públicos: apesar de iniciativas como o Lume da UFRGS, ainda falta uma política nacional que centralize dados científicos;
3. Adoção dos princípios FAIR e CARE: que garantem não só a localização e reutilização dos dados (FAIR), mas também respeito ético e cultural, especialmente para dados de povos e comunidades tradicionais (CARE).

Fabiano critica a falta de retorno dos dados à sociedade. “A gente paga três vezes: para pesquisar, para publicar e para assinar a revista. E os dados continuam inacessíveis”, lamenta ele. Luiza aponta que há uma relevância prática e política na reprodutibilidade: na visão dela, o mais importante não é apenas o protocolo, mas identificar os gargalos nos laboratórios. “Esses dados podem informar políticas públicas e decisões de investimento na ciência. Por exemplo: se muitos laboratórios falham em reproduzir um PCR simples, que hoje é um procedimento bem comum, houve uma falha em protocolos validados naquele experimento. A pesquisa também quis mostrar isso: qual o rigor e qual a acessibilidade com que a nossa ciência é feita”.

Reprodutibilidade não é um problema somente do Brasil: países como Estados Unidos e membros da União Europeia já realizam estudos semelhantes para entender os gargalos da ciência local. O Brasil, a partir desse estudo pioneiro, também começa a medir e compreender a robustez de sua produção científica, algo essencial para garantir que o que se publica possa ser aplicado, replicado e confiável.

Atualmente a Austrália é uma referência nesse assunto, pontua Fabiano. Nenhum projeto financiado pelo governo é iniciado sem um PGD e sem o compromisso de disponibilizar os dados. “Em pouco tempo, a Austrália subiu em todos os rankings de produção científica. Por quê? Porque os dados estavam disponíveis internamente, não só nos artigos”, explica o professor.

No Brasil, apenas a Fapesp tem exigência consolidada de PGDs. Já o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) tentou implementar, mas recuou após resistência da comunidade científica. Amaral reconhece isso. “Fala-se em ‘soberania nacional’ para não abrir dados, mas esses dados estão no caderno do estudante, na gaveta, podendo se perder no ônibus. Não é sobre isso, é sobre auditoria e transparência.”

Para Luiza, a experiência de participar dessa verificação e replicação de dados mudou a sua forma de ler ciência. Antes ela lia um artigo e aceitava as informações. “Agora analiso o método, penso nos detalhes, vejo onde há margem para falhas”, revela. A acadêmica comenta que não se espera 100% de reprodutibilidade dos experimentos, mas é fundamental saber onde e por que ela falha. Para ela, participar desse estudo contribuiu para o seu desenvolvimento como cientista, mantendo o senso crítico em qualquer leitura.

“Esse tipo de estudo ajuda a lapidar a ciência brasileira, tornando-a mais confiável e transparente”

Luiza Behrens

Essa iniciativa mostra um lado da ciência que nem sempre vemos: a autorreflexão. É a ciência olhando para si mesma, com senso crítico e responsabilidade, buscando se tornar mais forte, mais ética e mais relevante. “Não dá pra dizer que estamos melhores ou piores do que outros países, porque ninguém sabe. Mas o fato de estarmos discutindo isso já nos coloca na vanguarda”, afirma Amaral.

Na UFRGS, grupos como o DataLab, o Centro de Ciência Aberta e iniciativas interdisciplinares vêm articulando novas práticas: repositórios, ferramentas para PGDs e visualizações que cruzam pesquisas com os Objetivos do Desenvolvimento Sustentável (ODS). Fabiano enfatiza que as bases estão disponíveis; faltam política pública e vontade.

Amaral concorda de maneira otimista. “Se você acredita que a ciência traz benefícios para a humanidade, ela precisa funcionar. E, para funcionar, ela precisa ser checada.” Ou seja: a ciência brasileira está olhando para si mesma, e isso é raro. “A gente também precisa ter senso crítico com a ciência. Não basta confiar, é preciso entender como ela é feita e buscar formas de melhorá-la”, enfatiza Luiza.

A reprodutibilidade, hoje, se mostra um dos maiores desafios (e oportunidades) para tornar a ciência nacional mais sólida, eficiente e transparente. “Se você é da área científica e está preocupado com esse tema, a Rede Brasileira de Reprodutibilidade é um canal aberto. Precisamos de mais pessoas dispostas a olhar criticamente para a ciência, não para destruí-la, mas para fortalecê-la”, salienta Amaral.

Rede Brasileira de Reprodutibilidade

A Rede de Reprodutibilidade surge, também, para promover práticas de pesquisa transparentes e confiáveis na comunidade científica brasileira. Para isso, reúne grupos, instituições e indivíduos ao redor do Brasil que se dedicam a avaliar e aprimorar práticas em diferentes áreas da ciência e a fomentar o debate sobre reprodutibilidade em pesquisa.

A diretora-executiva da Rede Brasileira de Reprodutibilidade, Eduarda Gervini Zampieri Centeno, esteve presente na 7.ª edição do Fórum de Estudos em Informação, Ciência e Sociedade, realizado no final de outubro na Faculdade de Biblioteconomia e Comunicação (Fabico), e falou sobre o principal objetivo da instituição: trazer uma ciência mais reprodutível, transparente e rigorosa pro Brasil. Segundo ela, o trabalho da Rede envolve tanto articulações com órgãos governamentais quanto ações de base com pesquisadores, incluindo estudantes de graduação e pós-graduação.

Durante a palestra na Fabico, Eduarda destacou que a ciência brasileira ainda enfrenta barreiras estruturais importantes, porque o país tem uma ciência focada em nomes de artigos e renomes de revistas, o que gera incentivos distorcidos, como a priorização de resultados positivos e o desestímulo à colaboração. Ela cita como exemplo preocupante o baixo índice de reprodutibilidade observado em diferentes áreas: “as taxas ainda são em torno de 20%, um valor baixo pensando numa literatura que muitas vezes vira base para desenvolver fármacos ou tratamentos”, avaliou.

A crise de confiança do público sobre a ciência torna o tema reprodutibilidade ainda mais urgente, pois temos vivido uma crise de confiança por parte da sociedade civil. “Está na hora de mudar a forma como conversamos com o mundo. Chamo todos para conversar conosco, pois a diversidade brasileira pode se tornar um ponto forte na produção de conhecimento.”