Economistas tentam repetir estudos - e nem metade passa

São Paulo - Todos os dias, universidades, mídia e público debatem e compartilham estudos econômicos com resultados surpreendentes e reveladores.

O problema é que talvez eles não sejam exatamente confiáveis, de acordo com Andrew Chang e Phillip Li, economistas do Federal Reserve (o banco central americano).

A dupla tentou replicar 67 estudos publicados em 13 periódicos acadêmicos reconhecidos entre 2008 e 2013 utilizando dados e códigos fornecidos pelos próprios autores.

Considerando que 6 dos estudos usavam dados confidenciais, eles conseguiram replicar os resultados de apenas um terço (22 de 67) sem a ajuda dos autores.

Com assistência, a taxa de sucesso vai para 29 de 59, ainda assim menos que a metade (49%). Conclusão: estudos econômicos geralmente não são replicáveis.

O principal motivo para fracasso é a ausência de dados suficientes (55%), mas eles também encontraram muitos bancos de dados com erros (24%).

Os autores sugerem que a disponibilidade de dados e códigos seja pré-requisito para publicação nos periódicos e que os autores indiquem nos próprios arquivos os processos (e inclusive o software) usados na análise.

Histórico

Um estudo recente de Liran Einav e Jonathan Levin, da Universidade de Stanford , analisou os trabalhos publicados pela prestigiada revista acadêmica American Economic Review nos últimos 8 anos.

Eles descobriram que a porcentagem de estudos baseados em números não disponíveis publicamente está explodindo - de menos de 8% do total em 2006 para quase metade em 2014.

Isso é um problema nada trivial porque frequentemente, estudos econômicos são usados como justificativa para políticas públicas.

Em 2013, um estudante da Amherst College revisou os dados de um estudo de Carmen Reinhart e Kenneth Rogoff segundo o qual países com dívida alta em relação ao PIB tendiam a crescer mais lentamente - uma das bases intelectuais do movimento pela austeridade na Europa.

O problema é que os números estavam cheios de erros, o que fez a dupla ter que se retratar e negar que houvesse agido de má fé.

Em 2014, foi a vez do celebrado Thomas Pikkety ter que responder a críticas levantadas pelo Financial Times sobre dados e metodologias utiilizadas em seu bestseller "Capital no Século XXI".

O debate não foi muito além - e o livro acabaria vencendo um prêmio do próprio jornal - mas o próprio Pikkety lembrou na época que isso é tudo parte do jogo:

"A razão pela qual eu coloquei todos os meus arquivos excel online é precisamente porque quero promover um debate aberto e transparente sobre essas questões importantes e sensíveis de mensuração."

Outros campos sofrem do mesmo problema. Recentemente, uma tentativa similar feita com estudos de psicologia conseguiu replicar apenas um em cada quatro.

São Paulo - Todos os dias, universidades, mídia e público debatem e compartilham estudos econômicos com resultados surpreendentes e reveladores.

O problema é que talvez eles não sejam exatamente confiáveis, de acordo com Andrew Chang e Phillip Li, economistas do Federal Reserve (o banco central americano).

A dupla tentou replicar 67 estudos publicados em 13 periódicos acadêmicos reconhecidos entre 2008 e 2013 utilizando dados e códigos fornecidos pelos próprios autores.

Considerando que 6 dos estudos usavam dados confidenciais, eles conseguiram replicar os resultados de apenas um terço (22 de 67) sem a ajuda dos autores.

Com assistência, a taxa de sucesso vai para 29 de 59, ainda assim menos que a metade (49%). Conclusão: estudos econômicos geralmente não são replicáveis.

O principal motivo para fracasso é a ausência de dados suficientes (55%), mas eles também encontraram muitos bancos de dados com erros (24%).

Os autores sugerem que a disponibilidade de dados e códigos seja pré-requisito para publicação nos periódicos e que os autores indiquem nos próprios arquivos os processos (e inclusive o software) usados na análise.

Histórico

Um estudo recente de Liran Einav e Jonathan Levin, da Universidade de Stanford , analisou os trabalhos publicados pela prestigiada revista acadêmica American Economic Review nos últimos 8 anos.

Eles descobriram que a porcentagem de estudos baseados em números não disponíveis publicamente está explodindo - de menos de 8% do total em 2006 para quase metade em 2014.

Isso é um problema nada trivial porque frequentemente, estudos econômicos são usados como justificativa para políticas públicas.

Em 2013, um estudante da Amherst College revisou os dados de um estudo de Carmen Reinhart e Kenneth Rogoff segundo o qual países com dívida alta em relação ao PIB tendiam a crescer mais lentamente - uma das bases intelectuais do movimento pela austeridade na Europa.

O problema é que os números estavam cheios de erros, o que fez a dupla ter que se retratar e negar que houvesse agido de má fé.

Em 2014, foi a vez do celebrado Thomas Pikkety ter que responder a críticas levantadas pelo Financial Times sobre dados e metodologias utiilizadas em seu bestseller "Capital no Século XXI".

O debate não foi muito além - e o livro acabaria vencendo um prêmio do próprio jornal - mas o próprio Pikkety lembrou na época que isso é tudo parte do jogo:

"A razão pela qual eu coloquei todos os meus arquivos excel online é precisamente porque quero promover um debate aberto e transparente sobre essas questões importantes e sensíveis de mensuração."

Outros campos sofrem do mesmo problema. Recentemente, uma tentativa similar feita com estudos de psicologia conseguiu replicar apenas um em cada quatro.