Cambridge, Massachusetts — Ao longo dos últimos anos, o governo lançou uma série de programas para atacar problemas sociais do país. Um exemplo é o Bolsa Família, criado em 2003 e considerado o maior programa de transferência de renda do mundo, com 14 milhões de famílias de baixa renda beneficiadas. De tempos em tempos, o governo costuma divulgar balanços sobre esse e outros programas, mostrando o número de pessoas atendidas e o valor dos recursos aplicados.

Mais raras são as avaliações dos reais efeitos das políticas públicas — não só para os beneficiários dos programas mas também para toda a sociedade. O Ministério do Desenvolvimento Social, responsável pelo Bolsa Família, até tem uma secretaria que cuida das avaliações, mas seu foco tem sido determinar o alcance dos programas e garantir que as famílias estejam recebendo o benefício.

A desatenção com uma avaliação mais profunda do dinheiro investido não é exclusividade do governo federal. Prefeitura e governos estaduais também confundem avaliação de impacto com medição da cobertura de uma política.

“Nossos políticos têm mania de grandeza. Eles acham que dizer quantos milhões de pessoas são atendidas por um programa basta para mostrar o sucesso da iniciativa”, diz o economista Cláudio Ferraz, professor na Pontifícia Universidade Católica do Rio de Janeiro e um crítico da ausência de uma cultura de avaliação de políticas públicas no Brasil. O começo das administrações municipais e o momento de transição por que passa o governo federal criam uma oportunidade para começar a mudar essa cultura. E há novos parceiros dispostos a ajudar nessa tarefa.

Em julho de 2015, o Instituto Tecnológico de Massachusetts (MIT), uma das universidades mais prestigiadas do mundo, abriu no Rio de Janeiro uma unidade de seu Laboratório da Pobreza, um centro de estudos que dissemina avaliações rigorosas do impacto de políticas públicas. O laboratório do MIT foi criado em 2003 pela francesa Esther Duflo e pelo indiano Abhijit Banerjee, ambos economistas com sólida reputação no mundo acadêmico. Para a dupla (e também casal) de economistas, a medição do impacto de políticas sociais deve seguir o mesmo rigor, por exemplo, de uma indústria farmacêutica que avalia se um remédio funciona e se tem efeitos colaterais.

Em 2005, o centro do MIT recebeu doações milionárias de um magnata saudita e mudou o nome para Abdul Latif Jameel Poverty Action Lab — ou simplesmente J-Pal — e conseguiu rapidamente expandir a atuação. Já apoiou 800 estudos de 143 pesquisadores associados, oriundos de 49 universidades, incluindo as de maior prestígio no planeta. “No Brasil, houve várias conversas de colaboração no passado, mas em geral tem sido difícil obter apoio do governo para avaliações rigorosas”, diz Ferraz, da PUC-Rio, que é um dos pesquisadores associados ao J-Pal.

Somente em meados do ano passado o J-Pal conseguiu finalmente convencer o governo federal a tocar projetos de avaliação de políticas. O trabalho de verdade, portanto, acaba de começar. Hoje, o J-Pal tem pesquisadores envolvidos em duas frentes de trabalho.

Uma delas é a avaliação do impacto do Bolsa Verde, programa do Ministério do Meio Ambiente que oferece complementos ao Bolsa Família para 50 000 famílias em regiões de conservação ambiental, ao custo anual de 100 milhões de reais. As famílias envolvidas em atividades extrativistas recebem 1 200 reais por ano para conservar recursos naturais, como as florestas. “O objetivo da avaliação é determinar se e quais critérios de elegibilidade para o programa deveriam ser alterados”, diz Mauro Pires, diretor de extrativismo no ministério. “Os resultados podem ser vitais para o futuro do Bolsa Verde.”

O J-Pal também está elaborando cursos para gestores públicos por meio da Escola Nacional de Administração Pública (Enap). A intenção é criar uma cultura de avaliação e uso dessas pesquisas para melhorar as políticas. “Queremos não apenas avaliar as políticas mas também utilizar os resultados na tomada de decisões sobre manutenção, aprofundamento, reestruturação ou descontinuidade dos programas”, afirma Francisco Gaetani, presidente da Enap.

O J-Pal segue uma metodologia chamada de “experimentos sociais”. A ideia é medir o impacto de uma política separando a amostra analisada em grupos com características socioeconômicas parecidas, mas com uma diferença essencial: um deles recebe o benefício e outro não. São, no jargão dos pesquisadores, os grupos de controle e de tratamento, que depois têm seus resultados comparados.

No caso do Bolsa Verde, como o programa cobre apenas parte do público potencial, há famílias que não recebem o benefício e que podem, então, ser usadas como base de comparação com as que recebem. Assim, os pesquisadores podem estabelecer — ou não — relação de causalidade entre o programa e melhorias em indicadores sociais. A metodologia causa polêmica. “Políticos e gestores públicos temem que não seja fácil explicar à população por que não conseguem levar um programa a todos”, afirma Banerjee. “Sinto que muitos formuladores de políticas públicas são apegados aos programas que desenham e não querem avaliá-los, com medo de que os resultados revelem ser preciso fazer alterações”, diz Esther.

Controvérsias à parte, as pesquisas do J-Pal têm tido efeito significativo no estudo de como reduzir a pobreza no mundo. Na Índia, políticas de combate à corrupção ganharam força após evidências de que um novo sistema de controle poderia diminuir 24% dos desvios dos recursos destinados a serviços públicos, como saúde, educação e saneamento. A pesquisa mediu intervenções no estado de Bihar que reduziam o custo sem comprometer a qualidade ou a cobertura dos serviços.

Mas a política sofria oposição ferrenha da burocracia local — tanto que foi extinta antes de os resultados da pesquisa serem divulgados. Depois precisou ser retomada por pressão popular e foi copiada por outros estados indianos. Na Indonésia, o principal programa de subsídios de comida tinha sérios problemas de execução, detectados em experimentos sociais. Algumas adaptações, como a criação de um cartão pelo qual o beneficiário poderia se identificar, aumentaram em mais de 25% o uso do benefício.

Muitas dessas evidências foram contadas no livro Economia dos Pobres, publicado em 2011 por Abhijit Banerjee e Esther Duflo e eleito o livro do ano pelo jornal Financial Times. Esther virou uma estrela entre economistas do desenvolvimento, principalmente depois de receber em 2010 o prêmio John Bates Clark Medal, dado aos economistas mais brilhantes com menos de 40 anos — uma honraria que faz a academia considerar provável que ambos venham a dividir um Prêmio Nobel de Economia no futuro.

Saindo com atraso

O empurrãozinho de um renomado centro de pesquisas, como o J-Pal, poderá ajudar a criar uma cultura de avaliação de políticas públicas no Brasil. Mas não funcionará sozinho. Afinal, quando o tema é medir o impacto das políticas e adaptá-las com base nos resultados das pesquisas, o Brasil está bem atrasado. Países desenvolvidos, como o Canadá e a Bélgica, garantem as avaliações das políticas por lei. A Colômbia tem um órgão que ajuda os outros ministérios a elaborar e usar estudos de impacto das políticas — chama-se Sinergia.

Mas poucos exemplos são tão inspiradores como o do México. Em 2005, o país criou o Coneval, um conselho nacional de avaliação de políticas de desenvolvimento social. Esse órgão também realiza pesquisas e auxilia gestores públicos na tarefa de pensar a avaliação desde o desenho inicial dos pilotos de um programa. A prática começou ainda nos anos 90, quando o governo chefiado pelo presidente Ernesto Zedillo iniciou um programa que transformaria o jeito de fazer política social na América Latina.

Foi a primeira ação de transferência de renda condicionada de que se tem notícia — uma espécie de Bolsa Família do México. Na época, chamava-se Progresa. Mas, além da inovação no desenho da política, a equipe de Zedillo, liderada pelo vice-ministro da Fazenda Santiago Levy, também foi corajosa ao pensar na avaliação do impacto do Progresa desde a fase piloto. Durante os primeiros anos do programa, o governo mexicano não conseguiu levar o Progresa a todos que precisavam dele, dadas as restrições orçamentárias.

Mas Levy aproveitou a oportunidade para elaborar uma avaliação que tentasse isolar o efeito das transferências de renda. E conseguiu. Ele mostrou que, nas 300 000 famílias que receberam o benefício inicialmente, houve aumento na aquisição e no consumo de alimentos, nas matrículas em escolas e em cuidados pré-natal. Houve também redução na proporção de crianças com desnutrição e na incidência de doenças infecciosas. Essas melhorias seguiam, na maioria dos casos, tendências nacionais. Mas, ao comparar os grupos de tratamento e de controle, Levy mostrou que o avanço era mais rápido e expressivo entre os que recebiam o benefício.

Esperar boa vontade de políticos para avaliar com rigor as ações governamentais parece algo utópico. Mas há uma parte interessada em especial que tem poder de influência: os financiadores. Bancos de desenvolvimento e organizações civis podem exigir ou pressionar governos por avaliações dos resultados. É o que tem feito o Banco Interamericano de Desenvolvimento (BID). Em 2008, apenas 9% dos projetos financiados pelo BID tinham avaliação de impacto prevista.

Naquele ano, o banco determinou que perseguiria mais evidências de que as políticas apoiadas por ele efetivamente causavam melhoria de vida nas populações atendidas. Hoje, 43% das iniciativas financiadas pelo BID na América Latina têm avaliação de impacto, inclusive algumas no Brasil, como dois projetos de segurança pública no Espírito Santo e um de transporte em Campo Grande, em Mato Grosso do Sul.

Fundações internacionais, como a do bilionário Bill Gates, também exigem avaliações rigorosas dos impactos de uma política para continuar a financiar sua expansão. “O custo da avaliação de impacto em relação ao dispêndio total com os programas sociais é baixo”, disse o mexicano Santiago Levy, hoje vice-presidente do BID, em entrevista a EXAME em maio de 2016. “Não há impedimento metodológico ou técnico. É uma questão de querer fazer.”

A aprovação da emenda constitucional que limita os gastos públicos torna a avaliação das políticas uma pauta ainda mais urgente. Novos programas, como o Criança Feliz, do Ministério do Desenvolvimento Social, a reforma do ensino médio, as novas versões do Ciência Sem Fronteiras e do Fies, entre outros, deveriam ser avaliados desde o nascedouro. Os governos municipais que acabam de assumir também deveriam incluir no desenho das políticas mecanismos de avaliação. Um exemplo: na gestão anterior, a prefeitura de Embu das Artes, em São Paulo, conseguiu identificar um grave problema na política de modernização das unidades básicas de saúde após uma avaliação feita pela consultoria MGov, que usa telefones celulares para a coleta de dados.

A equipe do MGov aproveitou o cronograma de implantação da política para comparar tempos de espera e avaliação popular das unidades com e sem sistemas informatizados. O resultado foi surpreendente. As unidades informatizadas tinham níveis de satisfação mais baixos. O MGov investigou o caso e descobriu que os funcionários se enrolavam com o novo sistema por falta de treinamento. Isso permitiu que a prefeitura adaptasse a implementação. Uma boa avaliação pode ser a diferença entre o sucesso e o fracasso de uma política pública — e até de uma administração.