Níveis de medição I: como medir de maneira efetiva o impacto causado?

Em um texto recente, abordo algumas das dificuldades de se verificar o real impacto de um projeto, uma vez que, em muitos casos, gostaríamos de comparar o que aconteceu com o grupo beneficiado em relação ao que teria ocorrido com essas mesmas pessoas caso não fossem atendidas pelo programa. Dado que esse exercício de medição nem sempre é simples, o Guia de Avaliação de Impacto Socioambiental do Insper Metricis propõe a classificação dos níveis de medição de adicionalidade em três classes distintas, de acordo com a metodologia utilizada para corrigir possíveis diferenças preexistentes entre beneficiários e não participantes de uma dada iniciativa.

Aqui vale uma primeira ressalva. Em muitos casos, gestores de projetos socioambientais medem os resultados apenas do grupo tratado antes e após a intervenção. Embora tenha sua importância, tal mensuração não é considerada um nível de medição, uma vez que não possibilita a comparação com um cenário contrafactual, ou seja, o que teria ocorrido na ausência do projeto. Esse nível de medição básico é comumente utilizado em painéis de indicadores da própria atividade e seus resultados devem ser interpretados com cuidado, já que as mudanças ocorridas ao longo do tempo não podem ser atribuídas diretamente ao projeto.

Para ilustrar esse raciocínio, imagine um programa que tenha por objetivo diminuir a taxa de reincidência criminal de detentos após o cumprimento da pena. Como medir se o projeto de fato produziu impacto positivo? Era exatamente essa questão que um contrato de impacto social (social impact bond), implementado na unidade de Peterborough, no Reino Unido em 2009, tentava responder.

A simples comparação da taxa de reincidência criminal entre os detentos da unidade de Peterborough antes e depois da intervenção seria uma boa medida do sucesso (ou fracasso) da iniciativa? Caso se observasse um menor (ou maior) nível de reincidência, seria possível atribuir o um impacto positivo (ou negativo) no indicador a esse projeto? A resposta é não. Isso porque muitos outros fatores poderiam levar aos mesmos resultados. Por exemplo, um crescimento econômico acelerado no mesmo período poderia resultar em maiores oportunidades para os ex-detentos (e, consequentemente, menor taxa de reincidência) não apenas para os participantes do projeto, mas para todos que tenham sido libertados no mesmo período.

Uma das formas de corrigir o efeito de fatores externos que influenciem o resultado é comparar a performance do grupo tratado com não participantes por meio de dados agregados (nível 1 de medição). E foi exatamente isso que foi feito para se acompanhar inicialmente o impacto da iniciativa! Comparou-se a evolução das taxas de reincidência dos detentos da unidade de Peterborough com a média nacional para mitigar possíveis fatores comuns ao longo do tempo para os dois grupos.

A figura abaixo, extraída do Guia de Avaliação de Impacto Socioambiental do Insper Metricis, retrata os três níveis de medição. Em próximos textos, abordaremos em mais detalhes os níveis 2 e 3. Até breve!