O processo contínuo de avaliação das ações realizadas pelas organizações é um fator importante para entender de fato o impacto das OSCs nas comunidades onde atuam. Confira o artigo escrito por Maria Cecília Prates:
Suponha uma organização do Terceiro Setor, com um projeto social iniciado em 2020. Esse projeto já atendeu a 50 comunidades em situação de vulnerabilidade pelo Brasil afora. Está baseado em uma (premiada!) tecnologia social. Tem conseguido realizar parceria com empresas privadas em seus programas sociais nas comunidades, e também atraído vários voluntários. A equipe da organização considera que a maior conquista foi a efetiva melhoria da qualidade de vida das pessoas que vivem nesses locais, de uma pobreza sem igual. Já os moradores dessas comunidades dizem que as pessoas da organização são como “anjos vindos do céu”.
Agora, três anos depois, a organização quer se transformar (de filantrópica) em negócio de impacto social. Para tal, dentre outros requisitos, ela está sendo cobrada para medir (tangibilizar) o impacto social do projeto. Como a organização deve fazer? E que tipo de medição deveria ser exigido dela?
O que é avaliação de impacto
Avaliar impacto é uma das dimensões da avaliação de resultados. Usando a linguagem do marco lógico, temos os resultados imediatos do projeto associados aos objetivos específicos (logo após a finalização do projeto), e os resultados de médio e/ou longo prazo, denominados impactos, que são associados aos objetivos finais do projeto e para os quais o projeto deve contribuir.
Por exemplo, suponha um projeto social de qualificação digital de duração de 6 meses para jovens de uma determinada favela. Os
resultados imediatos do projeto dizem respeito ao “quanto” de conhecimento os jovens adquiriram entre o momento inicial (Marco Zero) e o momento final do curso (Marco Um). Já os
resultados de impacto dizem respeito à mudança / melhora havida no modo de inserção desses jovens no mercado de trabalho, de um a dois anos depois de eles terem finalizado o curso (Marco Dois), como consequência direta dos aprendizados que tiveram no curso.
Então, avaliar impacto é verificar as mudanças ocorridas na vida dos beneficiários do projeto, no médio e/ou longo prazo, que foram causadas exclusivamente pelo projeto – e
não por outros fatores atuando simultaneamente à ação do projeto (como mudanças provocadas por alterações em políticas de governo e/ou entrada/saída de empresas do território em questão e/ou mudanças no contexto familiar).
Normalmente, a avaliação do impacto strictu sensu (ou medição do impacto) está baseada em pesquisa estatística experimental, de modo a conseguir
isolar
os efeitos do projeto de outros fatores intervenientes. Assim, por meio do uso de estatística, a pesquisa busca comparar, à semelhança de um experimento em laboratório, a evolução da situação do grupo do experimento (ou grupo dos participantes do projeto) com relação à evolução do grupo de controle (ou grupo dos não-participantes, que deve ser constituído por pessoas com características bastante semelhantes às do grupo do experimento, salvo a sua participação no projeto).
A questão é que esse tipo de avaliação de impacto de base experimental exige procedimentos onerosos, complexos, demorados e que demandam a contratação de equipe especializada. Vem sendo utilizada, há vários anos, para quantificar os impactos, com certa precisão e confiabilidade, dos programas (grandes e também complexos) do setor público.
Já para as organizações menores, com ou sem fins lucrativos, essas avaliações tradicionais de impacto (de base experimental) são raramente indicadas. Primeiro, porque elas não precisam desse tipo de avaliação, como argumentarei a seguir. E segundo, porque elas têm projetos menores, recursos (humanos e financeiros) limitados, e o tempo é curto.
Nessas organizações, boas evidências do impacto podem ser obtidas de modo confiável, sem a necessidade de realizar pesquisa experimental.
Avaliar impacto versus medir impacto
A medição do impacto social estima a probabilidade de o projeto ter provocado a mudança desejada na vida de seus beneficiários com referência a determinados indicadores, considerando um dado intervalo de confiança e margem de erro. Já a avaliação do impacto vai muito além da medição propriamente do impacto, e incorpora os resultados apurados (e o levantamento deles) na gestão do dia a dia da organização e em suas tomadas de decisão.
Há hoje uma consciência de que as organizações sociais (sobretudo as dos países desenvolvidos) vinham medindo demais, e avaliando de menos. Ou seja, muito preocupadas no esmero com os métodos de medição de impacto, elas estavam se esquecendo de fazer da avaliação de impacto uma ferramenta para orientar a condução dos seus projetos sociais.
Aspectos a serem desenvolvidos na avaliação de impacto
Destaco, a seguir, alguns aspectos que têm sido apontados por algumas organizações do Terceiro Setor no Reino Unido e nos Estados Unidos sobre como deveria ser a avaliação do impacto social. Chamo a atenção para o paralelo grande nos desafios avaliativos tanto lá como cá, no Brasil.
- Avaliação pressupõe aprendizagem. Não bastar apenas medir. Avaliação é um processo sistemático e intencional de coleta e análise de dados (qualitativos e quantitativos) para produzir informações para a aprendizagem, tomada de decisão e ação.
- Na realidade, as organizações do Terceiro Setor não precisam “medir” impacto. Ultimamente, as organizações sociais dos EUA e do Reino Unido estavam se sentindo asfixiadas pela compulsão em medir impacto, usando a metodologia strictu sensu. Porém, se considerarmos que o impacto é decorrência da qualidade da teoria da mudança (ou da estratégia causal) adotada e da qualidade da execução do projeto, basta que as organizações sociais se concentrem na avaliação da execução do projeto, e adotem boas teorias da mudança – já devidamente testadas pelos “especialistas da academia” e com o seu impacto social comprovado.
- A avaliação é uma ferramenta importante de gestão do projeto, e deve ser útil para orientar a condução do projeto. De modo algum, a avaliação de impacto pode ser percebida (apenas) como uma demanda que vem de fora do projeto, uma exigência que é imposta pelo financiador ou alguma instituição parceira.
- A avaliação deve ter o “tamanho” da organização, começar pequena e ir crescendo, de acordo com as perguntas avaliativas relevantes que forem surgindo, e o fôlego da organização. Deve se concentrar nos quatro pilares básicos: (1) mapear a teoria da mudança; (2) priorizar o que precisa ser acompanhado; (3) escolher o nível das evidências dos resultados e impactos; (4) selecionar as fontes dos dados e desenvolver as ferramentas (questionários, softwares, etc…).
- É a equipe executora quem deve coordenar a avaliação do projeto, pois é ela que está envolvida diretamente com o trabalho social. De modo algum, esse papel central pode ser delegado a avaliadores externos.
Avaliação de impacto e as bases de dados do projeto
Se esperamos que a avaliação de impacto seja de fato útil à organização e se transforme em uma ferramenta de gestão para ela, é fundamental que (pelo menos no início) a avaliação esteja baseada nas próprias bases de dados do projeto. Sugiro a leitura do Manual sobre planejamento e avaliação de projetos sociais
que escrevi para as organizações do Terceiro Setor, com orientações e exemplos práticos de avaliação.
Pode parecer uma orientação óbvia, mas raramente as organizações sociais têm esse sistema de informações atualizado e com fácil acesso
/ou pesquisa aos dados. Mais para frente, se for de fato necessário, poderão ser encomendadas avaliações de impacto strictu sensu.
Bases de dados para a gestão do projeto
Considerando que um determinado projeto esteja baseado em uma tecnologia social (e que essa já tenha uma metodologia de implementação), para cada iniciativa na comunidade, pode ser criada uma planilha para acompanhamento das atividades com a especificação do cronograma, responsáveis e custos (do tipo previsto X realizado).
Pode ser criada uma planilha com os produtos (outputs) do projeto, vindo nas linhas as iniciativas em cada comunidade, e nas colunas os indicadores relevantes selecionados para serem acompanhados. Assim, essa planilha conseguirá mostrar ao longo dos anos todas as entregas do projeto.
Bases de dados para acompanhar os resultados
Também é importante organizar a base de dados do projeto de modo a conter as informações relevantes acerca do acompanhamento dos resultados de todos os participantes do projeto. Nessas planilhas de resultados (outcomes e impacts), cada linha contempla um participante, e na coluna os indicadores relevantes selecionados para acompanhar passagem dele pelo projeto: como ele era antes de iniciar o projeto (Marco zero); como ele ficou logo ao final do projeto (Marco 1 / resultados imediatos); e como ele ficou algum tempo depois, e qual foi a causalidade atribuída (por ele) ao projeto (Marco 2 / impactos).
