La evaluación de políticas puede entenderse como el proceso de observación, medida, análisis e interpretación, orientado al conocimiento del funcionamiento de una determinada intervención pública, con el objeto de alcanzar una valoración sobre su utilidad social.[20] Esta intervención pública se ve reflejada en decisiones que las autoridades respectivas reflejan en planes, programas y proyectos que, al momento de ponerse en operación, utilizan medios políticos, jurídicos, económicos y sociales, inclusive de tipo cultural, para dar cumplimiento a los objetivos que motivan la puesta en marcha de dicha política pública.
Por lo tanto, la evaluación es una actividad específica y con identidad propia, diferenciada de otras como el control interno, la auditoría financiera,[21] la auditoría de gestión[22] o el control presupuestario, pero con las cuales mantiene una estrecha relación de complementariedad. El objetivo último de la evaluación de políticas es obtener información para tomar decisiones.[20].
Los diseños evaluativos se suelen clasificar en tres grupos principales:.
Es importante no olvidar que hablar de evaluación de una política pública es mucho más amplio, aquí sólo se han planteado algunos elementos que permiten establecer ciertos criterios para iniciar un proceso de evaluación, su enriquecimiento se dará en la medida que otros estudiosos incorporen sus experiencias y conocimiento sobre el tema.
Perspectivas e modelos na avaliação de programas
A avaliação das políticas públicas e dos seus programas ou intervenções sociais, tal como são entendidas hoje, inicia-se nas décadas de 40 e 50 do século passado, nos Estados Unidos. Focado na avaliação através de objetivos no campo da educação, Ralph Tyler[23] é sem dúvida o representante mais relevante destes primórdios.
De acordo com esta perspectiva, um programa ou intervenção deveria ter objectivos operacionais específicos; Estes medem a realização/efeito da intervenção, limitando a avaliação à verificação fiável se os objectivos são alcançados ou não e em que medida. O procedimento avaliativo seguido consistiu simplesmente na medição pré-programa seguida pela medição pós-programa dos objectivos operacionais, deduzindo a sua realização (ou não) e emitindo o correspondente juízo de valor positivo ou negativo.
Em meados da década de 60, D. Campbell e J. Stanley[24] introduziram uma nova perspectiva avaliativa focada no método experimental, com a proposição de que não há diferenças entre a avaliação e o método científico. Nos anos seguintes, o número de avaliações realizadas nesta perspectiva multiplica-se e adquire características de um paradigma dominante, embora sem deslocar completamente a avaliação por objectivos.
Por seu lado, Edward Schuman[25] identifica a avaliação com a investigação aplicada sobre a eficácia de uma intervenção social seguindo, portanto, um modelo científico. Contudo, não se limita apenas à análise do cumprimento dos objetivos, mas também acrescenta como objetivos da avaliação: analisar as razões do sucesso e do fracasso na concretização dos objetivos dos programas/serviços, destacar a filosofia base da intervenção bem sucedida, e redefinir os meios necessários para atingir os objetivos. Além disso, embora o estudo dos efeitos seja uma prioridade em qualquer avaliação, segundo Schuman, para a sua correta análise é necessário recolher informações sobre: os processos do programa; a população-alvo (características e volume); condições situacionais de desenvolvimento da intervenção e seus efeitos diferenciais.
Outra contribuição interessante de Schuman é propor três tipos possíveis de avaliação: avaliação final de resultados (a típica avaliação por objetivos), avaliação prévia (focada na delimitação de necessidades, metas e objetivos e implementação da intervenção social) e avaliação durante o processo (identifica as atividades ou procedimentos mais úteis). Por último, o modelo Schuman especifica até cinco critérios de avaliação que dão origem efectivamente a cinco áreas de avaliação, nomeadamente: 1) critério ou avaliação do esforço envolvido na intervenção social (qualidade e quantidade das actividades de intervenção); 2) avaliação do produto ou resultado; 3) avaliação de suficiência; 4) avaliação de eficiência; e 5) avaliação de processos, ou seja, a análise do que leva aos resultados.
Em meados dos anos 70 e início dos anos 80, a perspectiva experimental entrou essencialmente em crise por uma razão: realizar experiências sociais autênticas é muito difícil, em muitos casos impossível, e exige sempre um grande esforço económico e leva muito tempo, pelo que os seus resultados muitas vezes não são úteis nem utilizáveis.
Scriven[26] propõe um modelo livre de objetivos, que coloca ênfase nas consequências reais e totais produzidas pela intervenção social, tomando as necessidades dos usuários/consumidores como critérios de avaliação. O Scriven rompe assim com abordagens anteriores, ao considerar todos os efeitos causados pelo programa a avaliar e não apenas aqueles que estavam inicialmente previstos na sua definição, acrescentando a perspectiva do utilizador, o cliente.
Outra proposta notável é a de R. Stake,[27] chamada avaliação responsiva, devido à sua ênfase em acomodar as necessidades dos “clientes”; Ou seja, o modelo tem como primeira consideração a utilização dos resultados da avaliação de quem o encomenda. Propõe tanto procedimentos descritivos como a emissão de julgamentos/valores, insistindo que embora a avaliação não esteja completa até que os correspondentes julgamentos de valor sejam emitidos, a parte descritiva já é uma avaliação ou, em qualquer caso, é uma etapa anterior à correspondente avaliação ou julgamento de um programa.
Crombach[28] apresenta o modelo UTO e propõe uma avaliação baseada em um planejamento prospectivo e flexível das atividades de avaliação. Junto com outros autores como Stake, Schuman, etc. Representam a abordagem conhecida como avaliação pluralista ou avaliação naturalista, que se baseia no reconhecimento da pluralidade de sistemas de valores que coexistem na sociedade. Embora as suas abordagens metodológicas difiram em alguns aspectos, todos consideram a avaliação como investigação aplicada que pode fornecer conclusões objectivas e imparciais sobre a realização dos objectivos do programa e contribuições úteis para redefinir os meios e recursos necessários para a sua realização. Em suma, promove a participação activa dos agentes envolvidos num programa, dando menos importância à avaliação quantitativa dos resultados do que à avaliação qualitativa dos processos de gestão e execução.
Para Stufflebeam,[29] avaliação é um processo que fornece informações úteis para a tomada de decisões. Esta informação refere-se a: 1) Quais as necessidades existentes e em que medida os objectivos propostos reflectem as necessidades sentidas; 2) Descrição do programa de intervenção, das propostas alternativas contempladas e análise conceptual da adequação da proposta escolhida aos objetivos; 3) Grau de conclusão do plano de intervenção proposto e descrição das suas modificações; e 4) Resultados/consequências observados da intervenção e grau em que as necessidades foram satisfeitas. Para obter esta informação, Stufflebeam propõe o modelo CIPP, que é simplesmente a enumeração de quatro tipos diferentes de avaliação: avaliação de contexto (C); avaliação de insumos (I); avaliação de processo ℗; e avaliação do produto ℗.
Com a incorporação destes últimos modelos, os objetivos da avaliação são ampliados, para que seja muito mais sistemática e global. Não se trata apenas de avaliar se os objectivos são alcançados (avaliação de resultados ou de produto), mas também de identificar as necessidades, se estas estão totalmente incluídas nos programas/serviços, como os programas/serviços são implementados, como funcionam esses programas/serviços, etc.
Resumos de evidências
As revisões sistemáticas são documentos longos e técnicos, que podem ser difíceis de utilizar pelos decisores políticos na tomada de decisões. Por esse motivo, são elaborados resumos de evidências, que são documentos breves que descrevem os principais achados das revisões sistemáticas. Foi proposto analisar se os resumos de evidências ajudam os decisores políticos a utilizar as evidências obtidas a partir de revisões sistemáticas, ao mesmo tempo que foi proposto identificar melhores formas de apresentar resumos, a fim de aumentar a sua utilização.
Foi realizada uma revisão de seis estudos randomizados e controlados, envolvendo pessoas da Europa, América, África e Ásia. Dois dos estudos concluíram que havia pouca ou nenhuma diferença na forma como os decisores políticos utilizavam os resumos. Da mesma forma, em termos de usabilidade, os participantes avaliaram o formato de entrada mais alto do que a revisão sistemática completa e sentiram que todos os formatos de resumo de evidências eram mais fáceis de compreender do que as revisões sistemáticas completas. No entanto, ainda há poucas evidências sobre a melhor forma de apresentar evidências aos decisores políticos.[30].