La evaluación de políticas puede entenderse como el proceso de observación, medida, análisis e interpretación, orientado al conocimiento del funcionamiento de una determinada intervención pública, con el objeto de alcanzar una valoración sobre su utilidad social.[20] Esta intervención pública se ve reflejada en decisiones que las autoridades respectivas reflejan en planes, programas y proyectos que, al momento de ponerse en operación, utilizan medios políticos, jurídicos, económicos y sociales, inclusive de tipo cultural, para dar cumplimiento a los objetivos que motivan la puesta en marcha de dicha política pública.
Por lo tanto, la evaluación es una actividad específica y con identidad propia, diferenciada de otras como el control interno, la auditoría financiera,[21] la auditoría de gestión[22] o el control presupuestario, pero con las cuales mantiene una estrecha relación de complementariedad. El objetivo último de la evaluación de políticas es obtener información para tomar decisiones.[20].
Los diseños evaluativos se suelen clasificar en tres grupos principales:.
Es importante no olvidar que hablar de evaluación de una política pública es mucho más amplio, aquí sólo se han planteado algunos elementos que permiten establecer ciertos criterios para iniciar un proceso de evaluación, su enriquecimiento se dará en la medida que otros estudiosos incorporen sus experiencias y conocimiento sobre el tema.
Perspectivas y modelos en evaluación de programas
La evaluación de políticas públicas y sus programas o intervenciones sociales, tal como se entiende en la actualidad, comienza en los años 40 y 50 del siglo pasado en Estados Unidos. Centrada en la evaluación mediante objetivos en el campo de la educación, Ralph Tyler[23] es sin duda el representante más relevante de estos comienzos.
Según esta perspectiva, un programa o intervención debía tener unos objetivos operativos específicos; éstos miden el logro/efecto de la intervención, circunscribiéndose la evaluación a constatar fehacientemente si los objetivos se cumplen o no y en qué grado. El procedimiento evaluativo seguido consistía sencillamente en la medición preprograma seguida de una medición posprograma de los objetivos operativos, deduciendo el logro (o no) de los mismos y emitiendo el correspondiente juicio de valor positivo o negativo.
A mediados de los años 60, D. Campbell y J. Stanley[24] introducen una nueva perspectiva evaluativa centrada en el método experimental, con el planteamiento de que no hay diferencias entre evaluación y método científico. En los años siguientes el número de evaluaciones realizadas desde esta perspectiva se multiplica y adquiere rasgos de paradigma dominante, aunque sin desplazar totalmente la evaluación mediante objetivos.
Por su parte, Edward Schuman[25] identifica evaluación con investigación aplicada sobre la efectividad de una intervención social siguiendo, por tanto, un modelo cientificista. Sin embargo, no se atiene sólo al análisis de la consecución de objetivos, sino que además añade como objetivos de la evaluación: analizar los motivos de éxito y fracaso en la consecución de los objetivos de los programas/servicios, resaltar la filosofía base de la intervención exitosa, y redefinir los medios necesarios para lograr los objetivos. Además, aunque el estudio de efectos es prioritario en cualquier evaluación, según Schuman, para su correcto análisis es necesario recoger información sobre: los procesos del programa; la población objeto (características y volumen); condicionantes situacionales del desarrollo de la intervención, y los efectos diferenciales de la misma.
Otra interesante aportación de Schuman es plantear tres posibles tipos de evaluación: evaluación última de resultados (la típica evaluación mediante objetivos), evaluación previa (centrada en la delimitación de necesidades, de metas y objetivos y puesta en marcha de la intervención social), y evaluación durante el proceso (identifica las actividades o procedimientos más útiles). Por último, el modelo de Schuman especifica hasta cinco criterios de valoración que realmente dan lugar a cinco ámbitos de evaluación, a saber: 1) criterio o evaluación del esfuerzo que implica la intervención social (calidad y cantidad de las actividades de la intervención); 2) evaluación del producto o resultado; 3) evaluación de la suficiencia; 4) evaluación de la eficiencia; y 5) evaluación del proceso, o sea, el análisis de qué lleva a los resultados.
A mediados de los años 70 y principios de los 80 la perspectiva experimental entra en crisis esencialmente por una razón: la realización de auténticos experimentos sociales es muy difícil, en muchos casos imposible y siempre requiere un gran esfuerzo económico llevando mucho tiempo, por lo que sus resultados muchas veces no resulta ni útiles ni utilizables.
Scriven[26] propone un modelo libre de objetivos, que ponga el énfasis en las consecuencias reales y totales que produce la intervención social tomando como criterio de evaluación las necesidades de los usuarios/consumidores. Scriven rompe así con los enfoques anteriores, al considerar objeto de evaluación todos los efectos provocados por el programa y no sólo aquellos que estaban previstos inicialmente en su definición, añadiendo la perspectiva del usuario, del cliente.
Otra propuesta destacada es la de R. Stake,[27] denominada evaluación responsiva, por su énfasis en acomodarse a las necesidades de los “clientes”; es decir, el modelo tiene como primera consideración el uso de los resultados de la evaluación de quienes la encargan. Propone tanto procedimientos descriptivos como de emisión de juicios/valores, insistiendo en que aunque la evaluación no está completa hasta que no se emiten los correspondientes juicios de valor, la parte descriptiva es ya una evaluación o, en cualquier caso, es un paso previo a la correspondiente valoración o enjuiciamiento de un programa.
Crombach[28] presenta el modelo UTO y propone una evaluación asentada en una planificación previsora y flexible de las actividades evaluativas. Junto a otros autores como Stake, Schuman, etc. representan el enfoque conocido como evaluación pluralista o evaluación naturalista, que se apoya en el reconocimiento de la pluralidad de sistemas de valores que coexisten en el seno de la sociedad. Aunque sus enfoques metodológicos difieren en algunos aspectos, todos consideran la evaluación como investigación aplicada que puede proporcionar conclusiones objetivas e imparciales sobre la consecución de los objetivos del programa y aportaciones útiles para redefinir los medios y recursos necesarios para su logro. En definitiva, promueve la participación activa de los agentes implicados en un programa, otorgando menos importancia a la evaluación cuantitativa de resultados que a la cualitativa de los procesos de gestión y ejecución.
Para Stufflebeam,[29] la evaluación es un proceso que proporciona información útil para la toma de decisiones. Esta información se refiere a: 1) Qué necesidades existen y hasta qué punto los objetivos propuestos reflejan las necesites sentidas; 2) Descripción del programa de intervención, de las propuestas alternativas contempladas y análisis conceptual de la adecuación de la propuesta elegida a los objetivos; 3) Grado de realización del plan de intervención propuesto y descripción de sus modificaciones; y 4) Resultados/consecuencias observadas de la intervención y grado en que se han satisfecho las necesidades. Para conseguir esta información, Stufflebeam plantea el modelo CIPP, que es sencillamente la enumeración de cuatro tipos distintos de evaluación: evaluación del contexto (C); evaluación de los inputs (I); evaluación del proceso ℗; y evaluación del producto ℗.
Con la incorporación de estos últimos modelos se amplía los objetivos de la evaluación, de modo que resulte mucho más sistemática y global. No sólo se trata de valorar si los objetivos se consiguen (evaluación de resultados o de producto), sino también de identificar las necesidades, si estas están plenamente recogidas en los programas/servicios, cómo se implementan los programas/servicios, cómo funcionan estos programas/servicios, etc. Estos nuevos modelos inician el camino hacia una evaluación totalizadora y sistemática.
Resúmenes de evidencia
Las revisiones sistemáticas son documentos largos y técnicos, cuya utilización puede resultar difícil para los formuladores de políticas al momento de tomar decisiones. Por ello, se realizan resúmenes de evidencia, que son documentos breves que describen los principales hallazgos de las revisiones sistemáticas. Se ha planteado analizar si los resúmenes de evidencia ayudan a los formuladores de políticas a utilizar la evidencia obtenida de las revisiones sistemáticas, a la vez que se ha propuesto identificar mejores maneras de presentar los resúmenes con el fin de aumentar la utilización de los mismos.
Se realizó una revisión de seis estudios controlados aleatorios, que contaron con la participación de personas de Europa, América, África y Asia. Dos de los estudios encontraron que existía poca o ninguna diferencia en la forma en que los formuladores de políticas utilizaban los resúmenes. Asimismo, en términos de usabilidad, los participantes calificaron mejor al formato de entrada que la revisión sistemática completa, y sintieron que todos los formatos de resumen de evidencia eran más fáciles de entender que las revisiones sistemáticas completas. Sin embargo, todavía existe poca evidencia acerca de la mejor manera de presentar la evidencia a los formuladores de políticas.[30].