0% encontró este documento útil (0 votos)
25 vistas58 páginas

Seguimiento y Evaluacion

Este documento trata sobre los principios básicos del seguimiento y evaluación de proyectos u organizaciones. Explica la diferencia entre seguimiento, que implica la recopilación sistemática de datos, y evaluación, que compara los impactos reales con los planes. También describe conceptos clave como eficacia, efectividad e impacto.
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd
0% encontró este documento útil (0 votos)
25 vistas58 páginas

Seguimiento y Evaluacion

Este documento trata sobre los principios básicos del seguimiento y evaluación de proyectos u organizaciones. Explica la diferencia entre seguimiento, que implica la recopilación sistemática de datos, y evaluación, que compara los impactos reales con los planes. También describe conceptos clave como eficacia, efectividad e impacto.
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd
Está en la página 1/ 58

Seguimiento y evaluación

DESCRIPCIÓN GENERAL
Resumen

Esta herramienta trata sobre las «tuercas y tornillos» (los principios básicos) de la creación
y uso de un sistema de seguimiento y evaluación para un proyecto u organización. Explica
el concepto de seguimiento y evaluación, cómo planificarlo, cómo diseñar un sistema que
te ayude a establecer un seguimiento y un proceso de evaluación que genere todo un
conjunto funcional. Se centra en cómo recopilas información necesaria, y a continuación,
cómo te salvas de morir ahogado entre tanto dato, mediante un sencillo análisis de
información. Por último, también realza e trata de abordar algunos de los aspectos
relacionados con la acción, sobre aquello que se ha aprendido.

¿Por qué es necesaria una herramienta de seguimiento y evaluación?

Si no te importa saber cómo estás haciendo las cosas o el impacto que estás causando,
¿por qué molestarse con esto? El seguimiento y la evaluación te permite evaluar la calidad
e impacto de tu trabajo en relación con tu plan de acción y tu plan estratégico. Para que el
seguimiento y la evaluación resulten realmente valiosos, tienes que haberlo planificado de
manera correcta. Sobre planificación existe otra herramienta que la explica en detalle.

¿Quién debería utilizar esta herramienta?

Debería ser útil para cualquier persona que trabaje para una organización o proyecto y de
verdad le importe la eficacia, efectividad e impacto de éstos.

¿Cuándo será útil esta herramienta?

Esta herramienta será útil cuando:


• Crees sistemas de recopilación de datos durante las fases de planificación de un
proyecto u organización.
• Quieras analizar la información recopilada a través del proceso de seguimiento;
• Estés interesado en la eficacia y efectividad de tu trabajo.
• Llegues a una etapa en tu proyecto o en la vida de tu organización en la que
pienses que sería útil evaluar el impacto que está teniendo tu trabajo.
• Soliciten los donantes una evaluación externa de tu organización y/o trabajo.

A pesar de que en las organizaciones de sociedad civil se tiende a considerar una


evaluación como un hecho que ocurre cuando un donante insiste en que se haga, en
realidad, el seguimiento y evaluación son herramientas internas de administración de
incalculable valor. Si no se evalúa tu trabajo en relación con metas e indicadores, puede
que continúes empleando recursos sin un fin fructífero y sin que se produzca un cambio en
la situación que habías identificado como un problema.

Seguimiento y evaluación por email: [email protected] 1


Seguimiento y evaluación

PRINCIPIOS BÁSICOS
pp.2-40

GENERAL
pg.1 MEJOR PRÁCTICA RECURSOS GLOSARIO DE
pg.47
pp.41-46 TÉRMINOS pp.48-50
Ejemplos

Ejemplos de Estudio de caso: diseño de Formato para informes de


indicadorespp.41-42 un sistema de seguimiento trabajadores de campo pp45-
pp.43-44 46

¿Qué es Planificación para Diseño de un proceso Recopilación de Análisis de la Actuación


seguimiento y seguimiento y de seguimiento y/o información pg.27 información pg.35
evaluación? pp.3-4 evaluación pg.12 evaluación pg.19 pg.34

Líneas de Informes pg.36


¿Por qué es referencia y
¿Qué queremos Indicadores
necesario control de daños Aprendizaje pg. 38
saber?pp.13-15
seguimiento y pp.28-29
evaluación? pp.5-6
Diferentes tipos de Seguimiento Evaluación Métodos pp.30-33 Toma de
Más información información— pp.20-22 p.23 decisiones
sobre seguimiento y cuantitativa y eficaz pg.39
evaluación— cualitativa p.16
implicaciones y Propósito p.24
distintos enfoques ¿Cómo Trato de la
obtendremos resistencia
información? pg.17
pp.7-11
implicarse? p.18 Preguntas clave
de evaluación
¿Quién p.25
debería
Metod ología p.26 pg.40

Seguimiento y evaluación por email: [email protected] 2


Seguimiento y evaluación

PRINCIPIOS BÁSICOS GRUPO 1

¿Qué es seguimiento y evaluación?

A pesar de que el término «seguimiento y evaluación» tiende a ser tratado como uno
solo, en realidad, constituyen dos conjuntos de actividades organizativas distintas que
están relacionadas, pero que no son idénticas.

El seguimiento consiste en el análisis y recopilación sistemáticos de información a medida


que avanza un proyecto. Su objetivo es mejorar la eficacia y efectividad de un proyecto y
organización. Se basa en metas establecidas y actividades planificadas durante las
distintas fases del trabajo de planificación. Ayuda a que se siga una línea de trabajo, y
además, permite a la administración conocer cuando algo no está funcionando. Si se lleva
a cabo adecuadamente, es una herramienta de incalculable valor para una buena
administración y proporciona la base para la evaluación. Te permite determinar si los
recursos disponibles son suficientes y están bien administrados, si tu capacidad de trabajo
es suficiente y adecuada, y si estás haciendo lo que habías planificado (ver también la
herramienta sobre Planificación de acción).

La evaluación consiste en la comparación de los impactos reales del proyecto con los
planes estratégicos acordados. Está enfocada hacia lo que habías establecido hacer, lo
que has conseguido y cómo lo has conseguido. Puede ser formativa: tiene lugar durante
la vida de un proyecto u organización con la intención de mejorar la estrategia o el modo
de funcionar del proyecto y organización. También puede ser conclusiva: obteniendo
aprendizaje a partir de un proyecto completado o una organización que ya no está en
funcionamiento. Una vez alguien describió esto como la diferencia entre un reconocimiento
médico y una autopsia.

El seguimiento y la evaluación comparten la misma orientación, hacia un aprendizaje a


partir de aquello que haces y cómo lo haces, concentrándose en:

• Eficacia
• Efectividad
• Impacto

La eficacia te informa sobre la adecuada aportación en el trabajo en cuanto a


producción. Podría tratarse de aportación en cuanto a dinero, tiempo, personal y
equipamiento, entre otros. Cuando diriges un proyecto y estás interesado por las
posibilidades de su reproducción o su aplicación a escala (ver Glosario de términos),
entonces la eficacia resulta de gran importancia.

La efectividad mide los logros obtenidos por un programa o proyecto de desarrollo en


relación con aquellos objetivos específicos que se habían establecido. Si, por ejemplo,
establecimos mejorar la preparación de los todos los profesores de educación secundaria
en un área determinada, ¿tuvimos éxito?

El impacto te informa sobre la influencia causada en la situación del problema que


intentabas afrontar. Es decir, ¿era útil tu estrategia?, ¿mejoró el índice de aprobados en
el último curso escolar gracias a la mejora en la preparación del profesorado? Antes de
tomar la decisión de una ampliación o una reproducción del proyecto en otro ámbito,
necesitas estar seguro de que tiene sentido aquello que estás haciendo en relación con el
impacto que quieres lograr.

Seguimiento y evaluación por email: [email protected] 3


Seguimiento y evaluación

A partir de aquí, debería quedar claro que el seguimiento y la evaluación se llevan a cabo
de la manera más adecuada si se ha realizado correctamente una planificación con la
que evaluar el progreso y los logros. Tres de las herramientas ofrecidas tratan sobre la
planificación: Descripción general de la planificación, Planificación estratégica y
Planificación de acción.

En los apartados ¿por qué es necesario el seguimiento y evaluación? y más información


sobre seguimiento y evaluación examinamos con más detalle estos aspectos sobre la
necesidad de hacer un seguimiento y evaluación y sus implicaciones. También contiene
una discusión de distintos enfoques sobre este tema y también de la opinión sobre el
empleo de un evaluador externo.

Seguimiento y evaluación por email: [email protected] 4


Seguimiento y evaluación

¿POR QUÉ ES NECESARIO EL SEGUIMIENTO Y EVALUACIÓN?

El seguimiento y evaluación te permite comprobar el «saldo final» (ver Glosario de


términos) de un trabajo de desarrollo: no si estamos obteniendo beneficios, sino si
estamos generando un cambio. A través del seguimiento y la evaluación puedes:

• Revisar el progreso;
• Identificar problemas en la planificación y/o en la puesta en práctica;
• Hacer ajustes de modo que tengas más probabilidades de «generar un cambio».

En muchas organizaciones el «seguimiento y evaluación» esta considerado como un


requerimiento de los donantes más que una herramienta de administración. Los donantes
tienen derecho a saber si su dinero se gasta adecuadamente. Sin embargo, el uso
primordial (más importante) del seguimiento y evaluación para una organización o
proyecto debe ser la observación de su propio trabajo en relación con los objetivos: si está
haciendo impacto; si está trabajando eficazmente; y de este modo, aprender a trabajar de
mejor manera.

Los planes son esenciales, pero no se establecen sobre una base rígida (totalmente fija).
En caso de que no funcionen o las circunstancias cambien, los planes también necesitan
cambiar. Tanto el seguimiento como la evaluación son herramientas que ayudan a un
proyecto u organización a conocer cuando no están funcionando los planes y cuando
estas circunstancias han cambiado. Ofrecen a la administración la información necesaria
para tomar decisiones sobre el proyecto u organización y los cambios que son necesarios
en la estrategia y los planes. A través de esto, las constantes se quedan como los pilares
del marco estratégico: el análisis de problemas, la visión y los valores del proyecto u
organización. Todo lo demás es susceptible de ser negociado (ver también el apartado
sobre Planificación estratégica). Una equivocación no supone ningún crimen, pero el
hecho de no aprender de los errores del pasado por no hacer el seguimiento y evaluación, sí
que lo es.

El efecto del seguimiento y evaluación puede observarse en el siguiente ciclo. Date


cuenta de que tendrás que hacer varios seguimientos y ajustes antes de que estés listo
para evaluar y planificar de nuevo.

Seguimiento y evaluación por email: [email protected] 5


Seguimiento y evaluación

Evaluar/aprender
/decidir
Poner en
práctica
Planificar

Refleccionar/
decidir/ajustar
Poner en práctica

Hacer
seguimiento
Hacer
seguimiento

Poner Reflexionar/
en aprender/
práctica ajustar

Es importante reconocer que el seguimiento y evaluación no son varitas mágicas que


pueden hacer desaparecer los problemas, curarlos o cambiar de manera milagrosa sin
aportar ningún tipo de trabajo duro por parte de la organización o proyecto. Por sí solas
no son una solución, pero sí son unas herramientas de gran valor. El seguimiento y evaluación
puede:

• Ayudarte a identificar problemas y sus causas;


• Sugerirte posibles soluciones para estos problemas;
• Plantear cuestiones sobre suposiciones y estrategia;
• Empujarte a reflexionar sobre adónde estás yendo y cómo llegarás ahí;
• Proporcionarte información y comprensión sobre un asunto;
• Animarte a actuar sobre esta información y comprensión;
• Aumentar la probabilidad de que tengas una influencia de desarrollo positiva.

Seguimiento y evaluación por email: [email protected] 6


Seguimiento y evaluación

MÁS INFORMACIÓN SOBRE SEGUIMIENTO Y EVALUACIÓN

El seguimiento implica:

• Establecimiento de indicadores (ver Glosario de términos) de eficacia, efectividad e impacto;


• Creación de sistemas de recopilación de información relacionada con estos indicadores;
• Recopilación y registro de la información;
• Análisis de la información;
• Empleo de la información para mantener a la administración al día.

El seguimiento es una función interna dentro de cualquier proyecto u organización.

La evaluación implica:

• Estudio de aquello que la organización o proyecto pretende conseguir—


¿qué influencia quiere generar? ¿Qué impacto quiere hacer?
• Evaluación de su progreso dirigida hacia aquello que quería conseguir, sus
puntos de impacto.
• Estudio de la estrategia de la organización o proyecto. ¿Existía alguna estrategia?
¿Era eficaz con esta estrategia? ¿Funcionaba esta estrategia? Si no era así, ¿por qué?
• Estudio de su funcionamiento. ¿Había un uso eficaz de los recursos? ¿Cuáles
eran los costes de oportunidad (ver Glosario de términos) del método de trabajo
elegido?
¿Qué sostenibilidad tiene el modo de trabajo de la organización o proyecto?
¿Cuáles son las implicaciones para los interesados directos en cuanto al modo de
trabajo de la organización?

En una evaluación consideramos la eficacia, efectividad e impacto (ver Glosario de


términos). Una evaluación se puede llevar a cabo de muchas maneras distintas.
Alguno de los términos más comunes que te encontrarás son los siguientes:

• Autoevaluación: implica a una organización o proyecto mirándose en un


espejo y evaluando cómo está haciendo su trabajo. Es un tipo de práctica de
aprendizaje y mejora para la que es necesaria una organización muy
autoreflexiva y honesta. Puede resultar una experiencia de aprendizaje muy
significativa.
• Evaluación participativa: es un tipo de evaluación interna. Su propósito no
es otro que el de implicar al mayor número de persona posibles con
participación directa en el trabajo. Esto puede significar que el personal del
proyecto y los beneficiaros tengan que trabajar juntos en la evaluación. Si se
invita a participar a alguien de afuera, su función se limitaría a la de facilitador
del proceso, pero nunca sería un evaluador.
• Evaluación participativa rápida: usada en un principio en áreas rurales, esta
metodología puede en realidad aplicarse en la mayoría de las comunidades.
Éste es un modo cualitativo (ver Glosario de términos) de evaluar. Un equipo
interdisciplinario es el encargado de semiestructurarla y llevarla a cabo en
breve período de tiempo. Se utiliza como un punto de partida para comprender
una situación local y supone un método rápido, barato y útil para recopilar
información. Este método implica el empleo de un estudio de información
secundaria, una observación directa, entrevistas semiestructuradas,
informadores clave, entrevistas de grupo, juegos, diagramas, mapas y
almanaques. En un contexto de evaluación, permite obtener una valiosa
aportación de aquellos que se suponen beneficiarios del trabajo de desarrollo.
Seguimiento y evaluación por email: [email protected] 7
Seguimiento y evaluación
Es flexible e interactiva.

Seguimiento y evaluación por email: [email protected] 8


Seguimiento y evaluación

• Evaluación externa: Este tipo de evaluación la lleva a cabo una persona


o equipo que no pertenece a la organización o proyecto y que ha sido
elegido cuidadosamente.
• Evaluación interactiva: implica una interacción muy activa entre un evaluador
o equipo de evaluación exterior y la organización o proyecto en proceso de
evaluación. A veces, también se incluye a alguien que pertenezca a la
organización o proyecto dentro del equipo de evaluación.

Para obtener más información sobre las ventajas y desventajas de las evaluaciones
internas y externas, dirígete a la página siguiente.

Para obtener más información sobre la selección de un evaluador externo, dirígete a la página 13.

Para más información sobre diferentes enfoques para la evaluación, dirígete a la página 14.

Seguimiento y evaluación por email: [email protected] 9


Seguimiento y evaluación

Ξ VENTAJAS Y DESVENTAJAS DE LAS EVALUACIONES INTERNAS


Y EXTERNAS

Ventajas Desventajas
Evaluación interna Los evaluadores están muy El equipo evaluativo puede
familiarizados con el trabajo, la que tenga un interés personal
cultura organizativa y las por alcanzar conclusiones
metas y objetivos. positivas acerca del trabajo o la
organización. Por este motivo,
A veces se tiene mejor otros interesados directos,
disposición para hablar con como los donantes, prefieren
algún miembro de la una evaluación externa.
organización en vez de alguien
ajeno a ella. El equipo puede que no esté lo
suficientemente preparado o
Una evaluación interna es una capacitado para llevar a cabo la
clara herramienta de evaluación.
administración, un sistema de
autocorrección menos La evaluación requerirá
intimidatorio que una bastante tiempo organizativo—
evaluación externa. Facilita la aunque puede que cueste
labor para aquello implicados menos que una evaluación
en la aceptación de las externa, los costes de
conclusiones y críticas. oportunidad (ver Glosario de
términos) puede que sean
Una evaluación interna elevados.
costará menos que una
evaluación externa.
Evaluación externa (realizada La evaluación será más Alguien ajeno a la organización
por un equipo o persona sin objetiva, ya que los puede que no entienda la
ningún interés personal en el evaluadores estarán más cultura o incluso los logros que
proyecto) distanciados del trabajo. el trabajo intenta conseguir.

Los evaluadores deberían Aquellos que se encuentran


tener una serie de destrezas y directamente implicados
experiencia para la labor de pueden sentirse intimidados,
evaluación. por lo que su participación y
cooperación en el proceso
A veces se tiene mejor puede que no sea tan abierta
disposición para hablar como cabría esperar.
con personas ajenas a la
organización que con otras Una evaluación externa
pertenecientes a ella. puede resultar muy costosa.

El empleo de un Un evaluador externo puede


evaluador externo ofrece que malinterprete lo que
mayor credibilidad para quieres obtener de la
sacar conclusiones, en evaluación y no te de aquello
particular conclusiones que realmente necesitas.
positivas.

Si te decides por la evaluación externa, encontrarás más ideas útiles con criterios para
elegir a un evaluador externo en la página siguiente.

Seguimiento y evaluación por email: [email protected] 10


Seguimiento y evaluación

Ξ SELECCIÓN DE UN EVALUADOR EXTERNO O EQUIPO DE EVALUACIÓN


Ξ
Cualidades a buscar en un evaluador externo o equipo de evaluación:

❑ Comprensión de asuntos de desarrollo.


❑ Comprensión de asuntos organizativos.
❑ Experiencia en la evaluación de proyectos, organizaciones o programas de desarrollo.
❑ Una buena experiencia comprobada con clientes previos.
❑ Destrezas en investigación.
❑ Compromiso de calidad.
❑ Responsabilidad para cumplir plazos establecidos.
❑ Objetividad, honestidad e imparcialidad.
❑ Lógica y habilidad para funcionar sistemáticamente.
❑ Capacidad de comunicación oral y escrita.
❑ Un estilo y enfoque acorde con tu organización.
❑ Valores que sean compatibles con aquellos de la organización.
❑ Honorarios razonables (tarifas) comparadas con las tarifas en uso.

¿Cómo averiguas todos estos puntos? ¡Planteando muchas preguntas!

Cuando decidas emplear a un evaluador externo ten en cuenta lo siguiente:

❑ Comprueba sus referencias.


❑ Reúnete con los evaluadores antes de tomar una decisión final.
❑ Comunica con claridad lo que quieres—unos buenos Términos de referencia (ver
Glosario de términos) constituyen la base de una relación contractual adecuada.
❑ Negocia un contrato que prevea los inconvenientes derivados del incumplimiento
de plazos de tiempo y expectativas de producción.
❑ Solicita un plan de trabajo con resultados y plazos.
❑ Mantén el contacto—solicita informes provisionales como parte del contrato—de manera
oral o escrita.
❑ Incorpora espacios formales para el intercambio de información.

No esperes que un evaluador sea completamente objetivo. Tendrá opiniones e ideas—no


buscas a alguien que sea una hoja en blanco. Sin embargo, sus opiniones deben ser
expuestas como tal y no disfrazadas de «hechos». También resulta útil tener alguna idea
sobre su enfoque evaluativo.

Para obtener más información sobre diferentes enfoques para realizar una evaluación,
dirígete a la página siguiente.

Seguimiento y evaluación por email: [email protected] 11


Seguimiento y evaluación

Ξ DIFERENTES ENFOQUES DE EVALUACIÓN


Ξ
Enfoque Propósito principal Típicas preguntas de Probable
enfoque metodología
Basado en la meta Evaluación de las ¿Se lograron las Comparación de la
metas y metas? ¿Eficazmente? información de línea de
objetivos ¿Eran las referencia (ver
alcanzados. metas Glosario de términos)
correctas? en relación con la
información de
progreso (ver Glosario
de términos);
búsqueda de métodos
de medición de
indicadores.
Toma de decisiones Aportación de ¿Es el proyecto Evaluación de las
información. efectivo? ¿Debería distintas opciones
continuar? ¿Cómo relacionadas con el
podría modificarse? contexto del proyecto,
las aportaciones, el
proceso y el producto.
Establecimiento de
algún tipo de
consenso de toma de
decisiones.
Libre de metas Evaluación de toda la ¿Cuáles son los Definición
serie de efectos del resultados? ¿Qué independiente de
proyecto, buscados valores tienen? necesidades y modelos
y no buscados. para juzgar la valía del
proyecto. Técnicas
cualitativas y
cuantitativas para
revelar cualquier
posible resultado.
Opinión de un experto Uso de la experiencia. ¿Cómo considera un Revisión critica basada
profesional externo en la experiencia,
este proyecto? estudios informales y
conocimientos subjetivos
del funcionamiento.

Nuestra opinión es que los mejores evaluadores usan una combinación de todos estos
enfoques y una organización puede solicitar un énfasis específico, pero no debería excluir
conclusiones que hacen uso de distintos enfoques.

(Nuestro más sincero agradecimiento a PACT’s Evaluation Sourcebook, 1984).

Seguimiento y evaluación por email: [email protected] 12


Seguimiento y evaluación

Planificación para seguimiento y evaluación. GRUPO 2

El seguimiento y evaluación debería formar parte de nuestro proceso de planificación.


Resulta muy difícil volver y crear sistemas de seguimiento y evaluación una vez que se
ha iniciado el proceso. Necesitas comenzar a recopilar información sobre el ejercicio y las
metas desde el principio del todo. De hecho, la primera recopilación debería tener lugar
cuando evalúas tus necesidades (ver la herramienta sobre Principios generales de la
planificación, el apartado sobre Trabajo de base).

Cuando hagas tu trabajo de planificación, establecerás indicadores (ver Glosarios de


términos). Estos indicadores aportan el marco para tu sistema de seguimiento y
evaluación. Te informan sobre qué quieres saber y el tipo de información que merecerá la
pena recopilar. En este apartado consideramos los siguientes aspectos:

• ¿Qué queremos saber? Esto incluye el estudio de los indicadores tanto para
asuntos internos como externos. (También dirígete más adelante a los ejemplos
de indicadores propuestos en esta herramienta).
• Diferentes tipos de información.
• ¿Cómo obtendremos información?
• ¿Quién debería implicarse?

No existe un solo método de planificación para seguimiento y evaluación. Las ideas


incluidas en las herramientas sobre Descripción general de la planificación, Planificación
estratégica y Planificación de acción te ayudarán a desarrollar un marco de utilidad para tu
sistema de seguimiento y evaluación. Si estás familiarizado con el Análisis del marco
lógico (AML) y ya lo utilizas en tu planificación, este enfoque se presta a la planificación de
un sistema de seguimiento y evaluación (ver también en la herramienta sobre Descripción
general de la planificación, el apartado sobre herramientas de planificación—descripción
general, AML)

Seguimiento y evaluación por email: [email protected] 13


Seguimiento y evaluación

¿QUÉ QUEREMOS SABER?

Lo que queremos saber está conectado con lo que pensamos que es relevante. En un
trabajo de desarrollo lo que pensamos que es relevante está conectado con nuestros valores.

La mayoría del trabajo en las organizaciones de sociedad civil está sostenido por un
marco de valores. Este marco es el que determina los modelos de aceptabilidad en el
trabajo que realizamos. Los valores centrales sobre los que se construye la mayoría del
trabajo de desarrollo son:

• Atención a los desfavorecidos;


• Capacitación de los desfavorecidos;
• Cambio de la sociedad, no sólo con la ayuda a los individuos;
• Sostenibilidad;
• Empleo eficaz de recursos.

Así las cosas, lo primero que necesitamos saber es: ¿satisface nuestro trabajo y nuestro
modo de hacerlo los requisitos de estos valores? Para contestar a esta pregunta, nuestro
sistema de seguimiento y evaluación debe aportarnos información sobre:

• ¿Quién se beneficia de nuestro trabajo? ¿Cuánto se benefician?


• ¿Son los beneficiarios recipientes pasivos, o por el contrario, el proceso les
permite tener algún control sobre sus vidas?
• ¿En nuestro trabajo, hay alguna lección que sea de mayor impacto que la
mera existencia de nuestro proyecto?
• ¿Se puede sostener a largo plazo lo que estamos haciendo o cesará el impacto
de nuestro trabajo una vez que nos vayamos?
• ¿Estamos obteniendo resultados óptimos a partir de las mínimas
cantidades posibles de aportaciones?

¿Queremos saber sobre el proceso o el producto?

¿Debería evaluarse el trabajo de desarrollo en cuanto al proceso (el modo en el que se


desempeña el trabajo) o en cuanto al producto (lo que produce el trabajo)? Con
frecuencia, este debate resulta una excusa de un ejercicio inadecuado más que un asunto
de verdad. El proceso y el producto no se pueden separar en un trabajo de desarrollo: qué
conseguimos y cómo lo conseguimos constituyen la misma cara de la misma moneda. Si
la meta es el desarrollo, basada en valores de desarrollo, entonces excavar un pozo sin
transmitir las destrezas para mantenerlo y manejarlo no será suficiente. No vale como
excusa decir que
«se tardaba mucho de ese modo; no podíamos esperar a que se organizaran; dijimos
que haríamos el pozo y lo hicimos». Pero tampoco es excusa decir que «no importa que
no se haya construido el pozo; lo importante es que se ha capacitado a la gente».

Tanto el proceso como el producto deben formar parte de tu sistema de seguimiento y evaluación.

Pero, ¿cómo medimos este proceso y evaluación? La respuesta se encuentra en la


fijación de indicadores, que se tratará en el subapartado siguiente.

Seguimiento y evaluación por email: [email protected] 14


Seguimiento y evaluación

¿QUÉ QUEREMOS SABER?

indicadores

El tema de los indicadores también se trata en la Descripción general de la planificación,


en el apartado sobre Seguimiento y evaluación. Los indicadores son señales concretas
que se pueden medir y el reflejo de que se ha hecho o logrado algo. Por ejemplo, en
ciertos estudios, un aumento en el número de antenas de televisión en una comunidad se
ha utilizado como indicador para reflejar la mejora del estándar de vida de esa comunidad.
Un indicador de la capacitación de una comunidad podría ser el aumento de la frecuencia
participativa en reuniones de los miembros de la comunidad. Si alguien, por ejemplo,
estuviera interesado en el impacto de género de la construcción de un pozo en una
población, entonces podrías utilizar como indicador «mayor tiempo de implicación
disponible para mujeres en proyectos de desarrollo». Algunos indicadores comunes para
la salud general de una comunidad son el índice de mortalidad maternal/infantil, el índice
de natalidad, el estado nutricional y el peso de los recién nacidos. También podrías
considerar indicadores menos directos como el grado de inmunización, de agua potable
(que se puede beber) disponible, entre otros (ver más ejemplos de indicadores en el
apartado de Ejemplos de esta herramienta).

Los indicadores constituyen una parte muy importante del sistema de seguimiento y
evaluación, porque son lo que tú mides o controlas. Gracias a los indicadores puedes
plantear y contestar preguntas como:

• ¿Quién?
• ¿Cuántos?
• ¿Con qué frecuencia?
• ¿Cuánto?

Pero necesitas decidir con rapidez cuáles van a ser tus indicadores, de modo que puedas
empezar a recopilar la información de manera inmediata. No puedes utilizar el número de
antenas de televisión en una comunidad como una señal de mejora del estándar de vida
si no sabes cuántas había al principio del proceso.

A veces se discute que el problema de los indicadores susceptibles de ser medidos es que
otras variables o factores pueden que también hayan impactado sobre ellos. Quizá los
miembros de una comunidad estén participando más activamente en reuniones, porque un
número de personas con antecedentes activistas se ha mudado a la zona. Puede que las
mujeres tengan más tiempo para proyectos de desarrollo, porque los hombres de la aldea
han estado asistiendo a un taller de género y han tomado la decisión de compartir las
tareas tradicionalmente femeninas; y así sucesivamente. Aunque todo esto sea verdad,
dentro de un proyecto es posible identificar otras variables que han de tenerse en cuenta.
También es importante tomar nota de que si nada está cambiando o no hay mejora en la
medida de los indicadores clave identificados, entonces tu estrategia no estará
funcionando y necesita un replanteamiento.

Para observar un método para desarrollar indicadores, dirígete a la página siguiente.


Para observar ejemplos de indicadores, dirígete a los Ejemplos.

Seguimiento y evaluación por email: [email protected] 15


Seguimiento y evaluación

Ξ DESARROLLO DE INDICADORES

Paso 1: Identifica la situación del problema que intentas abordar. Podrían considerarse los
siguientes problemas:

• Situación económica (desempleo, ingresos bajos, etc.)


• Situación social (alojamiento, salud, educación, etc.)
• Situación cultural o religiosa (abandono de las lenguas tradicionales,
escasa asistencia a actos religiosos, etc.)
• Situación política u organizativa (gobierno local ineficaz, lucha entre facciones, etc.)

También podrán darse otro tipo de situaciones (ver el apartado sobre Análisis de
problemas en la herramienta sobre Descripción general de la planificación, en el apartado
Trabajo de base)

Paso 2: Desarrolla una visión en la que reflejes cómo te gustaría que fueran las áreas de
problema (ver la herramienta sobre Planificación estratégica, el apartado que
trata sobre la visión). Esto te ofrecerá indicadores de impacto.

¿Qué te indicará que tu visión se ha conseguido? ¿Qué señales identificarás y podrás


medir que «verifiquen» que se ha conseguido esta visión? Por ejemplo, si tu visión era que
la gente en tu comunidad tendría salud, entonces puedes utilizar indicadores de salud para
medir si estás haciendo bien tu trabajo. ¿Ha disminuido el índice de mortalidad? ¿Mueren
menos mujeres durante el parto? ¿Se ha reducido el índice de infección de VHI /SIDA? Si
tus respuestas son positivas, entonces se puede decir que se ha progresado.

Paso 3: Desarrolla un proceso de visión en el que reflejes cómo quieres lograr tus metas.
Esto te ofrecerá indicadores del proceso.

Por ejemplo, si quieres tener éxito a través del esfuerzo y la participación de la comunidad,
tu visión del proceso podría incluir elementos como trabajadores sanitarios de la
comunidad con formación que ofrecen un servicio competente y utilizado por todos sus
miembros; la comunidad organiza acontecimientos de limpieza de manera regular, etc.

Paso 4: Desarrolla indicadores para la efectividad.

Por ejemplo, si crees que puedes aumentar el índice de aprobados en la escuela


secundaria con la mejora del profesorado, necesitas indicadores que muestren tu
efectividad en este campo: prueba de un estudio en las escuelas comparado con un
estudio de línea de referencia.

Paso 5: Desarrolla indicadores para tus metas de efectividad.

En este caso puedes establecer este tipo de indicadores: se dirigen talleres planificados
dentro del tiempo estipulado; el coste de los talleres no supera los USD 2.50 por
participante; el número de horas no supera las 160 horas del tiempo total del personal
para la organización de una conferencia; no se admitirán quejas en cuanto a la
organización de la conferencia; etc.

Con este marco establecido, te encuentras en la posición adecuada para hacer un


seguimiento y evaluación de la eficacia, efectividad e impacto (ver Glosario de términos).

Seguimiento y evaluación por email: [email protected] 16


Seguimiento y evaluación

DIFERENTES TIPOS DE INFORMACIÓN—CUANTITATIVA Y CUALITATIVA GRUPO 3

La información usada en seguimiento y evaluación puede clasificarse de la siguiente manera:

• Cuantitativa, o
• Cualitativa.

La medición cuantitativa de la información te dice «cuánto o cuántos»: cuántas personas


asistieron un taller, cuántas personas aprobaron sus exámenes finales, cuánto cuesta una
publicación, cuántas personas se infectaron con VIH, cuánto tienen que caminar las
personas para obtener agua o leña, etc. La medición cuantitativa puede expresarse en
números absolutos (3.241 mujeres, por ejemplo, son infectadas) o en porcentajes (un 50%
de los hogares en la zona tiene antenas de televisión). También se puede expresar a modo
de ratio (un médico por cada 30.000 personas). De un modo u otro, se obtiene información
cuantitativa (número) mediante un cómputo o una medición.

La medición cualitativa de la información te indica cómo se sienten las personas en cuanto


a una situación o cómo se está haciendo el trabajo o cómo se comporta la gente. Por
ejemplo, aunque pudieras descubrir que el 50% de los profesores de un colegio no están
contentos con los criterios de evaluación utilizados, aún ésta sigue considerándose
información cualitativa y no cuantitativa. Obtienes información cualitativa preguntando,
observando e interpretando.

Algunos encuentran la información cuantitativa reconfortable—parece sólida, fidedigna y


«objetiva». La información cualitativa les parece poco conveniente y «subjetiva». Es un
error decir que «la información cuantitativa habla por sí sola». Requiere tanta
interpretación como la cualitativa para que sea coherente. Puede que sea una «realidad»
el hecho de que la matriculación de niñas en las escuelas esté disminuyendo—un
recuento puede indicárnoslo, pero no nos aporta nada sobre el motivo de esta
disminución. Para llegar a conocer este dato, necesitarías salir y plantear preguntas—para
adquirir así información cualitativa. La selección de indicadores también es subjetiva, ya
uses métodos cuantitativos o cualitativos para obtener una medición real. Los
investigadores escogen calcular las cifras de matriculaciones de niñas, porque piensan
que esto aporta información sobre cómo son tratadas o vistas las mujeres en una sociedad
en particular.

El proceso de seguimiento y evaluación requiere una combinación de información


cuantitativa y cualitativa para ser exhaustivo. Por ejemplo, necesitamos saber las cifras
de escolarización de niñas en una escuela, al igual que la razón por la que los padres
mandan o dejan de mandar a sus hijos a la escuela. Quizá las cifras de escolarización
sean más altas en el caso de los niños que en el de las niñas, porque una comunidad en
particular considera la escolarización como un lujo y prefiere formar a los niños en tareas
prácticas y tradicionales tales como el cuidado del ganado. En este caso, la mayor
matriculación de niñas no significaría una mayor consideración de éstas.

Seguimiento y evaluación por email: [email protected] 17


Seguimiento y evaluación

¿CÓMO OBTENDREMOS INFORMACIÓN?

En la herramienta sobre Planificación de acción se trata este asunto con más detalle, en el
apartado sobre Seguimiento, Recopilación de información a medida que avanzas. Tus
métodos de recopilación de información necesitan incorporarse dentro de tu planificación
de acción. Deberías proponerte la obtención de una corriente constante de información
sobre el estado del trabajo desempeñado, que fluya dentro del proyecto u organización sin
sobrecargar a nadie. Esta información que recopilas debe tener un significado: no
recopiles información por el mero hecho de estar ocupado; tan sólo hazlo para averiguar lo
que quieres saber, y acto seguido, asegúrate de que la almacenas de tal modo que
puedas acceder a ella fácilmente.

Normalmente puedes utilizar los informes, actas, registros de asistencia e informes


financieros de tu trabajo de cualquier modo, como una fuente de información para
seguimiento y evaluación.

Sin embargo, a veces necesitas emplear herramientas especiales que a pesar de su


sencillez resultan de gran utilidad como un añadido a la información recopilada en el
curso natural de tu trabajo. Éstas son algunas de las más comunes:

• Estudios de casos prácticos


• Examen registrado
• Agendas
• Registro y análisis de episodios significativos (análisis de episodios críticos)
• Cuestionarios estructurados
• Entrevistas uno a uno
• Grupos de enfoque
• Estudio de muestras
• Revisión sistemática de estadísticas oficiales relevantes.

Dirígete al apartado sobre métodos para adquirir más información sobre la recopilación de
información.

Seguimiento y evaluación por email: [email protected] 18


Seguimiento y evaluación

¿QUIÉN DEBERÍA IMPLICARSE?

Casi todos los miembros de la organización o proyecto estarán implicados de un modo u


otro en la recopilación de información para seguimiento y evaluación, incluidos:

• El administrador que levanta actas en una reunión o prepara y hace circular


el registro de asistencia,
• Los trabajadores de campo que escriben los informes sobre sus visitas;
• El contable que registra los ingresos y gastos.

Para potenciar al máximo sus esfuerzos, el proyecto u organización necesita:

• Preparar formatos para informes que incluyan la medición cuantitativa o cualitativa


de indicadores significativos. Por ejemplo, si quieres conocer la participación de la
comunidad en actividades o la participación femenina en particular, entonces
estructura el formato para informes de los trabajadores de campo de tal manera
que se tengan que incluir comentarios sobre esto, respaldando las observaciones
con hechos (observa el formato para informes que aparece a continuación en esta
herramienta).
• Preparar formatos de registro de información que incluyan la medición cuantitativa
o cualitativa de indicadores significativos. Por ejemplo, si quieres conocer cuántos
hombres y mujeres asistieron a una reunión, incluye una columna para el género
en tu lista de asistencia.
• Registra la información de tal modo que sea posible averiguar aquello que
necesitas. Por ejemplo, si necesitas conocer si un proyecto es sostenible
económicamente y qué elementos supondrán un mayor gasto, entonces asegúrate
de que tu contabilidad refleja la información relevante.

Resulta un recurso útil observar cada actividad y plantearse qué necesitamos saber sobre
esta actividad, tanto del proceso (cómo se esta haciendo) como del producto (qué quiere
conseguir), y cuál es la manera más sencilla de averiguarlo y registrarlo a medida que
avanzamos.

Seguimiento y evaluación por email: [email protected] 19


Seguimiento y evaluación

Diseño de un proceso de seguimiento y/o evaluación GRUPO 4

Al existir diferencias entre el diseño de un sistema de seguimiento y un sistema de


evaluación, en este apartado los tratamos por separado.

En seguimiento consideramos el proceso que una organización podría realizar para


diseñar un sistema de este tipo.

En evaluación consideramos:

• Propósito
• Preguntas clave de evaluación
• Metodología.

Seguimiento y evaluación por email: [email protected] 20


Seguimiento y evaluación

SEGUIMIENTO

Cuando diseñas un sistema de seguimiento, tomas un punto de vista formativo y


estableces un sistema que aportará información relevante de modo continuo, de modo que
puedas mejorar lo que haces y cómo lo haces.

En la próxima página, se propone un posible modelo de proceso para diseñar un sistema


de este tipo.

Para un estudio de casos prácticos sobre el modo en el que una organización emprendió
el diseño de un sistema de seguimiento, dirígete al apartado de Ejemplos y al ejemplo
dado sobre el diseño de este sistema.

Seguimiento y evaluación por email: [email protected] 21


Seguimiento y evaluación

Ψ DISEÑO DE UN SISTEMA DE SEGUIMIENTO

A continuación se ofrece un proceso paso por paso que puedes utilizar para diseñar un
sistema de seguimiento para una organización o proyecto.

Para un estudio de casos prácticos sobre el modo en el que una organización emprendió
el diseño de un sistema de seguimiento, dirígete al apartado de Ejemplos.

Paso 1: En un taller con un personal apropiado y/o voluntarios que tú o un asesor dirige:

❑ Introduce los conceptos de eficacia, efectividad e impacto (ver


Glosario de términos).
❑ Explica que un sistema de seguimiento necesita cubrir estos tres conceptos.
❑ Crea una lista de indicadores para cada uno de los tres aspectos.
❑ Aclara las variables (ver Glosario de términos) que necesitan
conectarse. Por ejemplo, quieres ser capaz de conectar la edad de un
profesor con su titulación para responder a la pregunta: ¿tienen los
profesores de mayor edad más o menos probabilidad de poseer una
titulación más importante?
❑ Aclara la información que la organización o proyecto ya está recopilando.

Paso 2: Convierte las aportaciones ofrecidas por el taller en instrucciones para las
preguntas que tu sistema de seguimiento debe responder. Dependiendo
de la complejidad de tus requisitos y de tu capacidad, te decidirás por una
base de datos informatizada o manual. Si deseas conectar muchas
variables a través de muchos casos (ej. participantes, colegios,
implicación de los padres, recursos, aspecto urbano/rural, etc.),
necesitarás la opción informatizada. Si tan sólo tienes unas pocas
variables, probablemente lo podrás hacer de manera manual. Lo
importante desde un principio es saber qué variables te interesan y
guardar información sobre éstas. La conexión y el análisis pueden venir
más tarde (estos conceptos son complicados; te ayudará a leer el estudio
de casos prácticos en el apartado de Ejemplos que aparece en la
herramienta).

A partir del taller sabrás sobre qué aspecto quieres realizar el


seguimiento. Tendrás los indicadores de eficacia, efectividad e impacto
que habrán sido priorizados. Entonces, escogerás las variables que te
ayudarán a contestar las preguntas que crees que son significativas.

Así, por ejemplo, podrías contar con un indicador de impacto que sería «se
eligen opciones sexuales más seguras», como un indicador de que «los
jóvenes están eligiendo un estilo de vida maduro e informado», Estas son
las variables que podrían afectar a este indicador:

• Edad
• Género
• Religión
• Aspecto rural/urbano
• Categoría económica
• Entorno familiar
• Tiempo de exposición a la iniciativa de tu proyecto
• Número de talleres a los que ha asistido.

Seguimiento y evaluación por email: [email protected] 22


Seguimiento y evaluación

Conservando la información adecuada, podrás responder a este tipo de preguntas:

• ¿Influye la edad en el modo de recibir nuestro mensaje?


• ¿Influye la categoría económica en la respuesta de los jóvenes a
nuestro mensaje? Es decir, ¿existe una mejor o peor respuesta por
parte de la juventud rica o realmente no influye este hecho?
• ¿Influye el número de talleres asistidos en el impacto?

La respuesta a este tipo de preguntas permite a una organización o proyecto


tomar decisiones sobre qué hacen y cómo lo hacen. De este modo, también
puede realizar cambios informados en los programas y medir su impacto y
efectividad. Las siguientes preguntas permiten al proyecto u organización medir
y mejorar su eficacia:

• ¿Asisten más personas a aquellas reuniones que se organizan con antelación?


• ¿Participan más escuelas cuando no se les cobra?
• ¿Asisten más jóvenes cuando las sesiones tienen lugar en el fin
de semana o por las tardes?
• ¿Qué resulta más económico, celebrar el taller en la misma comunidad
o traer a la gente a nuestro centro formativo?

Paso 3: Decide cómo vas a recopilar la información que necesitas (ver


Recopilación de información) y dónde se va a almacenar (ordenador o
archivos manuales)

Paso 4: Decide la frecuencia con la que vas a analizar la información—esto


significa juntarla e intentar contestar a las preguntas que crees
significativas.

Paso 5: Recopila, analiza, informa.

Seguimiento y evaluación por email: [email protected] 23


Seguimiento y evaluación

EVALUACIÓN

Diseñar un proceso de evaluación significa ser capaz de desarrollar Términos de


referencia para tal proceso (si tú eres la organización o proyecto), o bien, ser capaz de
preparar una propuesta sensata para cumplir con las necesidades de la organización o
proyecto (si eres un asesor).

Éstos son los principales apartados en Términos de referencia para un proceso de evaluación:

• Antecedentes: se refiere a los antecedentes de la organización o proyecto, la


identificación del problema, el trabajo que realizas, cuánto tiempo has existido,
por qué has decidido hacer una evaluación.

• Propósito: se refiere a lo que la organización o proyecto quiere conseguir de


la evaluación.

• Preguntas clave de evaluación: las cuestiones principales que la evaluación debe abordar.

• Objetivos específicos: las áreas específicas, internas y/o externas, que quieres
que la evaluación aborde. Por ejemplo, podrías querer que la evaluación
incluyera una revisión financiera o ciertos campos específicos del programa.

• Metodología: podrías dar parámetros más amplios sobre el tipo de enfoque


que apoyas en la evaluación (ver el apartado Más información sobre
seguimiento y evaluación). También podrías sugerir los tipos de técnicas que
te gustaría que el equipo de evaluación usara.

• Asuntos logísticos: incluiría aspectos como la duración, el coste y los requisitos


para la composición de un equipo.

Para obtener más información sobre los componentes más difíciles de los Términos de
referencia, dirígete a las páginas siguientes.

Seguimiento y evaluación por email: [email protected] 24


Seguimiento y evaluación

Propósito

El propósito de una evaluación constituye la razón por la que la estás haciendo. Sobrepasa
lo que quieres saber, llegando hasta el motivo por el que quieres saberlo. Con frecuencia
es una oración, y como mucho, un párrafo. Tiene dos partes:

• Lo que quieres evaluar;


• Hasta que punto quieres que llegue.

Éstos son algunos ejemplos de lo que podría ser un propósito de evaluación:

Proveer a la organización con la información requerida para tomar decisiones


sobre el futuro de un proyecto.

Evaluar si la organización / proyecto está haciendo el impacto planificado


para decidir si se reproduce este modelo en otros lugares.

Evaluar el programa en cuanto a efectividad, impacto en los grupos objetivo,


eficacia y sostenibilidad para mejorar su funcionamiento.

El propósito te ofrece cierta atención para el extenso proceso de evaluación.

Seguimiento y evaluación por email: [email protected] 25


Seguimiento y evaluación

Preguntas clave de evaluación

Los preguntas clave de evaluación constituyen las cuestiones principales a responder por
tu proceso de evaluación. No se trata de preguntas sencillas. Rara vez puedes
contestarlas con un «sí» o un «no». Una pregunta de evaluación útil:

• Motiva el pensamiento.
• Desafía suposiciones.
• Enfoca la información y la reflexión.
• Plantea muchas preguntas adicionales.

Éstos son algunos ejemplos de preguntas clave de evaluación relacionadas con el


propósito de un proyecto:

El propósito de una evaluación es evaluar la eficacia de un proyecto a la hora de repartir


beneficios para las comunidades identificadas para notificar las decisiones de la Junta
acerca de la continuidad y la posibilidad de reproducción.

Preguntas clave de evaluación:

• ¿Quién se está beneficiando del proyecto y de qué modo?


• ¿Justifican las aportaciones (de dinero y tiempo) los resultados? Si fuera o no
fuera así, ¿partiendo de qué base se justifica esta queja?
• ¿Qué mejoraría la eficacia, efectividad e impacto del presente proyecto?
• ¿Qué lecciones se pueden aprender de este proyecto en cuanto a posibilidades
de reproducción?

Ten en cuenta que ninguna de estas preguntas trata un elemento específico o área del
funcionamiento interno o externo del proyecto u organización. La mayoría solicitaría que
el equipo de evaluación tratara una serie de elementos de la organización o proyecto
para contestarlas.

Éstas son otras posibles preguntas de evaluación:

• ¿Cuáles son los modos más efectivos para que un proyecto aborde el
problema identificado?
• ¿Hasta que punto impacta positivamente el funcionamiento y la estructura de
la organización sobre el trabajo del programa?
• ¿Qué conocimientos aprendidos en este proyecto tendrían posibilidad de
aplicación a través de todo el espectro del desarrollo?

Queda claro que se podrían plantear muchos más ejemplos. Nuestra experiencia nos ha
enseñado que cuando se diseña un proceso de evaluación con este tipo de preguntas en
mente, se da lugar a una comprensión mucho más interesante que si se planteara
cuestiones tan obvias como estas: ¿desempeña la Junta un papel útil en la
organización?;
¿Qué impacto estamos causando?

Seguimiento y evaluación por email: [email protected] 26


Seguimiento y evaluación

Metodología

«Metodología», en oposición a «métodos», está más relacionada con el tipo de enfoque


que utilizas en tu proceso de evaluación (ver también el apartado Más información sobre
seguimiento y evaluación en esta herramienta). Por ejemplo, podrías encargar o hacer un
proceso de evaluación que estudie casi por completo las fuentes escritas, primarias o
secundarias: informes, hojas de datos, actas, etc. O También podrías solicitar un proceso
de evaluación que implicara aportaciones de todos los grupos de interesados directos
clave. La mayoría de los Términos de referencia solicitarán algún tipo de combinación de
éstos, pero también puede que especifiquen el modo en el que quieren que el equipo de
evaluación obtenga las aportaciones de los grupos de interesados directos. Por ejemplo:

• A través de una encuesta;


• A través de informadores clave;
• A través de grupos enfocados.

Para más información sobre métodos reales, dirígete más adelante al apartado
Recopilación de información, Métodos.

En este caso también se esperaría encontrar alguna indicación sobre formatos para
informes: ¿se harán por escrito todos los informes? ¿Informará el equipo a la
administración, o a todo el personal, o al personal y la Junta y los beneficiarios? ¿Se
realizarán informes provisionales o sólo uno final? ¿Qué tipo de prueba necesita la
organización o proyecto para respaldar las opiniones de los evaluadores? ¿Quién estará
implicado en los análisis?

El apartado sobre metodología de Términos de referencia debería aportar un amplio


marco para establecer el modo en el que la organización o proyecto quiere que se haga
el trabajo de evaluación.

Seguimiento y evaluación por email: [email protected] 27


Seguimiento y evaluación

Recopilación de información GRUPO 5

Este tema también se trata en la herramienta sobre Planificación de acción, en el


apartado de Seguimiento, Recopilar de información a medida que avanzas,

En este apartado estudiamos en detalle:

• Líneas de referencia y control de daños;


• Métodos.

Control de daños se refiere a lo que necesitas hacer en caso de no haber obtenido


información de línea de referencia cuando empezaste.

Seguimiento y evaluación por email: [email protected] 28


Seguimiento y evaluación

LÍNEAS DE REFERENCIA Y CONTROL DE DAÑOS

Lo ideal es que hayas planificado correctamente y recopilado información sobre la


situación al principio de tu intervención, entonces tendrás información de línea de
referencia.

La información de línea de referencia constituye los datos que posees sobre la situación
antes de intervenir. Constituye la información sobre la que se basa tu análisis de
problemas. Resulta muy difícil medir el impacto de tu iniciativa si no conoces cuál era la
situación cuando comenzaste (ver también la herramienta sobre Descripción general de la
planificación, el apartado sobre Trabajo de base). Necesitas información de línea de
referencia que sea relevante para los indicadores que has decidido que te ayudarán a
medir el impacto de tu trabajo.

Existen diferentes niveles de información de línea de referencia:

• Información general sobre la situación, a menudo disponible en las estadísticas


oficiales: índices de mortalidad infantil, matriculación escolar por géneros, índices
de desempleo, índice de analfabetismo, etc. Si estás trabajando en un área
geográfica específica, necesitas información para esa área. Si se encuentra
disponible en las estadísticas oficiales, puede que tengas que recopilar información
por ti mismo. Esto implicaría encuestas de casa en casa, de manera exhaustiva o
mediante muestreo (ver el apartado siguiente sobre Métodos), visitas a escuelas,
hospitales, etc. Céntrate en tus indicadores de impacto cuando recopiles esta
información.

• Si has decido medir el impacto a través de un muestreo de personas o familias con


las que estás trabajando, necesitarás información específica sobre esas personas
o familias. Por ejemplo, para las familias (o empresas, escuelas o cualquiera que
sean las unidades con las que trabaja) puede que quieras información específica
sobre ingresos, historia, número de personas con empleo, número de niños por
aula, etc. Probablemente, podrás obtener esta información a partir de una
combinación de entrevistas y cuestionarios básicos. De nuevo, no te olvides de
centrarte en los indicadores que has decidido que son importantes para tu trabajo.

• Si trabajas con personas individuales, necesitas información de «entrada»—


información documentada sobre su situación en el momento que empezaste a
trabajar con ellos. Por ejemplo, podrías estar interesado en conocer, además de
la edad, el género o el nombre, los ingresos actuales, el estado laboral, el nivel
actual de educación, la cantidad de dinero que gastan en ocio, el tiempo que
gastan en ocio o ambiciones, de cada uno de los participantes. De nuevo,
obtendrás la información probablemente de la combinación de entrevistas y
cuestionarios básicos, y además, deberías centrarte en aquellos indicadores que
consideres importantes.

Resulta muy difícil volver atrás y obtener este tipo de información de línea de referencia
una vez que has empezado a trabajar y la situación ha cambiado. Pero, ¿qué ocurre si no
recopilaste esta información al principio del proceso? Existen diferentes modos de hacer
un control de daños. Puedes conseguir información anecdótica (ver Glosario de términos)
de aquellos implicados al principio y puedes también preguntar a los participantes si
recuerdan cómo era la situación al principio del proyecto. Puede que incluso no hayas
decido cuáles son tus indicadores importantes cuando empezaste a trabajar. Tendrás que
averiguar yendo
«marcha atrás», y entonces intentar obtener información sobre la situación en relación
Seguimiento y evaluación por email: [email protected] 29
Seguimiento y evaluación
con esos indicadores cuando comenzaste. Puedes hablar con las personas, observar los
registros y otras fuentes escritas como las actas o informes.

Seguimiento y evaluación por email: [email protected] 30


Seguimiento y evaluación

Los grupos de control resultan un modo bastante útil para realizar comparaciones
significativas donde no tienes información de línea de referencia. Estos grupos de
personas, empresas, familias, o cualquiera que sea la unidad de atención, no tienen que
haber recibido ningún tipo de aportación por parte de tu organización o proyecto, pero son
en cierta manera muy similares a aquellos con los que trabajas.

Por ejemplo: has estado trabajando con grupos de niños de colegios de todo el país para
levantar su autoestima y construir su conocimiento como un método para combatir la
propagación del VHI /SIDA y prevenir los embarazos entre los adolescentes. Después de
unos años, quieres medir el impacto que has tenido en estos niños. Entonces, vas a
organizar una serie de grupos enfocados (ver Métodos) con los niños de los colegios en el
que habías trabajado. Sin embargo, en ese entonces no hiciste un estudio de línea de
referencia con ellos: ¿cómo sabrás la influencia que has podido causar en estos
años?

Podrías crear grupos de control en las escuelas de esta área, donde aún no hayas llevado
tu trabajo, teniendo en cuenta los mismos tipos de perfil. Con las mismas preguntas sobre
autoestima y comportamiento sexual, por ejemplo, en los colegios que ya has trabajado y
en los que no lo has hecho aún, podrías decir si tu trabajo has generado un cambio.
Cuando establezcas grupos de control asegúrate de lo siguiente:

• Los perfiles de los grupos de control son muy parecidos a esos grupos con los
que has trabajado. Por ejemplo, podría tratarse de colegios con alumnos del
mismo grupo económico, en el mismo área geográfica, con el mismo ratio de
género, grupos de edad, etnia o mezcla racial.
• No existen otras variables claras que pudieran afectar a las conclusiones o
comparaciones. Por ejemplo, si otro proyecto que realiza un trabajo similar
ha estado relacionado con el colegio, éste ya no podría ser un buen lugar
para establecer un grupo de control. Quieres una situación que sea lo más
parecida posible a la que tenían al principio los beneficiarios de tu trabajo.

Seguimiento y evaluación por email: [email protected] 31


Seguimiento y evaluación

MÉTODOS GRUPO 6

En este apartado vamos a ofrecerte una «lista de la compra» con los distintos tipos de
métodos que se pueden utilizar para recopilar información para seguimiento y evaluación.
Tienes que seleccionar métodos que encajen con tus propósitos y tus recursos. Por lo
tanto, no planifiques una encuesta de 100.000 hogares si tan sólo tienes dos semanas de
tiempo y muy poco dinero. Utiliza un muestreo en este caso.

Un Muestreo (ver Glosario de términos) es otro concepto significativo a la hora de utilizar


varias herramientas para un proceso de seguimiento y evaluación. No constituye una
herramienta en sí mismo, pero combinado con ellas puede ser de gran utilidad. El
muestreo responde a la siguiente pregunta: ¿a quién estamos encuestando, entrevistando
e incluyendo en nuestro grupo enfocado? Es un modo de reducir el número de posibles
encuestados para que el estudio resulte razonable y asequible. A veces es necesario ser
exhaustivo, es decir, hay que obtener información de cada uno de los hogares, escuelas,
profesores o clínicas posibles. En una evaluación podrías utilizar toda la información
recopilada en cada caso durante el proceso de seguimiento dentro de un análisis global.
Sin embargo, usarás más a menudo un muestreo para una exploración en detalle, a no ser
que los números resulten muy reducidos. Entre las técnicas de muestreo se incluyen:

• Muestreo aleatorio: en teoría se refiere a un tipo de muestreo hecho al azar, en el


que, por ejemplo, todos los nombres se meten en un recipiente, se mezclan y
luego se extraen los números necesarios. Esta técnica es muy difícil de utilizar
con este tipo trabajo que llevamos a cabo. Por motivos prácticos es más probable
que selecciones por ejemplo cada siete hogares o cada tercera persona en una
lista. La idea consiste en que falta parcialidad en la selección.
• Muestreo estratificado: por ejemplo, cada séptimo hogar en el paréntesis de
ingresos altos, cada tercer hogar en el paréntesis de ingresos bajos.
• Muestreo por grupos: por ejemplo, sólo aquellas personas que han estado en
el proyecto al menos durante dos años.

A menudo también resulta de utilidad una triangulación (ver Glosario de términos). Es


una de esas palabras que significa que cada conjunto de datos o información es
confirmado por otro. Con frecuencia buscas confirmación a partir de ciertas fuentes para
decir la misma cosa.

Herramienta Descripción Utilidad Desventajas


Entrevistas Pueden estructurarse, Se pueden utilizar con Requiere cierta capacidad
semiestructurarse o no casi cualquier persona por parte del
estructurarse (ver que tenga algún tipo de entrevistador. Para más
Glosario de términos). implicación en el información sobre
Implican el proyecto. Se pueden destrezas para
planteamiento de realizar en persona, por entrevistas, dirígete al
preguntas específicas teléfono o incluso por apartado siguiente.
con el propósito de correo electrónico.
obtener información para
poder medir los
indicadores. Las
peguntas pueden ser
abiertas o cerradas
(respuestas sí/no).
Pueden ser una fuente de
información cuantitativa
y cualitativa.
Entrevistas de Se llevan a cabo con Como normalmente estos Requiere un entrevistador
informador clave especialistas en un tema informadores tienen poca bien preparado con un
o alguien que pudiera relación con la buen entendimiento del
aportar algo nuevo al organización o proyecto, tema. Ten cuidado de no
Seguimiento y evaluación por email: [email protected] 32
Seguimiento y evaluación
proceso. pueden ser bastante convertir algo en una

Seguimiento y evaluación por email: [email protected] 33


Seguimiento y evaluación

objetivos y ofrecer una verdad absoluta (que no


comprensión útil de la pueda ser desafiada)
situación. Pueden aportar porque lo haya dicho un
algo al «gran cuadro informador clave.
final», en el que personas
que están más implicadas
se centran en los
microniveles.
Cuestionarios Son preguntas escritas Esta herramienta te Con personas
que se utilizan para puede ahorrar mucho analfabetas, se requiere
obtener respuestas tiempo si se puede la asistencia de personas
escritas, que una vez autocompletar. De este que ayuden a completar
analizadas permiten la modo te permite llegar a el cuestionario, lo que
medición de los muchas personas, que reduce el ahorro de
indicadores. tendrán mayor sensación tiempo y el número de
de anonimato y dirán personas. Con los
cosas que nunca dirían a cuestionarios no es
un entrevistador. posible explorar qué más
están diciendo las
personas. Además, los
cuestionarios están muy
utilizados y la gente se
cansa de completarlos;
Tienen que estar
dirigidos para asegurar
que las preguntas son
inteligibles y no son
malinterpretadas. Si el
cuestionario es complejo
y fuera necesario un
análisis informatizado,
necesitarás la ayuda de
un experto para que lo
diseñe.
Grupos enfocados Dentro de un grupo Puede resultar un modo Resulta muy difícil
enfocado, un muy útil de obtener realizar un muestreo
entrevistador/facilitador opiniones de una amplia aleatorio para grupos
con formación, entrevista muestra de personas. enfocados y esto significa
a un grupo de seis a que las conclusiones
doce personas con un extraídas puede que no
meticuloso programa de se generalicen. A veces
entrevistas. Las las personas se
preguntas normalmente influencian al decir cosas
están enfocadas en torno o al quedarse callados
a un tema o asunto sobre algo. Si fuera
específico. posible, las entrevistas de
grupos enfocados
deberían grabarse y
luego transcribirse. Esto
requiere un equipo
especial y puede
necesitar mucho tiempo.
Reuniones de la Implica la reunión de un Son útiles para obtener Son difíciles de facilitar—
comunidad grupo bastante grande de una respuesta amplia de requieren a un facilitador
beneficiarios a los que se mucha gente sobre muy experimentado y una
les presentan las temas específicos. división en pequeños
cuestiones, problemas y También es un modo de grupos seguidos de
situaciones para adquirir implicar a beneficiarios sesiones plenarias en las
aportaciones y así directamente en un que se reúnen todos de
obtener ayuda para medir proceso de evaluación, nuevo.
los indicadores. otorgándoles un sentido
de propiedad en el
proceso. También son de
utilidad para atacar en
puntos críticos dentro de

Seguimiento y evaluación por email: [email protected] 34


Seguimiento y evaluación

proyectos de comunidad.
Informes de Formularios para Son flexibles, una Confía en la disciplina y
trabajador de campo informes estructurados extensión del trabajo perspicacia de los
que aseguran que las normal, económicas y sin trabajadores de campo.
(ver también Formato preguntas relacionadas gasto temporal.
con los indicadores son
para informes de
planteadas y las
trabajadores de reapuestas y
campo en Ejemplos) observaciones anotadas
en cada una de las
visitas.
Clasificación Implica a las personas Se puede usar tanto con Es un concepto muy difícil
para que digan aquello personas individuales de tratar y requiere una
que creen que es más como con grupos, como explicación muy
útil e importante. parte de un programa de cuidadosa, al igual que
entrevistas o cuestionario, unas pruebas para
o bien, como una sesión asegurar que la gente
aparte. En caso de que comprende lo que
las personas sean preguntas. Si lo
analfabetas, se pueden malinterpretan, tu
utilizar dibujos. información se puede
tergiversar por completo.
Estímulos Incluye fotografías, Muy útil en combinación Tienes que disponer de
audiovisuales películas, historias, con otras herramientas, estímulos adecuados y el
teatros improvisados, en particular con facilitador tiene que estar
dibujos, utilizados para personas que son preparado para saber
ilustrar problemas y analfabetas. usarlos.
asuntos o acontecimientos
anteriores o incluso futuros.
Escalas de valoración Esta técnica hace uso de Resulta útil medir Necesitas probar las
una secuencia, en la que actitudes, opiniones y declaraciones
se espera que las percepciones. cuidadosamente para
personas coloquen sus asegurarte que no existe
propios sentimientos, posibilidad de
observaciones, etc. Se malentendidos. Un
requiere con frecuencia problema común surge
que las personas digan si cuando se incluyen dos
están totalmente de conceptos en la
acuerdo o desacuerdo declaración y no estás
con una declaración o si seguro si se está dando
no saben algo. Puedes una opinión sobre la una
usar dibujos y símbolos si o la otra, o las dos a la
las personas son vez.
analfabetas.
Análisis de Este método es un modo Es muy útil cuando ocurre El equipo de evaluación
acontecimiento/episodio de centrar entrevistas con algún problema y las puede acabar sumergido
crítico individuos o grupos en personas se encuentran en una gran contradicción
acontecimientos o muy identificadas con él. de pareceres. Puede
episodios particulares. De Si todos los implicados resultar muy difícil no
este modo se adquiere un son incluidos, debería ponerse a favor de alguna
retrato completo de lo que ayudar al equipo de de las partes y ser
está ocurriendo. evaluación en la objetivo.
adquisición de un retrato
que es razonablemente
cercano a lo que ocurría
realmente, y además le
ayudaría en el
diagnóstico
de lo que fue mal.
Observación de Implica la observación Es un modo eficaz de Resulta muy difícil
los participantes directa de acontecimientos, confirmación, o si no, observar y participar. El
procesos, relaciones y información proceso requiere
comportamientos. Aquí proporcionada de otra mucho tiempo.
«participante» quiere manera.
decir que el observador

Seguimiento y evaluación por email: [email protected] 35


Seguimiento y evaluación
se implica en actividades

Seguimiento y evaluación por email: [email protected] 36


Seguimiento y evaluación

en vez de mantener la
distancia.
Autorretratos Los participantes hacen Puede ser muy útil, Puede resultar difícil de
dibujos en los que especialmente con explicar e interpretar.
normalmente representan jóvenes.
sus sentimientos o
pensamientos.

Ψ DESTREZAS PARA ENTREVISTAS

Estas son algunos consejos prácticos para entrevistas:

□ Comprueba el programa de la entrevista con antelación por motivos de claridad


y asegúrate de que las preguntas no puedan dar lugar a malentendidos.
□ Expón con claridad el propósito de la entrevista.
□ Asegúrale al entrevistado el máximo de confidencialidad.
□ Pregúntale al entrevistado si le importa que se tome nota o se grabe la entrevista.
□ Anota las palabras exactas del entrevistado en la medida de lo posible.
□ Sigue hablando a la vez que escribes.
□ Sigue la entrevista de manera rigurosa.
□ Cubre el programa de preguntas al completo.
□ Espera las respuestas vagas y trata de sonsacar más información.
□ Sé flexible y anota todo lo que se diga de interés, incluso si no está en el programa.
□ No ofendas al entrevistado de ninguna manera.
□ No digas nada que sea sentencioso.
□ No interrumpas a mitad de una frase.
□ No pongas en boca del entrevistado declaraciones que no sean suyas.
□ No muestres lo que estés pensando con cambios en el tono de la voz.

Seguimiento y evaluación por email: [email protected] 37


Seguimiento y evaluación

Análisis de la información GRUPO 7

Ya sea en seguimiento o en evaluación, llegarás a un punto en el que te encontrarás con


una vasta cantidad de información y tendrás que decidir cómo darle sentido o analizarla. Si
estás utilizando un equipo de evaluación exterior, dependerá de este equipo la realización
de este análisis, sin embargo, a veces en la evaluación y por supuesto en el seguimiento,
tendrás que realizarlo tú mismo como organización o proyecto.

Un análisis es el proceso de convertir la información detallada en una comprensión de


pautas, tendencias e interpretaciones. El punto de partida de un análisis en el contexto de
una organización o proyecto es a menudo muy poco científico. Es tu comprensión intuitiva
de los asuntos clave la que surge del proceso de recogida de información. Una vez que ya
tienes los asuntos clave, resulta posible trabajar con la información, estructurándola y
organizándola. El próximo paso consiste en escribir tu análisis de lo que has averiguado
para alcanzar conclusiones y hacer recomendaciones.

Tu proceso tiene el siguiente aspecto:

Determinar indicadores clave para el


proceso de seguimiento/evaluación.

Recopilar información en torno a los


indicadores.

Desarrollar una estructura para el


análisis, basada en tu comprensión
intuitiva de los asuntos y temas
emergentes y en el lugar en el que
sospechas que ha habido variaciones
a partir delo que habías esperado y/o
supuesto.

Revisar tu información,
organizándola según los temas y
asuntos.

Identificar pautas, tendencias


y posibles interpretaciones.

Escribir tus averiguaciones y


conclusiones. Encuentra posibles vías
para seguir adelante
(recomendaciones).

Seguimiento y evaluación por email: [email protected] 38


Seguimiento y evaluación

Actuación

El seguimiento y evaluación no tiene ningún valor si la organización o proyecto no actúa


sobre la información que surge del análisis de los datos recopilados. Una vez que has
hecho las averiguaciones, conclusiones y recomendaciones a partir de tu proceso de
seguimiento y evaluación, necesitas hacer lo siguiente:

• Informar a los interesados directos;


• Aprender del proceso global;
• Tomar decisiones efectivas sobre cómo seguir adelante; y si fuera necesario,
• Tratar la resistencia existente dentro de la organización, proyecto o incluso entre
los propios interesados directos, ante los cambios necesarios.

Seguimiento y evaluación por email: [email protected] 39


Seguimiento y evaluación

INFORMES

Ya sea en el seguimiento o en la evaluación, llegarás a un punto en el que tengas que


llevar a cabo un proceso de información. Este informe sigue a la fase de análisis de la
información. Tendrás que informar a los distintos interesados directos de diferentes
maneras: a veces por escrito, otras de palabra y progresivamente utilizando herramientas
como presentaciones en Powerpoint, diapositivas y vídeos.

A continuación se ofrece una tabla que te propone distintos mecanismos para realizar
informes que podrían ser adecuados para distintos interesados directos y en momentos
diferentes dentro de los ciclos del proyecto. Para consejos por escrito, dirígete a la
herramienta sobre redacción eficaz para organizaciones.

Grupo objetivo Fase del ciclo del proyecto Formato apropiado


Junta Directiva Provisional, basada en el Informe escrito
seguimiento del análisis.
Evaluación Informe escrito, con un Resumen
Ejecutivo y una presentación oral
del equipo de evaluación.
Equipo administrativo Provisional, basada en el Informe escrito, debatido en la
seguimiento del análisis reunión del equipo administrativo.
Evaluación Informe escrito, expuesto de
manera oral por el equipo de
evaluación.
Personal Provisional, basada en el Presentación oral y escrita en el
seguimiento ámbito de departamento y equipo.
Evaluación Informe escrito, presentado
oralmente por el equipo de
evaluación y seguido de un debate
en detalle sobre las
recomendaciones significativas en
el ámbito de departamento y
equipo.
Beneficiarios Provisional, pero sólo en puntos Exposición oral, respaldada por un
significativos y la evaluación. documento resumido, con tablas
adecuadas, gráficos y material
audiovisual. Es particularmente
importante si la organización o
proyecto prevé un cambio de
envergadura que va a crear un
impacto en los beneficiarios.
Donantes Provisional, basada en el Resumido en un informe escrito.
seguimiento
Evaluación Informe escrito con resumen
ejecutivo o una versión especial
centrada en asuntos e intereses de
los donantes.
Comunidad de desarrollo más Evaluación Artículos de prensa, seminarios,
amplia conferencias, páginas web.

En la página siguiente se ofrece un esbozo con lo contenidos más comunes de un informe


escrito.

Seguimiento y evaluación por email: [email protected] 40


Seguimiento y evaluación

Ψ ESBOZO DE UN INFORME DE EVALUACIÓN

RESUMEN EJECUTIVO Normalmente no contiene más de cinco páginas—cuanto más


corto mejor—y está pensado para aportar la información
suficiente para personas ocupadas, pero también para
provocar la lectura del informe al completo.

PREFACIO Aunque no es fundamental, es un buen lugar para los


agradecimientos y amplios comentarios sobre el proceso,
conclusiones, etc.

PÁGINA DE CONTENIDOS Con los números de página, para ayudar a los lectores a
desenvolverse por el informe.

APARTADO 1:
INTRODUCCIÓN: Normalmente trata los antecedentes del proyecto /
organización, de la evaluación, las instrucciones para el
equipo de evaluación, la metodología, el proceso real y
cualquiera de los problemas que han tenido lugar.
APARTADO 2:
AVERIGUACIONES: En este apartado encontrarás las áreas significativas de
averiguaciones: eficacia, efectividad e impacto, o bien, los
temas que han surgido.
APARTADO 3:
CONCLUSIONES: En este apartado sacarás conclusiones a partir de las
averiguaciones—la interpretación, lo que significa. Resulta
bastante útil el empleo de un Análisis FADO—que se explica
en el Glosario de términos—a modo de resumen.
APARTADIO 4:
RECOMENDACIONES: Te ofrece ideas específicas para avanzar en cuanto a modos
de abordar puntos débiles y la creación de otros fuertes.

APÉNDICE: Contiene los Términos de referencia, la lista de personas


entrevistadas, los cuestionarios utilizados, un mapa del área
empleada.

Seguimiento y evaluación por email: [email protected] 41


Seguimiento y evaluación

APRENDIZAJE GRUPO 7

El aprendizaje es o debería ser la razón principal por la que una organización o proyecto
hace un seguimiento o una evaluación de su trabajo. Con el aprendizaje de aquello que
funciona o no funciona, de lo que haces bien o mal, te encuentras capacitado, como
organización o proyecto, para actuar de modo constructivo e informado. Esto forma parte
de la reflexión de acción (ver el diagrama en el apartado ¿por qué es necesario el
seguimiento y evaluación?).

El fin del aprendizaje es generar cambios donde sea necesario , e identificar y agregar
puntos fuertes allí donde existan. También te ayuda a comprender tus suposiciones, es
decir, a tener plena conciencia de ellas. Por ejemplo: quizá supusieras que los niños en
colegios de familias acomodadas se hubieran beneficiado en menor medida de tu
intervención que el resto de los niños que asistiera a otros colegios. Tu información sobre
seguimiento podría mostrarte que esta suposición era errónea y una vez que te hubieras
dado cuenta, habrías considerado tu interacción con estos colegios de manera distinta.

El sistema de acción-reflexión-acción también sirve para no dormirse en los laureles. A


veces, cuando los proyectos u organizaciones piensan que «lo han hecho bien», se
quedan conformes y continúan haciéndolo de la misma manera sin preguntarse si aún lo
están haciendo bien. Se olvidan de que las situaciones cambian, al igual que las
necesidades de los beneficiarios y las estrategias, que necesitan estudiarse y revisarse de
nuevo.

Así pues, una organización, por ejemplo, proporcionó formación y programas para
emisoras de radio. Como contaba con un excelente equipamiento y estudio de producción,
invitó a unas emisoras a que enviarán a sus presentadores al centro de formación para
aprender a presentar los programas que estaba produciendo esta organización. De este
modo desarrollo una excelente reputación en la formación y producción de alta calidad.
Con el paso del tiempo, sin embargo, las emisoras de radio de la comunidad comenzaron
a producir sus propios programas de radio y lo que realmente querían era que la
organización enviara a un representante a su emisora para que les ayudara con las ideas
adquiridas en los talleres y les diera una respuesta sobre el trabajo que estaban llevando a
cabo. Esto surgió durante un proceso de evaluación, y entonces la organización se dio
cuenta de que se había vuelto un tanto insolente en el terreno de apoyo en el que había
sido eficaz, pero si realmente quería ayudar a las emisoras de radio de la comunidad,
necesitaba cambiar su estrategia.

Las organizaciones o proyectos que no aprenden se estancan. El proceso de seguimiento y


evaluación riguroso (ver Glosario de términos) obliga a éstas a mantener un aprendizaje y
crecimiento.

Seguimiento y evaluación por email: [email protected] 42


Seguimiento y evaluación

TOMA DE DECISIONES EFECTIVA

Como dirección de una organización o proyecto, necesitas que las conclusiones y


recomendaciones que surjan del seguimiento y evaluación te ayuden a tomar decisiones
sobre tu trabajo y el modo en el que llevarlo a cabo.

El éxito del proceso depende de la capacidad de los responsables de dirección en la toma


de decisiones y actuación. Éstos son los pasos a tener en cuenta en todo este proceso:

1 Planifica adecuadamente —conoce aquello que quieres lograr y cómo lo quieres lograr.
2 Pon en práctica.
3 Haz seguimiento y evaluación.
4 Analiza la información que obtengas del seguimiento y evaluación y haz
averiguaciones sobre la información que te aporta.
5 Observa las consecuencias potenciales para tus planes de aquello que has
aprendido a partir del análisis de la información de seguimiento y evaluación.
6 Prepara una lista de opciones para la acción.
7 Obtén un consenso sobre lo que deberías hacer y un mandato para actuar.
8 Comparte ajuste y planes con el resto de la organización y , si fuera necesario, tus
donantes y beneficiarios.
9 Pon en práctica.
10 Haz seguimiento y evaluación.

Éstos son los pasos clave para una toma de decisiones efectiva:

• Como equipo administrativo, entiende las implicaciones de lo que has aprendido.


• Resolver qué hace falta hacer y por qué hace falta.
• Crea opciones para hacerlo.
• Observa las opciones de manera crítica en cuanto a la efectividad de cada una de ellas.
• Llega a un acuerdo como equipo administrativo.
• Obtén un consenso de organización/proyecto sobre qué hace falta hacer y cómo hacerlo.
• Obtén un mandato (normalmente de una Junta Directiva, aunque también de
donantes y beneficiarios, para llevarlo a cabo.
• Llévalo a cabo.

Seguimiento y evaluación por email: [email protected] 43


Seguimiento y evaluación

TRATAMIENTO DE LA RESISTENCIA

No todo el mundo estará de acuerdo contigo en cuanto a cualquier cambio que necesites
introducir en los planes. Con frecuencia existe una resistencia al cambio y éstas son
algunas de las razones:

• La gente se encuentra cómoda con las cosas tal como están—no quieren que se
les saque de sus zonas de comodidad.
• La gente se preocupa de que los cambios vayan a empeorar sus niveles de
productividad—se sienten juzgados por lo que hacen y cuánto hacen y quieren
tomarse el tiempo necesario para cambiar planes o modos de hacerlos.
• A la gente no le gusta apresurarse a cambiar—¿cómo sabemos que algo diferente
va a ser mejor? Pasan tanto tiempo pensando esto que el final resulta demasiado
tarde para hacer cambios de utilidad.
• La gente no tiene un «gran cuadro final» en mente. Saben lo que hacen, pueden
ver que funciona, por lo que no encuentran ningún motivo para cambiar nada.
• La gente no tiene una implicación a largo plazo con la organización o proyecto—lo
ven como un peldaño más en su carrera. No quieren el cambio porque retrasaría la
mejora de su currículo.
• La gente cree que no puede dar más abasto—tienen que continuar con su trabajo y
aparte con el cambio. Resulta excesivo.

¿Cómo puedes ayudar a la gente a que acepte el cambio?

• Deja bien claro las razones por las que es necesario un cambio—explica paso por
paso las averiguaciones y conclusiones de los procesos de seguimiento y
evaluación, implícalos en la toma de decisiones.
• Ayuda a la gente a visualizar el gran cuadro final—más allá de su pequeña
aportación, hasta el impacto global sobre el problema analizado.
• Céntrate en los asuntos clave—tenemos que hacer esto sobre este asunto.
• Reconoce el enfado, el miedo y la resistencia al cambio. Escucha a las personas y
dales la oportunidad de expresar su frustración y sus emociones.
• Encuentra un terreno común—cambios que ellos también quieran hacer.
• Fomenta un sentimiento de emoción en torno al cambio, sobre la libertad que
supone realizar cosas nuevas cuando algo no funciona y la liberación de energía
productiva que esto puede generar.
• Enfatiza la importancia de la implicación de cada individuo para que todo funcione.
• Crea condiciones para la interacción regular—cualquier cosa, desde un seminario
hasta un graffiti en un tablón de anuncios—para debatir lo que esté ocurriendo y
cómo esté ocurriendo.
• Gradúa el tiempo del cambio de modo que las personas puedan ocuparse de él.

Damos las gracias a Olive Publications, Ideas for a Change Part 4, June 1999, por las
ideas que hemos utilizado en este subapartado.

Seguimiento y evaluación por email: [email protected] 44


Seguimiento y evaluación

MEJOR PRÁCTICA GRUPO 8

EJEMPLOS DE INDICADORES

Ten en cuenta que éstos son sólo ejemplos—puede que se ajusten o no a tus
necesidades, pero deberían ofrecerte cierta idea del tipo de indicadores que puedes
utilizar, sobre todo para medir el impacto.

Indicadores de desarrollo económico

❑ Ingreso medio anual por hogar.


❑ Salarios semanales/mensuales.
❑ Empleo, por grupos de edad.
❑ Desempleo, por grupos de edad y género.
❑ Empleo, por ocupación, por género.
❑ Empleo público.
❑ Niveles de ingreso percibido.
❑ Período medio de desempleo.
❑ Tasa por impago de préstamos.
❑ Proporción de propietarios con respecto a inquilinos.
❑ Renta per cápita.
❑ Ingresos medios anuales de la familia.
❑ Porcentaje de personas bajo el umbral de pobreza.
❑ Proporción de empleo temporal con respecto al permanente.
❑ Índice de crecimiento de la pequeña empresa.
❑ Valor de la construcción residencial y/o de renovación.

Indicadores de desarrollo social

❑ Índice de mortalidad.
❑ Esperanza de vida en el parto.
❑ Índices de mortalidad infantil.
❑ Causas de muerte.
❑ Número de médicos por persona.
❑ Número de camas de hospital por persona.
❑ Número de enfermeras por persona.
❑ Índice de alfabetización, por edad y género.
❑ Proporción de estudiantes con respecto a profesores.
❑ Tasa de retención por nivel escolar.
❑ Índices de finalización escolar por puntos de salida.
❑ Gasto público por estudiante.
❑ Número de suicidios.
❑ Causas de accidentes.
❑ Alojamientos con agua corriente.
❑ Alojamientos con electricidad.
❑ Número de personas sin hogar.
❑ Número de crímenes violentos.
❑ Índice de natalidad.
❑ Índice de fertilidad.
❑ Distribución de ingresos por coeficiente de Gini (ver Glosario de términos)
❑ Índice de mortalidad infantil.
❑ Índice de hospitalización.
❑ Índices de infección de VIH.
Seguimiento y evaluación por email: [email protected] 45
Seguimiento y evaluación

❑ Índices de muertes por SIDA.


❑ Número de cines/piscinas por cada 1.000 habitantes.
❑ Número de dispositivos de radio/televisión por persona.
❑ Disponibilidad de libros en lenguas tradicionales.
❑ Lenguas tradicionales que se enseñan en la escuela.
❑ Tiempo dedicado a escuchar la radio/ver la televisión por género.
❑ Número de programas de televisión y radio emitidos en lenguas tradicionales y/o
dedicados a costumbres tradicionales.
❑ Participación en la iglesia, por género y edad.

Indicadores de desarrollo político/organizativo

❑ Número de organizaciones comunitarias.


❑ Tipos de actividades deportivas organizadas.
❑ Número de torneos y juegos.
❑ Niveles de participación en las actividades deportivas organizadas.
❑ Número de grupos juveniles.
❑ Participación en los grupos juveniles.
❑ Participación en grupos de mujeres.
❑ Participación en grupos para personas mayores.
❑ Número de grupos para personas mayores.
❑ Estructura de liderazgo político, por edad y género.
❑ Índice de participación en las elecciones, por edad y género.
❑ Número de mítines públicos celebrados.
❑ Participación en mítines públicos, por edad y género.

Ejemplos adaptados de Using Development Indicators for Aboriginal Development, del


Comité Directivo del proyecto de indicadores de desarrollo, septiembre de 1991.

Seguimiento y evaluación por email: [email protected] 46


Seguimiento y evaluación

DISEÑO DE UN SISTEMA DE SEGUIMIENTO—ESTUDIO DE CASOS PRÁCTICOS

A continuación se ofrece una descripción de un proceso que una organización sudafricana,


denominada Manioretas contra el SIDA, llevó a cabo para desarrollar un sistema de
seguimiento que introduciría todo un proceso de seguimiento y evaluación.

El trabajo principal de la organización consistió en presentar espectáculos de marionetas a


modo de taller, relacionados con la formación de tipo práctico que capacita para
desenvolverse en la vida diaria. En especial, se centró en aquellos asuntos relacionados
con la sexualidad en las escuelas de todo el país. La organización trabajó con un serie de
grupos de edad y con distintos «productos» (guiones) adecuados a los distintos niveles.

Marionetas contra el SIDA quiso desarrollar un sistema de seguimiento y evaluación que


aportara información útil sobre la eficacia, efectividad e impacto de su trabajo. Como punto
final quiso desarrollar una base de datos que:

• Aportara toda la información básica que la organización necesitara sobre los


clientes y los servicios ofrecidos;
• Produciera informes que permitieran mantener al día sobre el impacto y efectos de
su trabajo, tanto a la propia organinización como a los interesados directos,
incluyendo a donantes, asociados e incluso a los colegios.

La organización se decantó por un sistema de seguimiento informatizado. Mucha de la


información diaría requerida por la organización era informatizada de manera inmediata en
una base de datos (ej. escuelas, regiones, servicios proporcionados, etc.), pero el sistema
de seguimiento requerería una mejora sustancial y el desarrollo de un software específico
para la base de datos acorde con las necesidades de la organización. Ésta también
decidió desarrollar un sistema inicialmente para un proyecto piloto, pero con la intención
de extenderlo a todo su trabajo con el paso del tiempo. Este proyecto trabajaría con 60
colegios, usando diferentes guiones cada año, durante un período de tres años. Para
recaudar el dinero necesario para el proceso, Marionetas contra el SIDA necesitó un tipo
de resumen en el que incluía aquello que era necesario, de modo que pudiera hacerse un
presupuesto.

En un taller inicial facilitado por asesores, el personal creó una lista de indicadores para
eficacia, efectividad e impacto, en relación con su trabajo. Éste era el tipo de información
que el personal quería conocer del sistema sobre el trabajo que desempeñaron: cómo lo
hicieron y cómo influyeron. Los términos se definieron como sigue:

Eficacia Lo que tenía que evaluarse era la velocidad, corrección, coste


efectivo y uso de recursos que se puso a disposición de los servicios
de la organización. La mayoría de esta información ya se había
recopilado y almacenado en informes que reflejaban la relación entre
lo planificado y lo conseguido. Era necesario que fuera compatible
con el proceso de informatización.

Efectividad En este caso lo que se evaluó fue los resultados a obtener en cuanto
a estrategia e impacto a corto plazo. Por ejemplo, ¿resultaba un
medio efectivo el espectaculo de marionetas para la comunicación
de los mensajes sobre sexualidad? Una vez más, esta información
ya se estaba recopilando y sólo hacía falta una adaptación acorde
con el sistema informático.

Seguimiento y evaluación por email: [email protected] 47


Seguimiento y evaluación

Impacto Aquí se evaluó el funcionamiento de la estrategia: si tuvo un impacto


en el comportamiento de los individuos (los estudiantes en este
caso) y si este cambio de comportamiento impactó de manera
positiva en la sociedad a la que pertenecían. La organización tenía
un fuerte sentimiento intuitivo sobre su funcionamiento, pero quería
ser capaz de medir esto de una manera más científica y estudiar las
variables que harían impacto con mayor o menor probabilidad o que
afectarían el grado del impacto.

El personal creó una lista con las diferentes variables que creían significativas para la
evaluación y el cálculo de la influencia del impacto. El sistema de seguimiento necesitaría
conectar la información sobre el impacto con estas variables. La intención no era otra que
aportar información cuantitativa y cualitativa.

Los asesores y un miembro del personal más experimientado desarrollaron a continuación


indicadores para medir el impacto y una tabla con las variables más signficativas, que
contenían:

• Perfil de género y edad de los seguidores de la edad propuesta.


• Perfil económico de la escuela.
• Perfil religioso de la escuela.
• Perfil del profesorado de la escuela.
• Enfoque disciplinario de la escuela.
• Qué guiones se utilizaron.
• Qué equipos de actores presentó los guiones.
• Etc.

Los formularios/cuestionarios se desarrollaron para medir los indicadores de impacto antes


de la primera intervención (para aportar información de base de referencia), y luego, en
otros momentos del proceso. También se emplearon para categorizar conceptos como
«perfil de profesor». Con el cuestionario de los estudiantes, se realizo un diseño para que
fuera posible incorporar un tanteo que se pudiera comparar cuando el cuestionario se
dirigiera en distintas fases del proceso. El cuestionario tomó la forma de una serie de
afirmaciones con las que los estudiantes tendrían que estar de acuerdo/desacuerdo/totalmente
de acuerdo/desacuerdo,etc. Por ejemplo, afirmaciones que tuvieran relación con un
aumento de la autoestima del estudiante: «cuando me miro en un espejo, me gusta lo que
veo»; «a la mayoría de la gente que conozco le gusta mi verdadero “yo”».

La organización quería que este sistema creara informes que le permitieran conocer:

• ¿Qué diferencia existe entre los índices de los indicadores sobre el impacto al
principio y el final del proceso?
• ¿Qué diferencia existe entre las actitudes del profesorado al principio y a final del proceso?
• ¿Qué variables relacionadas con la escuela y su entorno impactan en el grado de
influencia de los indicadores al principio y al final del proceso?
• ¿Qué variables relacionadas con el modo en el que se presentan los espectáculos
impactan en el grado de inlfuencia al principio y al final del proceso?

Todo esto se ha escrito a modo de instrucción para los expertos en software, quienes
más tarde presentaron un sistema que trataría los distintos requisitos. El proceso fue
lento y exigente, sin embargo el sistema finalmente estuvo listo y actualmente se está
probando.

Seguimiento y evaluación por email: [email protected] 48


Seguimiento y evaluación

FORMATO PARA INFORMES DE TRABAJADORES DE CAMPO GRUPO 9

Este formato se utilizó en un centro de aprendizaje de desarrollo infantil para medir los
siguientes indicadores en las escuelas informales con las que se trabajó:

• Profesorado cada vez más formado.


• Aumento de la cantidad de equipamiento autoelaborado.
• Registros actualizados.
• Pagos actualizados.
• Asistencia a las reuniones del comité.

INFORME DE VISITA DE CAMPO ASISTIDA

Fecha:

Nombre de la escuela:

Información obtenida

de: Informe completado

por: Visita de campo

número:

1. Lista de destrezas utilizadas por los profesores en el período de tu visita a la escuela:

2. Lista de equipamiento autoelaborado que esté visible en la escuela:

3. Lista de actividades para recaudar dinero en las que el comité escolar está implicado
actualmente:

Seguimiento y evaluación por email: [email protected] 49


Seguimiento y evaluación

4. Evaluación archivada::

Tipo de registro Actualizado y Actualizado No Sin tratar


preciso pero no muy actualizado
preciso
Contabilidad

Dinero para
gastos menores

Expediente

Correspondencia
Control de
existencias
Registros

5. Número de niños matriculados:

6. Asistencia media en los dos últimos meses:

7. Número de pagos pendientes desde hace más de dos meses:

8. Asistencia media a las reuniones del comité en los dos últimos meses:

9. Comentarios sobre la visita:

10. Comparación con otras visitas de campo previas:

Seguimiento y evaluación por email: [email protected] 50


Seguimiento y evaluación

RECURSOS

A CIVICUS le gustaría reconocer el incalculable valor de los recursos utilizados para


la preparación de esta herramienta:

Olive Publications Planning for Monitoring and Evaluation, Olive 2002

Shapiro, Janet Evaluation: Judgement Day or Management Tool? Olive 1996

Seguimiento y evaluación por email: [email protected] 51


Seguimiento y evaluación

GLOSARIO DE TÉRMINOS

Información anecdótica Datos en forma de historias que la gente recuerda y


que son relevantes para los indicadores en los
que estás interesado. No tienen validez científica,
pero pueden proporcionar datos de utilidad
cualitativa.

Datos de línea de referencia Proceden de un estudio realizado antes de una


intervención. Proporciona información sobre la
situación antes de la intervención, que es de gran
importancia para seguimiento y evaluación, ya que te
permite evaluar la influencia generada por tu
intervención.

Saldo final En negocios, se refiere al balance final de tu informe


sobre beneficios y pérdidas—te indica si estás o no
estás obteniendo beneficios. Ésta es la manera de
evaluar el éxito en el mundo empresarial. En un
trabajo de desarrollo, quiere decir: ¿estamos
influenciando sobre el problema o no?

Eficacia, efectividad e impacto La eficacia te indica que la aportación al trabajo es


adecuada en relación con los resultados. Podría
tratarse de aportación en términos de dinero, tiempo,
personal o equipamiento. La efectividad mide los
objetivos logrados por un programa o proyecto de
desarrollo. El impacto te indica si has generado algún
tipo de influencia sobre la situación del problema que
estabas tratando. En otras palabras, ¿fue útil tu
estrategia?

Distribución Gini de los ingresos Diferencia entre los dos extremos de la escala
económica en una sociedad.

Aplicar a escala Conseguir que un proyecto pase de tratar con un


reducido número de beneficiarios a un número más
amplio.

Indicadores Son señales concretas que se pueden medir. Son el


reflejo de que algo ha ocurrido. Por ejemplo, un
aumento del número de estudiantes aprobados es un
indicador de la mejora de la cultura de enseñanza y
aprendizaje. El medio de verificación (la prueba) es la
lista oficial de aprobados.

Costes de oportunidad Constituye el gasto en cuanto a vías alternativas en las


que se puede emplear el tiempo y el dinero. Si se
emplea en tu organización o proyecto, ya no se
podrán gastar en ningún otro sitio. Siempre es
importante calcular rigurosamente el valor de tus
Seguimiento y evaluación por email: [email protected] 52
Seguimiento y evaluación
ideas y planes en términos de coste de oportunidad.

Seguimiento y evaluación por email: [email protected] 53


Seguimiento y evaluación

Resultados En este caso contienen un informe borrador por


escrito, una presentación oral, un informe final por
escrito, en papel y en formato electrónico (indicando
la compatibilidad del programa). También pueden
incluir informes provisionales, programas de
entrevistas que el cliente debe concluir, etcétera.

Datos de progreso Información que obtienes durante el seguimiento


del progreso de un proyecto.

Cualitativa (información) Se refiere a cómo las personas se sienten en relación


con opiniones, experiencias. Se encuentra en
oposición a cuantitativa (información), relacionada con
los números.

Riguroso Disciplinado, hecho y acabado con honestidad e


integridad.

Muestreo Es un modo de seleccionar con quién hablar, a


quién entrevistar, a quién encuestar, cuando
realizas una evaluación y no puedes cubrir todos
los casos existentes.

Datos secundarios Información ya existente, recopilada por otras personas


u organizaciones. Si procede de tu propia
organización, se denomina datos primarios. Los
datos primarios son información recopilada por ti
mismo—de otros interesados directos del proyecto, la
población general, tu propio estudio, etcétera.

Entrevistas estructuradas,
semiestructuradas o
sin estructurar
Las entrevistas estructuradas siguen un conjunto fijo
de preguntas; las entrevistas sin estructura no
tienen ningún tipo de preguntas preparadas; las
entrevistas semiestructuradas consisten en una
combinación de las dos anteriores: el entrevistador
plantea algunas preguntas fijas, pero también añade
otras para seguir una línea de averiguación
resurgente.

Análisis FADO Proporciona un análisis de los puntos fuertes y


débiles y de las oportunidades y amenazas. Se trata
en detalle en la herramienta Descripción general de la
planificación

Términos de referencia Constituyen la base sobre la que solicitas propuestas y


a partir de la cual evalúas lo que estás obteniendo.
Seguimiento y evaluación por email: [email protected] 54
Seguimiento y evaluación
Deberían incluir: ciertos antecedentes del proyecto
y/u organización, el propósito de la evaluación (por
qué la

Seguimiento y evaluación por email: [email protected] 55


Seguimiento y evaluación

quieres hacer), las preguntas clave de evaluación que


quieres plantear, los aspectos específicos que quieres
incluir (aunque esto está abierto a negociaciones), los
tipos de metodologías que tienes en mente (de nuevo,
abierto a negociaciones), los resultados que esperas
alcanzar, la estructura de tiempo tanto para la entrega
de propuestas como para la realización de la
evaluación.

Triangulación Es un modo de confirmación de la información a


través del uso de distintas fuentes para reflejar/medir
un mismo aspecto. Por ejemplo, si los profesores,
alumnos y padres en una escuela halagan al director
por tener una actitud abierta, esta información es
probable que sea aceptable en una evaluación, en
caso de que sólo los profesores hagan esta
afirmación.

Variable Es un elemento cambiante de una situación que tiene


la posibilidad de afectar a la eficacia, efectividad y/o
impacto. Tu propósito es ser capaz de conectarla a
otras variables dentro de tus indicadores. Por
ejemplo, el nivel de ingresos de los padres en una
escuela es una variable, al igual que la localización
también lo es en cuanto al aspecto rural / urbano.

Seguimiento y evaluación por email: [email protected] 56


Seguimiento y evaluación

CIVICUS: Allianza Mundial para la Participación Ciudadana

CIVICUS es una alianza internacional establecida en 1993 para alimentar los fundaciones, el
crecimiento y la protección de la acción ciudadana a traves del mundo, especialmente en áreas
donde la la democracia participativa y la libertad de los ciudadanos para asociarse están
amenazadas.

El objetivo de CIVICUS es contribuir al establecimiento de una sociedad global saludable en la que:


· La intervención ciudadana sea un aspecto vital de la vida política, económica y cultural;
· Las organizaciones ciudadanas puedan interactuar abiertamente y legitimamente con
el gobienro y el sector empresario; y
· La relación entre los ciudadanos, el sector empresario y el gobierno de una sociedad
sea equilibrada e igualitaria.

Para más información, por favor contacta:


CIVICUS: Allianza Mundial para la Participación Ciudadana
CIVICUS House, 24 Pim Street, corner Quinn Street,
Newtown, Johannesburg 2001
South Africa
Tel +27 11 833 5959
Fax +27 11 833 7997
Email: [email protected]

1112 16th Street NW Suite 540


Washington DC 20036
UNITED STATES of
AMERICA
Tel +202 331 8518 Fax +202 331 8774

www.civicus.org

Seguimiento y evaluación por email: [email protected] 57

También podría gustarte