CENTRO DE ESTUDIOS DE POSTGRADO

TEMA 10:

¿CÓMO SE EVALÚA LA CALIDAD DE

LA INTERVENCIÓN
PSICOPEDAGÓGICA?

10.1. LA CALIDAD DE LA EDUCACIÓN Y SUS INDICADORES

La conceptualización de la calidad de un servicio como la educación o

la orientación educativa entraña grandes dificultades, y puede decirse que
no se ha alcanzado un acuerdo general en torno a lo que ello significa. Sin
pretender agotar este complejo tema, aquí se centrará la atención en
algunas perspectivas generales actuales de la conceptualización de la
calidad y la utilidad de los Sistemas de Indicadores para valorar dicha

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

calidad.

Distintas perspectivas de la calidad en educación

Este tema ejerce una poderosa atracción en el ámbito político y social

dado que el término calidad permite ser interpretado de diferente manera
por cada persona o grupo y en cada momento o situación particular
(Rodríguez Espinar, 1995, pág. 119). Ciertamente la calidad de la educación
es un concepto del que aun no existe un consenso en torno a su definición.
La cuestión es que si no podemos definir la calidad tampoco podremos
medirla, y si no podemos medirla, tampoco podremos lograr o saber si la
hemos logrado, pues es casi imposible mejorar sin evaluar (Berry, 1992). Se
presenta a continuación (Rodríguez Espinar, 1995, pp. 119-120), un
recorrido por las distintas perspectivas que en los últimos años se han ido
adoptando sobre este tema.

• La perspectiva de la excelencia, predominantemente en los EE.UU durante

los años ochenta, cuyo supuesto de partida (competitividad, individualismo,
elitismo) llevan al olvido de la atención a la diversidad, a la defensa del
programa único y a centrar su interés en el rendimiento de los alumnos
“mejores”.

Esta perspectiva ha ido perdiendo terreno, mientras lo gana la idea

de que la educación, o pasa por la igualdad de oportunidades y la atención
a la diversidad en el marco de la enseñanza comprensiva, o no es de calidad.
Así, se han ido abriendo nuevas perspectivas:

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

• La calidad como perfección o consistencia de los procesos educativos, que

lleva a eliminar los defectos en los procesos de enseñanza-aprendizaje,
donde el máximo indicador de calidad sería la fórmula: defectos en la
intervención = 0.
• La calidad como aptitud para el logro de objetivos, que permite asumir la
diversidad de metas y la adaptación a las realidades únicas con la condición
de ser eficaces.
• La calidad desde la perspectiva económica, que lleva a la eficiencia en la
intervención.
• La adaptación de los programas educativos a las necesidades del mundo
productivo se considera también una dimensión de la calidad en la
enseñanza postsecundaria.
• La educación como “valor añadido” (en la medida en que produce
transformaciones en el alumno), constituye a juicio de Rodríguez Espinar
una de las dimensiones más significativas desde la perspectiva de la
Orientación (máximo desarrollo del alumno=máximo valor añadido).
• Por último, la perspectiva de la “gestión de la calidad total” o perspectiva
del usuario, es la que representa para algunos autores el verdadero reto del
profesional de la intervención psicopedagógica. Se basa en el principio de la
obra bien hecha” o “hacer correctamente lo que ha de hacerse, siendo el
usuario quien determina lo que ha de hacerse.

Estas perspectivas pueden agruparse en dos enfoques generales de la

calidad educativa u orientadora: el enfoque sistémico y la teoría de la
calidad total (Vélez de Medrano, 1998).

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

a) El enfoque sistémico de la calidad de la educación y de las

organizaciones educativas.

Desde un enfoque sistémico (De la Orden, 1988 y 1993) se concibe la

calidad como el efecto de una relación peculiar entre los elementos básicos,
internos y externos, del programa, centro o sistema educativo. Esta relación
está definida por un sistema de coherencias múltiples entre los siguientes
componentes de la educación institucional:

• Rasgos socioculturales, perfil axiológico, y conjunto de aspiraciones y

necesidades educativas de la comunidad y de los individuos.
• Fines generales de la educación y fines institucionales (Proyecto
educativo).
• Objetivos específicos (programas de intervención educativa u
orientadora).
• Procesos y recursos didácticos y organizativos.
• Resultados educativos.

En este enfoque, debe acometerse la evaluación de las interacciones

entre dichos elementos en función de la coherencia existente entre tres
factores de calidad:

- La eficacia: o coherencia entre objetivos y resultados.

- La funcionalidad: o coherencia entre las aspiraciones y necesidades de la
comunidad educativa y los resultados del proceso educativo/orientador.
- La eficiencia: coherencia entre resultados y costes (en términos de
esfuerzo, tiempo, recursos económicos y de otro tipo empleados, clima

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

institucional creado, etc.).

b) El movimiento por la “calidad total”.

Aún compartiendo algunos elementos con el enfoque sistemático, el

enfoque de la calidad total tiene unas características bien diferenciadas, y
es el que ha adoptado actualmente la Administración para la evaluación del
sistema educativo. Los principales rasgos de este modelo (surgido en el
mundo empresarial) de “gestión de la calidad total” son (Berry, 1992; López
Rupérez, 1995; Vélez de Medrano, 1998):

• La óptica del destinatario o cliente se convierte en la referencia

fundamental a la hora de establecer lo que tiene calidad y lo que no la tiene;
el cliente tiene la última palabra: “calidad es la satisfacción de las
necesidades y expectativas de los clientes”.
• La calidad no es sólo calidad producida sino también, y sobre todo, calidad
percibida. De nada servirá que se cumplan una serie de objetivos en la
producción de un producto o de un servicio si el cliente lo rechaza.
• Además, no se trata de cualquier cliente, sino de un cliente razonable, por
lo que la definición de calidad se completa: “satisfacer las necesidades de
los clientes y sus expectativas razonables”.
• Por cliente o destinatario no sólo se entiende el cliente externo a la
institución, sino también el cliente interno o miembro de la misma
(consideración de todas las personas como elemento clave de la eficiencia
de los procesos productivos).
• La gestión de la calidad implica a todas las personas y a todas las
actividades de la institución. La calidad no sólo compete al “departamento

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

de calidad”, sino que todos, desde el directivo al último empleado, están

implicados en la calidad del producto final.
• La calidad total vincula la idea moderna de calidad a criterios de eficiencia
económica, abandonando la vieja creencia, aun bastante extendida, de que
la mejora de la calidad supone un aumento de los costes una disminución
de la productividad.
• Los resultados perseguidos son: a) la satisfacción (de las necesidades y
expectativas) de los destinatarios o clientes; b) la satisfacción del personal
de la organización; c) el impacto en la sociedad; y d) los buenos resultados
económicos y financieros (reducción de costos).

Las escuelas que llevan a cabo este modelo de gestión utilizan (Sanz
Oro, 2001, pág. 45) seis estrategias para estructurar su cambio hacia una
escuela de calidad total. Dichas estrategias generan el cambio cultural
necesario para crear calidad y mantenerla a lo largo del tiempo.

• Definir los roles y estructura organizacional del equipo.

• Acciones y conductas de gestión que controlen los procesos no las
personas.
• Definir claramente los estándares o criterios de referencia y recoger
sistemáticamente datos para medir los procesos.
• Ofrecer programas de formación para los empleados.
• Disponer de canales de comunicación eficaces.
• Establecer formas de reconocimiento y recompensa a los empleados por
su trabajo y esfuerzo.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

Como vemos, cualquiera que sea la perspectiva adoptada, la

definición de calidad variará. Por tanto, dado que es difícil de definir en
términos absolutos pues es un concepto relativo y multidimensional, es
fundamental negociar y establecer referencias muy claras (medidas,
criterios e indicadores) de lo que es la calidad de la educación o de la
orientación. El objetivo es llegar a una definición intersubjetiva o
consensuada de qué factores afectan más a la calidad y cuáles son nuestros
patrones de deseabilidad.

Los indicadores de la calidad de la educación/orientación

Los indicadores sociales, que se venían utilizando desde la década de

los 60, dieron paso a los indicadores económicos (Cooley, 1983; Oakes,
1986; Wyatt y otros, 1989; Odden, 1990; Scheerens, 1992; Nuttall, 1994,
entre otros). En el ámbito educativo, la construcción de indicadores,
constituye un nuevo enfoque en el modo de concebir y utilizar la
información acerca de la educación. Desde hace unos años, el estudio para
la elaboración de indicadores educativos está alcanzando gran auge en
todos los países, sobre todo en occidente, impulsado por las organizaciones
internacionales y las administraciones educativas, interesadas en evaluar
los resultados de sus decisiones de planificación, y en recoger información
acerca del funcionamiento y estado de los respectivos sistemas educativos,
es decir, poder valorar la calidad de la educación (OCDE, 1991, 1994 y 1995;
Nuttall, 1992; Bryk and Hermanson, 1994).
Sin embargo, a pesar de la abundante literatura que existe al respecto
(Shavelson, 1990, pp. 61-73; Tiana, 1993, pp. 283-294; Wyatt, 1994, pp. 99-

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

121), perdura cierta confusión sobre la definición de indicador y sobre su

configuración, estructura y diseño. Una de las definiciones más aceptadas
de indicador educativo es la propuesta por Jeannie Oakes (1986, pp. 154-
167) como “un estadístico referido al sistema educativo que revela algo
sobre su funcionamiento”. Estos indicadores pueden proporcionar
información de diversa índole, desde datos sobre el logro de los productos
educativos deseados (ej.: reducción de las tasas de abandono) hasta datos
sobre las características del sistema escolar (ej.: recursos educativos y/o
financieros disponibles) o información sobre los problemas actuales o
potenciales del sistema. Con respecto a las características técnicas que han
de reunir los indicadores, Oakes menciona las siguientes: a) Deben medir
características relativamente perdurables del sistema educativo, de tal
modo que se puedan analizar las tendencias a lo largo del tiempo; b) Deben
ser fácilmente comprensibles para una amplia audiencia (políticos,
educadores u opinión pública); c) Deben ser fiables y válidos. Según nuestra
opinión, habría que añadir d) El carácter normativo de todo indicador; pues
siempre implica juicios de valor acerca de la calidad o “salud” de la
educación o de la orientación, entre otros posibles ámbitos.

Cuando puede apreciarse, existe un amplio consenso en relación a

qué se entiende por indicador educativo y a cuál es su uso principal. Según
Sheldon y Jaeger, entre otros autores, es la caracterización de la naturaleza
del sistema o situación educativa objeto de estudio a través de sus
componentes, de sus relaciones y de los cambios producidos a lo largo del
tiempo. Es decir, proporcionar información clave para poder describir
aspectos o condiciones educativas que preocupan a quienes toman las

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

decisiones. En este sentido, los indicadores han evolucionado desde la

perspectiva del accountability o rendimiento de cuentas, hacia la
perspectiva de herramientas al servicio de la planificación y el desarrollo
educativo (Schereens, 1992).

Por último, es preciso señalar la necesidad de disponer de sistemas

de evaluaciones basados en indicadores (conjuntos coherentes de
indicadores que proporcionen una representación global válida), más que
de un conjunto de indicadores aislados que no pueden describir la
complejidad de los sistemas y procesos educativos (Nuttall, 1992) y,
además, no permiten vincular los procesos técnicos de evaluación y la
política educativa. Por su parte, Shavelson (1990) y Oakes (1986) recuerden
la necesidad de que los sistemas de indicadores educativos estén
firmemente asentador sobre trabajos teóricos o modelos de cómo funciona
el sistema que va a ser objeto de evaluación.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

10.2. LA EVALUACIÓN EN EL CAMPO DE LA ORIENTACIÓN

E INTERVENCIÓN PSICOPEDAGÓGICA

La mayoría de los argumentos manejados con respecto a la

evaluación educativa son extensibles al campo de la evaluación en el campo
de la Orientación e intervención psicopedagógica.

10.2.1. La calidad de la intervención orientadora

La L.O.G.S.E (Artículo 2.3 g, y Artículo 55 y 60), considera la
Orientación educativa como uno de los principios que han de guiar la
actividad educativa y como un factor fundamental para mejorar la calidad
de la enseñanza, instándose a las Administraciones educativas a que
garanticen el derecho de todos los alumnos a la orientación. Por tanto, si
creemos que la calidad de la educación o es para todos, o no es tal calidad,
los principios y objetivos de la Orientación educativa, sintetizados en la
meta prioritaria de favorecer el desarrollo integral del alumno, han de
impregnar el currículo escolar y la formación del profesorado para que
ambos persigan los objetivos asumidos por la Orientación educativa. Esto
nos lleva directamente a reclamar las condiciones favorables para una
intervención por programas comprensivos de Orientación dirigidos a todas
las alumnas, integrados en el currículum, secuenciales y progresivos y
basados en los principios de desarrollo, prevención e intervención social.
Recordemos que en la actualidad nos referimos a la LOMCE y con la LOE.
Rodríguez Espinar (Tabla 13), se refiere a seis factores que configuran

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

el nuevo marco de intervención de la Orientación, y los considera

condicionantes de la calidad de la misma.

Tabla 13. Factores condicionantes de la calidad de la intervención

orientadora (Rodríguez Espinar, 1995).

1. Las características del contexto social y productivo (cambiante,

multicultural, evolución en la estructura familiar, aislamiento, crisis en los
sistemas de creencias y valores, caducidad de los conocimientos, entre
otras).

2. Las características del sistema educativo (prolongación de la escolaridad

obligatoria, diversidad de la oferta educativa postsecundaria, empleo de las
nuevas tecnologías de la información y la comunicación, reformas en los
estilos de organización y dirección de las instituciones educativas,
rendimiento de cuentas de los servicios educativos, etc.).

3. El modelo institucional-administrativo adoptado para el desarrollo de las

funciones orientadoras.

4. La preparación científico-técnica de los profesionales de la Orientación.

5. El enfoque o modelo de intervención adoptado, tanto desde la

perspectiva institucional como desde la de los propios orientadores.

6. La organización profesional (sociología de la profesión) generada por los

responsables de la Orientación.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

Las dos perspectivas del concepto de calidad (el enfoque sistémico y

la calidad total), nos llevan a hacer una serie de consideraciones:

• Desde un enfoque sistémico, la calidad de la intervención orientadora ha

de tender al equilibrio entre tres factores: 1) Eficacia: coherencia entre los
objetivos del programa de intervención psicopedagógica, y sus resultados;
2) Funcionalidad: coherencia entre las aspiraciones y necesidades
razonables de la comunidad educativa en relación a la Orientación, y de los
resultados; y 3) Eficiencia: coherencia entre los resultados de la intervención
y los costes (en términos de recursos, esfuerzos, tiempo, clima generado,
etc.).
• El enfoque de la “calidad total” aplicado a la Orientación, significa
entender la calidad de la intervención orientadora como “hacer bien
(eficacia) lo correcto (atender a las necesidades del destinatario)”. Para
conseguir esta meta es necesario que el orientador lidere un cambio en los
roles y funciones de los profesores y padres (Rodríguez Espinar, 1995). Para
este autor, la gestión de un programa de Orientación desde la perspectiva
de la calidad total reclama una serie de condiciones (Tabla 14)

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

Tabla 14. La gestión de un programa de Orientación desde la perspectiva de

la calidad total (Rodríguez Espinar, 1995).

El programa ha de estar:

- Diseñado, organizado y conducido por orientadores profesionales en

colaboración con otros profesionales en un clima de cooperación e
implicación con las necesidades de los destinatarios.

- Desarrollado de forma sistemática (iniciado con un análisis de necesidades

y concluido con una evaluación de logros).

- Orientado a la evaluación y al rendimiento de cuentas, que implica:

• Consideración del contexto, con énfasis en las características y

necesidades del destinatario.
• Apoyo sistemático orientado a satisfacer al destinatario.
• Asignación de responsabilidades en las acciones a emprender a cinco
niveles (orientador; orientador + tutores; orientador + equipo directivo;
orientador + tutores + equipo directivo + padres; orientador + tutores +
equipo directivo + padres + comunidad + sector productivo).
• Atención al proceso de logro de resultados.
• Evaluación de resultados.

- Orientado a la toma de decisiones basadas en la evidencia y no en

apreciaciones subjetivas de los agentes orientadores.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

Como señala el autor, este tipo de situaciones sólo son posibles si los
agentes orientadores disponen de tiempo, de recursos y de un marco
organizativo sistemático, el programa de Orientación, en el que operar.

10.2.2. La evaluación de programas de orientación e

intervención psicopedagógica
Aunque hasta muy recientemente la evaluación de programas en los
centros era una actividad excepcional, esta situación está cambiando y va
calando en la conciencia de todos los agentes educativos, incluidos los
orientadores, la denominada “cultura de la evaluación”. Sin embargo, como
argumenta Sanz Oro (1996, pp. 56 y 64) las resistencias todavía existentes
pueden deberse a la poca formación que reciben los orientadores en el área
de la evaluación, a la creencia de que los resultados en el campo de la
Orientación educativa no pueden ser cuantificados porque pertenecen al
dominio afectivo, y la falta de tiempo y de recursos materiales y humanos,
que les impide comprobar los resultados del programa. Este mismo autor,
siguiendo a Gade (1981) señala las principales ventajas de realizar una
evaluación sistemática de los programas de Orientación (o. c, pág. 60):

• Recibir un constante feedback sobre el grado de efectividad del programa

de orientación.
• Poder identificar a los alumnos cuyas necesidades no estén siendo
satisfechas.
• Elegir y utilizar las técnicas de Orientación sobre la base de su efectividad.
• Poder justificar la eliminación de actividades de Orientación inútiles.
• Disponer de evidencias para requerir un incremento de recursos

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

personales y materiales con el fin de satisfacer los objetivos del programa.

Se podría añadir que, de entrada, sin acometer una evaluación de

necesidades es imposible diseñar un programa de intervención
mínimamente eficaz y funcional.

La evaluación como núcleo central del programa de Orientación

La evaluación es el núcleo central de cualquier programa. Sanz Oro,

adaptando un esquema de Leibowitz y otros, ha representado gráficamente
esta idea como se aprecia en la figura 3.

Figura 3. La evaluación como núcleo de un programa (Sanz Oro, 1996).

En la figura 3 se representan las interacciones que tienen lugar entre

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

las fases del diseño, aplicación y evaluación de programas de Orientación.

• Análisis y valoración de necesidades de los destinatarios y de las
características, inercias y expectativas del contexto y de la institución o
marco en que han de satisfacerse.
• Estudio de las evidencias teórica y empírica disponible acerca de la
satisfacción de esas necesidades (principios y teorías fundamentales de la
intervención, estudio de otros programas ya aplicados, etc.).
• Diseño del programa (en sus distintos niveles de concreción centro
(etapa), ciclo, nivel, grupo-clase, y alumno).
• Aplicación y seguimiento del programa (con la consiguiente mejora y
reconducción sobre la marcha).
• Evaluación e informe sobre los resultados obtenidos, entendido en un
sentido amplio, y reflexión acerca de los mismos.
• Toma de decisiones sobre la mejora y la continuidad del programa.

Al considerar la evaluación como el núcleo del programa de

Orientación, ésta viene definida ya por una serie de rasgos de acuerdo a la
tipología establecida: será global (de contexto, inputs, proceso y
resultados), fundamentalmente formativa (pues su función es la correcta
elaboración del programa y su reajuste y mejora permanente a las
necesidades de los destinatarios), en tres momentos (al inicio, durante y al
final de la aplicación del programa), y criterial (al tomarse como referencia
el logro de los objetivos del programa). En realidad, podría decirse que al
calificar la evaluación de global o sistemática (en el sentido de los términos
empleados por Stufflebeam y Skinfield, 1989), estamos recogiendo ya el
resto de los rasgos, como se aprecia en las dimensiones o tipos de

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

evaluación que incorpora una “evaluación global” (Tabla 15).

Tabla 15. Dimensiones de la evaluación global de un programa de

Orientación (Vélez de Medrano, 1998).
Incluye la valoración del conjunto de circunstancias que
rodean y condicionan al centro (rasgos socioeconómicos y
Evaluación de culturales de las familias, entorno urbano, suburbial o
contexto rural, medios y recursos entornantes, etc.). El objetivo de
esta evaluación es saber cuáles son las necesidades que ha
de satisfacer el programa de Orientación.
Supone la valoración: a) De las capacidades de partida de
los alumnos (estimar la "zona de desarrollo próximo"); y b)
La valoración del conjunto de recursos de todo tipo
(personales, materiales, estructurales y organizativos) con
Evaluación de los que efectivamente cuenta el centro, así como las
inputs competencias reales del profesorado y de los tutores. El
objetivo es saber si se dispone de los recursos y
competencias necesarias y adecuadas para dar respuesta a
las necesidades y demandas, para promover el desarrollo
de capacidades y configurar un programa en consecuencia.
Equivale a valorar el funcionamiento del programa en
Evaluación todas sus líneas de acción. El objetivo es saber cómo están
del proceso funcionando las cosas, y si los planes y programas se están
llevando a cabo satisfactoriamente.
Comprende la valoración de los resultados de la
Evaluación de
intervención (el desarrollo del alumnado entendido en
resultados
sentido integral, el nivel de satisfacción de los padres y del

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

personal del centro, la relación entre “costes” y

“beneficios”, etc.). El objetivo es conocer la eficacia, la
eficiencia y la funcionalidad final del programa (siempre
teniendo como criterio de referencia la satisfacción
prevista de las necesidades, no de todas las necesidades
posibles).

Como se ha podido apreciar en lo dicho hasta aquí, junto a la

evaluación del proceso y de los resultados, el análisis de necesidades juega
un papel central en la calidad de la intervención orientadora ya que es
imprescindible para el diseño del programa o plan de intervención (Johnson
y Whitefield, 1992; Gysbers y Henderson, 1994; Sanz Oro, 1996).

Principales tendencias en la evaluación de programas de Orientación

Son muchos los trabajos realizados en torno a la evaluación de

programas de Intervención (Bartolomé, 1990; Gysbers y otros, 1992;
Johnson y Whitefield, 1992; Gysbers y Henderson, 1994; Alonso Tapia, 1995;
Sanz Oro, 1996, entre otros). Se pretende solamente dejar constancia de
aquellos que son más utilizados en Orientación educativa.

• Entre los modelos generales de evaluación de programas (educativos y de

orientación) citados en páginas anteriores, destacan los “modelos globales
orientados a la toma de decisiones”, especialmente el modelo propuesto
por Stufflebeam y Shinkfield (1988) ya que es muy completo.
• Puede considerarse también un modelo general con un fuerte acento en

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

el accountability o rendimiento de cuentas, el modelo basado en el balance

coste-beneficio (Atkinson, Furlong y Janoff, 1979). Muy relacionado con esta
propuesta está el modelo de Lombana (1985).
• El Modelo Missoure de Programa Comprensivo de Orientación propuesto
por Gysbers y colaboradores (Gysbers y otros, 1992; Johnson y Whitefiled,
1992; Gysbers y Henderson, 1994), que incluye un sistema de evaluación
que valora el programa, los resultados y el trabajo del orientador. Se
centrará la atención a continuación en las dos últimas propuestas:

A. Un modelo de evaluación de programas de Orientación globalizador y

basando en el “balance costo-beneficio”:

Las dos preguntas que vertebran el proceso son: ¿qué hace el

orientador? (evaluación de proceso) y ¿cuáles son los efectos que produce
el trabajo del orientador sobre los estudiantes? (evaluación del producto).
La respuesta a estas dos cuestiones puede ser respondida bien mediante la
aportación de estas dos cuestiones puede ser respondida bien mediante la
aportación de información cualitativa/descriptiva, o bien mediante
información cuantitativa/explicativa. La combinación de ambos ejes
proporciona un sistema de clasificación de datos de la evaluación en cuatro
categorías (Figura 4):

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

Figura 4. El modelo de evaluación de “balance costo-beneficio de Atkinson

et al. Y sus fuentes de datos (Sanz Oro).

La información que se obtiene en la Categoría 1 permitirá establecer

el valor de las actividades realizadas por el orientador a partir de un modelo
que defina su rol y funciones; la que se obtiene en la Categoría 2 permiten
establecer el valor de los resultados de la orientación (no sólo referidos a
cómo los demás valoran el trabajo del orientador, sino a los efectos
efectivamente comprobados de sus actuaciones); los datos de la Categoría
3 nos informan de la frecuencia de las actividades de orientación (lo que
nos indicará la prioridad dada a determinados objetivos o tareas); y los de
la Categoría 4 nos permitirán valorar la efectividad del programa de
orientación (Sanz Oro). El valor de este modelo, además de en su carácter
pionero, estriba en la estructuración del proceso evaluador y de sus fuentes
de información, así como de la concreción del tipo de contenidos de la
Orientación que es preciso evaluar. Sin embargo, creemos que, para ser un

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

modelo de evaluación completamente globalizadora le falta considerar

otros dos tipos de evaluación que el modelo de Stufflebeam sí incluye (el
contexto y los inputs), limitación que, por otra parte, es común a cualquier
modelo de costo-beneficio.

Con la misma estructura categorial y la misma función de rendimiento

de cuentas que el modelo anterior, Lombana (1985) propone un nuevo
modelo cuya novedad estriba en la diferenciación de dos tipos de objetivos
en los programas de Orientación: las capacidades que el programa ha de
desarrollar en sus destinatarios (“objetivos del cliente”), y los objetivos que
el programa se propone conseguir en la institución, y que se formulan en
términos de conductas o logros a conseguir por el orientador (“objetivos del
programa”). De este modo, en la evaluación se recogerá información
empírica y valorativa sobre la consecución de ambos tipos de objetivos,
resultando un Tabla de cuatro categorías.

Tabla 16. Recogida de datos en evaluación de programas de Orientación

(Moreno, Delgado y Sanz, 1996, pág. 391).
Categoría 2: información valorativa
Categoría 1: datos empíricos sobre los
sobre los objetivos del programa
objetivos del programa (¿el orientador
(¿cómo perciben otros la efectividad del
logró la tarea prevista en el objetivo?)
orientador?)
Categoría 3: datos empíricos sobre los Categoría 4: información valorativa
objetivos del cliente (¿Los alumnos, u sobre los objetivos del cliente (¿cómo
otros destinatarios, cambiaran su perciben otros la efectividad en los
conducta como resultado de los cambios de conducta del alumno o de
esfuerzos del orientador?) otros destinatarios?)

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

B. La evaluación de programas comprensivos de Orientación

La propuesta de Gysbers y sus colaboradores han desarrollado en los

distritos escolares de los Estados Unidos, no sólo marca las últimas
tendencias en la elaboración y aplicación de programas comprensivos en
Orientación educativa en contextos escolares, sino que lleva asociado un
sistema de evaluación específico que también constituye una importante
aportación. El propósito de dicha evaluación, según Gysbers y Henderson
(1994), “es proporcionar datos para tomar decisiones sobre la estructura e
impacto del programa o sobre los profesionales implicados en el mismo”.

Trataremos de resumir los rasgos principales de este sistema:

• Se trata de un sistema de “evaluación global”, centrado en la valoración
de tres dimensiones básicas: a) El propio programa; b) El trabajo de los
orientadores y del personal que interviene en la aplicación del programa; y
c) Los resultados e impacto del programa.
• Se hace gran hincapié en la evaluación continua del proceso, pero está
muy centrado en los resultados, de hecho es también un modelo con gran
énfasis en el rendimiento de cuentas que acaba llevando al análisis costo-
beneficio. Es decir, son programas de orientación basados en resultados o
competencias de forma que pueda conocerse la medida en que los
estudiantes se benefician del programa de orientación.
• Su función es eminentemente formativa, pues persigue la mejora
continua del programa.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

Aunque Gysbers y colaboradores no han elaborado un sistema formal

de indicadores para la evaluación, estos serían fácilmente deducibles, pues
sí han operativizado un conjunto de preguntas clave en un sistema
fuertemente estructurado. Las preguntas clave del sistema de Gysbers son
las siguientes:

• Nivel 1) Preguntas clave a las que ha de responder el sistema de

evaluación en conjunto.
• Nivel 2) Preguntas clave a las que hay que responder dentro de cada una
de las tres dimensiones que se evalúan: el programa, los orientadores y los
resultados.
• Nivel 3) Preguntas clave, pero ya mucho más concretas, dentro de cada
uno de los componentes del programa (contenidos del programa,
estructura, procesos, temporización y recursos).

Debido a la amplitud de las preguntas, sólo se mostrarán a

continuación como ejemplo de las preguntas clave de Nivel 1 (Gysbers y
otros, 1992):

• El programa ¿consta de todos los elementos de los que debe constar un

programa comprensivo?
• Los orientadores, ¿son evaluados y supervisados en función de la
descripción de su trabajo que se realiza en el programa comprensivo?
• ¿Se evalúa el dominio por parte de los alumnos de las capacidades
previstas en el programa de orientación?
• ¿Se evalúa el impacto del programa sobre el clima y las metas de centro

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

escolar?
• Cada uno de los destinatarios del programa y las autoridades de la
comunidad o directivos ¿están satisfechos con el mismo? ¿los destinatarios
sienten que el programa está a su servicio?

En cuanto a la evaluación del trabajo del orientador, se realiza una

evaluación formativa y sumativa muy sistemática, es decir, empleando
como criterio de deseabilidad las tareas que prescribe el programa
comprensivo para el orientador. Asimismo, se hace una valoración
exhaustiva de los resultados del programa. Los tres tipos de resultados que
se valoran, inmediatos, intermedios y a largo plazo, se definen en función
de lo que el estudiante aprenderá y será capaz de hacer, no en función de
los servicios que va a recibir por parte del orientador o por su participación
en actividades de orientación (Johnson y Whitefield, 1992). Es decir, el
estudiante es el primer cliente y las competencias (conocimientos,
habilidades y actitudes) que adquiere, lo más importante. Los resultados
valorados son:

• Grado de desarrollo de los alumnos, en términos de las capacidades o

competencias previstas por el programa de Orientación: se realiza una
evaluación inmediata después de terminar una actividad de orientación, y
una evaluación intermedia cuando el estudiante deja la escuela para
observar las metas y competencias que ha adquirido a lo largo de su
escolaridad.
• Impacto del programa en los mediadores y observadores del desarrollo
del alumno; impacto en las metas y en el clima del centro, nivel de

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

satisfacción de alumnos, padres, profesores, administradores, la

comunidad, los empleadores, etc.
• Resultados no previstos, pero que se han producido.

Este sistema de evaluación de programas comprensivos está

actualmente en pleno desarrollo pues se está aplicando en los distritos
escolares de varios estados americanos y se están valorando los efectos del
programa después de diez años de implantación. Sintetizando algunos de
los resultados encontrados, se observa que los programas comprensivos de
orientación potencian tanto el desarrollo personal y profesional como el
logro académico, contribuyendo asimismo a la mejora del clima de clase
(Lapan y cols., 1993; Oomen y cols., 1997; Gysbers y Henderson, 1999).

10.2.3. La evaluación de la atención a la diversidad

En el sistema educativo español, las medidas específicas de atención
a la diversidad son: la acción tutorial, el apoyo especializado al proceso de
enseñanza y aprendizaje y, en Secundaria, la orientación académica y
profesional. Dichas medidas se plasman en los siguientes planes de centro:
Plan de Acción Tutorial (PAT), Plan de Orientación Académica y Profesional
(POAP) y Plan de Apoyo al Proceso de Enseñanza-Aprendizaje (APEA). En el
caso de la intervención desde los Equipos Psicopedagógicos del Sector, las
medidas de apoyo y atención a la diversidad se plasman en el Plan Sectorial
de Intervención Psicopedagógica, que en cada Comunidad Autónoma tiene
su propia denominación.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

A la evaluación de estos planes o programas puede aplicarse lo

expuesto en este tema acerca de modelos, técnicas e indicadores de calidad
de la intervención; sólo resaltar que han de ser evaluados cada curso,
incorporándose los resultados de dicha evaluación a la Memoria Anual que
ha de remitirse a los Servicios de Inspección y que sobre todo, ha de servir
al Departamento de Orientación del centro o al Equipo de Sector, para
tomar decisiones de mejora y ajuste de la intervención psicopedagógica.

10.2.4. Consideraciones en torno a la evaluación de la

función orientador
Hasta ahora se ha hablado de la importancia de la evaluación
institucional y de la evaluación de programas. Sin embargo, comienza a
cobrar auge la evaluación de la función orientadora, es decir, del
desempeño de los orientadores (Gysbers y cols., 1992; Eurydice, 1995;
Anderson, 1995). Muestra de ello es el sistema de evaluación de la función
docente, directiva y orientadora que desde 1995 puso en marcha el MECD.
Sin embargo, a pesar del interés de esta iniciativa, también se cuestionan
algunos aspectos técnicos de dicha evaluación, como el procedimiento de
evaluación (¿para qué, quién, qué, cómo y cuándo evaluar a estos
profesionales?), el posible uso de los resultados, o de las reticencias del
orientador ante la evaluación, entre otros. De cualquier forma, ya se ejercen
algunas formas más o menos indirecta de evaluación de la función
orientadora, aunque no se reconozcan formalmente como tales, como la
evaluación por parte de la Inspección, de los alumnos de los propios
compañeros docentes, del Equipo Directivo y de la opinión pública; o la

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA

 CENTRO DE ESTUDIOS DE POSTGRADO

evaluación externa del rendimiento de los alumnos en relación a las

Enseñanzas Mínimas; o los resultados en las pruebas de acceso a la
Universidad.

Por otro lado, se considera que la evaluación de la función docente y

orientadora no debe realizarse únicamente a partir de los resultados de los
alumnos, pues se ignora otras muchas variables que inciden en los
resultados. En suma, la evaluación de la calidad de la intervención
psicopedagógica es compleja pero no imposible, y de la máxima
importancia para poder mejorar la calidad de la intervención. Por eso el
artículo 62 de la LOGSE que prevé la evaluación de la función
docente/orientadora, se inscribe en el Título IV de la Ley denominado “De
la calidad de la enseñanza”. La importancia y delicadeza del tema radica en
que los indicadores y procedimientos utilizados para evaluar a los
profesionales, son una manifestación de lo que los expertos y la
Administración consideran que es la “buena enseñanza”, el “buen
orientador”, lo que lleva previsiblemente a cambiar al conducta profesional
de los profesores y orientadores hacia derroteros deseables o ajustadas a lo
que se espera de ellos. En esto consiste la función formativa de la
evaluación.

MÁSTER EN PSICOPEDAGOGÍA TERAPÉUTICA