coeficiente o indicadores internacionales PISA

SECRETARÍA DE EDUCACIÓN DE BOGOTÁ
DIRECCIÓN DE EVALUACIÓN Y ACOMPAÑAMIENTO
SUBDIRECCIÓN DE EVALUACIÓN Y ANÁLISIS

LA EVALUACIÓN:
UNA ESTRATEGIA A NIVEL INTERNACIONAL PARA EL MEJORAMIENTO DE LA CALIDAD EDUCATIVA

¿POR QUÉ SURGEN LOS SISTEMAS DE EVALUACIÓN EN LOS DISTINTOS PAÍSES?

La implementación de sistemas de evaluación está asociada fundamentalmente a un creciente interés por los resultados de la calidad de la educación, tales sistemas surgen principalmente en razón a:

• La necesidad de saber si los estudiantes realmente están adquiriendo los conocimientos, competencias, actitudes y valores necesarios para desempeñarse con éxito en la sociedad y para convivir armónicamente en comunidad.
• Los indicadores de matrícula, cobertura, deserción y repitencia, tradicionalmente utilizados para medir los resultados de un sistema educativo, se consideran insuficientes, pues no dan real cuenta de la calidad de la educación que se imparte en las instituciones escolares[1]. Ello en razón a que la calidad de la educación no es fácilmente visible para los diferentes actores de la comunidad educativa ni para la sociedad en general, en comparación con otras actividades humanas en las que es más sencillo apreciar los resultados de lo que se hace.
• En una parte de los casos, la creación de sistemas nacionales de evaluación de aprendizajes ha sido impulsada por organismos internacionales de crédito como parte de sus convenios de otorgamiento de préstamos a los países. No obstante, es de aclarar que las características específicas de cada sistema de evaluación adoptado por cada país en particular, dependen más de sus capacidades técnicas y de sus propias decisiones políticas que de directivas de dichos organismos.
  Aunque es de aclarar, que esta afirmación ha sido insistentemente desafiada, por quienes afirman que independientemente de las políticas de las últimas dos décadas, la evaluación estandarizada y el estudio de factores asociados al logro fortalecen los cimientos democráticos de los sistemas educativos, en tanto permiten la opinión informada y la demanda de los beneficiarios, a la vez que el establecimiento de mecanismos de compensación para asistir a las comunidades escolares que más lo necesitan por parte del Estado.

Además, la Declaración Final de la V Conferencia Iberoamericana de Educación, subraya, dentro de las once prioridades educativas propuestas por los Ministros, la necesidad de mejorar sustancialmente la calidad de los distintos niveles educativos, a partir de una evaluación continua que permita conocer las capacidades y límites del sistema y oriente las políticas de equidad y compensación.

Para el caso de Colombia en particular, la evaluación que se hace de los aprendizajes también responde a una de las recomendaciones en educación que hiciera la Misión Nacional de Ciencia, Educación y Desarrollo, la cual propone reorganizar los exámenes de Estado y establecer otros exámenes de evaluación de la calidad, que como no son propiamente exámenes de Estado, no tendrán carácter obligatorio para los estudiantes; pero si lo tendrán para las instituciones que fueran seleccionadas como parte de una muestra local, regional o nacional [5]. Ello se enmarca en uno de los planteamientos centrales de dicha Misión, en el cual se manifiesta que el cambio que necesita Colombia se dé en el campo del mejoramiento de la calidad educativa, para lo cual plantea la urgencia de fortalecer el Sistema Nacional de Evaluación, de manera que el país cuente con la capacidad de hacer las evaluaciones requeridas y de divulgar, analizar y discutir la información obtenida.

¿QUÉ MIDEN LAS EVALUACIONES?

Desde el Ministerio de Educación Nacional se afirma que una educación es de calidad en la medida en que los estudiantes logren los objetivos propuestos, o alcancen lo que se espera de ellos; en otras palabras: “que aprendan lo que tienen que aprender, en el momento en que lo tienen que aprender y que lo hagan en felicidad” [6]. Es por esa razón, que los sistemas de evaluación dentro y fuera del país centran su atención y sus esfuerzos fundamentalmente en conocer el logro cognitivo de los estudiantes, bien sea en términos de conocimientos, competencias, habilidades del pensamiento, saberes, actitudes, etc.; pues se puede decir que en el aprendizaje de los estudiantes se “resume” o se debe reflejar la mayor parte de todo el quehacer educativo, de todo el trabajo escolar, ya que de muy poco sirve contar con docentes muy preparados, con un plan de estudios bien diseñado, con buenas instalaciones físicas y con excelentes recursos didácticos, si los estudiantes no aprenden, o si escasamente alcanzan las metas básicas propuestas. Aunque no todas las evaluaciones están orientadas a medir exactamente lo mismo, la mayoría de países coinciden en evaluar las áreas centrales del currículo: Lenguaje, Matemáticas, Ciencias Naturales y Ciencias Sociales, principalmente. “En algunos casos también se evalúan campos no cognitivos como el desarrollo personal y social, aunque estas evaluaciones han tenido básicamente un carácter experimental y, por decirlo de alguna manera, se encuentran en su mayoría en fase de exploración en los países en los que se han implantado sistemas de evaluación” [7].

En general se evalúa la finalización de un ciclo y un grado intermedio, o simplemente la finalización de un ciclo, regularmente con una periodicidad anual y en forma muestral y/o censal, mediante pruebas estandarizadas de selección múltiple y de respuestas cortas. Cuando se realiza evaluación muestral, el objetivo principal es hacer un monitoreo al sistema educativo nacional; mientras que en las evaluaciones censales se persigue fundamentalmente hacer seguimiento a la efectividad de las instituciones escolares.

Según el Programa de Cooperación Iberoamericana en Evaluación de la Calidad de la Educación de la OEI (Organización de Estados Iberoamericanos), en los últimos años se han producido en el ámbito internacional avances notables en el desarrollo de la evaluación, entendida como instrumento al servicio de la política y la administración de la educación –con miras a lograr efectos positivos en la calidad educativa-, la cual adquiere mayor importancia con los procesos de reforma educativa, en los que se concibe la evaluación como un componente estratégico destinado a brindar información útil para la toma de decisiones.

En el caso de Chile, el objetivo es medir regularmente el estado y progreso de los logros de aprendizaje de los estudiantes, a través de la medición no solo de contenidos, sino también de habilidades superiores de pensamiento. Argentina por su parte, tiene como objetivo brindar información sobre qué y cuánto aprenden los estudiantes durante su paso por el sistema educativo, así como indagar en qué medida van adquiriendo las capacidades y los contenidos de su propio desarrollo que los diseños curriculares y la sociedad misma requieren [8].

España con la evaluación busca conocer el nivel de rendimiento académico logrado por los estudiantes y establecer una línea base que permita analizar el progreso educativo del sistema escolar a través del tiempo. Un objetivo similar tiene Perú, cual es, evaluar el rendimiento estudiantil para obtener información que permita conocer el estado de la calidad de la educación. Entre tanto, México se propone observar la evolución del logro escolar a partir de la estimación del rendimiento académico en las distintas asignaturas.

Bolivia por su parte, manifiesta que su objetivo es proporcionar información en forma periódica, confiable y válida acerca de los niveles alcanzados por los educandos en cuanto a las adquisiciones y desarrollo de las competencias. Así mismo, Venezuela tiene como propósito suministrar información oportuna, periódica, válida y confiable acerca de las competencias adquiridas por el estudiante en su recorrido por el sistema educativo.

Otros países como el caso de Brasil, Uruguay, Honduras, Cuba y Costa Rica, también fundamentan sus sistemas de evaluación en pruebas periódicas dirigidas a los estudiantes de ciertos grados de la educación primaria y secundaria en las áreas básicas [9].

En cuanto a países industrializados se refiere, Francia, Estados Unidos, Italia e Inglaterra por su parte, evalúan con el objetivo de hacer un monitoreo y seguimiento de sus respectivos sistemas educativos y de la efectividad institucional escolar.

¿QUÉ OTRO ASPECTO SE EVALÚA, ADEMÁS DEL APRENDIZAJE DE LOS ESTUDIANTES?

Complementario a las evaluaciones del aprendizaje, se ha encontrado que en la mayoría de los países –entre ellos Argentina, España, Perú, Bolivia y Venezuela-, recogen y analizan información acerca de los factores asociados al aprendizaje, o sea, aquellas condiciones intra y extra escolares que explican los resultados de los estudiantes en las evaluaciones. En el caso particular de Argentina, aplican "cuestionarios auto-administrados" a los directivos, docentes y estudiantes, a fin de recoger información acerca de las condiciones materiales, institucionales y sociales en las cuales la comunidad educativa desarrolla sus respectivas tareas. Tiene por objeto describir algunas recurrencias o características comunes que contribuyan a identificar y explicar algunas variables institucionales y socioculturales que inciden en el desempeño académico.

Adicional a la evaluación de los estudiantes, en México han creado un programa denominado: “Aprovechamiento escolar” de Carrera Magisterial. En este programa los docentes en forma voluntaria se someten a una evaluación anual del desempeño, que incluye las actividades diarias en el aula (35 puntos), las habilidades profesionales (25 puntos), la educación (15 puntos), la realización de cursos acreditados (15 puntos) y la antigüedad (10 puntos). Sobre la base de los resultados de la evaluación se concede a los maestros aumentos de sueldo.

En Chile también han implementado un programa similar, llamado Asignación de Excelencia Pedagógica (AEP), cuyo propósito es lograr el fortalecimiento de la calidad de la educación a través del reconocimiento del mérito profesional de los docentes de aula. Se trata de un proceso de acreditación voluntario que permite identificar a los docentes que demuestren tener conocimientos, habilidades y competencias de excelencia en su desempeño profesional, quienes serán los beneficiarios de la AEP. Tal asignación consiste en un beneficio económico que se pagará a los profesores acreditados como docentes de excelencia; además, tendrán un reconocimiento público por sus méritos profesionales y podrán optar a formar parte de la Red de Maestros de Maestros, cuya finalidad es contribuir al desarrollo profesional de los docentes en ejercicio. El modelo de medición de la Prueba AEP, define operacionalmente los criterios contenidos en los cuatro dominios de los Estándares de Desempeño para la Asignación de Excelencia Pedagógica: Preparación del proceso de enseñanza; Creación de un ambiente propicio para el aprendizaje; Desarrollo del proceso de enseñanza para el aprendizaje; y Responsabilidades profesionales de los docentes [10].

España además, realizó un diagnóstico general del sistema educativo, el cual abarca los siguientes aspectos: 1) Los resultados de rendimiento de los estudiantes de 14 y 16 años en las principales áreas del currículo. 2) Los planes de estudios y métodos de enseñanza utilizados a esas edades. 3) El funcionamiento de los centros docentes y, en particular, la función directiva, la participación de la comunidad escolar y la convivencia en los centros. 4) La función docente examinando los temas de formación inicial y permanente y las responsabilidades específicas del profesorado. 5) El contexto socio-educativo y especialmente las relaciones entre la familia y el centro educativo.

¿PARA QUÉ SIRVEN LAS EVALUACIONES?

La evaluación se ha posicionado a nivel internacional como una herramienta útil para el mejoramiento de la calidad educativa, ya que al aproximarse con ella al estado actual de la educación en determinada región o país, proporciona información que permite establecer fortalezas y debilidades que orientan el diseño de políticas y la definición de programas por parte de los organismos rectores del sector, así como también, la elaboración de planes de mejoramiento por parte de las mismas instituciones escolares; además, es fuente importante para la realización de investigaciones educativas e innovaciones pedagógicas.

En otras palabras, la finalidad de estas evaluaciones es obtener información confiable que permita tomar decisiones hacia un mejoramiento continuo y progresivo de la calidad de la educación. En varios de los países mencionados se han implementado programas focalizados que han permitido mejorar la calidad de los aprendizajes de los estudiantes; así como también, acciones dirigidas a retro-alimentar y enriquecer el trabajo de los docentes.

En complemento a lo anterior, el PREAL (Programa de Promoción de la Reforma Educativa en América Latina y el Caribe), ha identificado, entre otros, los siguientes fines de los sistemas de evaluación:

• Informar a la opinión pública sobre la calidad educativa y generar cultura social de la evaluación.
• Proporcionar información para investigación aplicada sobre impacto de variables sociales y escolares sobre el aprendizaje y los tipos de intervenciones más efectivos.
• Identificar áreas o unidades prioritarias de intervención focalizada para garantizar igualdad de oportunidades.
• Motivar mejoras y logros, vía la comparación o emulación.
• Identificar deficiencias en los resultados de los sistemas educativos y movilizar apoyo público para intervenciones alrededor de metas claras de aprendizaje.
• Devolver información a escuelas y maestros para análisis y planes de mejoramiento.
• Brindar a padres información para evaluar y controlar calidad.
• Contribuir a establecer o monitorear estándares de calidad.
• Certificar el dominio de competencias por estudiantes que finalizan un determinado nivel de enseñanza.
• Seleccionar a estudiantes, escuelas o jurisdicciones para incentivos y acceso a programas.
• Evaluar impacto de políticas, innovaciones o programas específicos.
• Retroalimentar el currículo y los planes de estudio.
• Realizar estudios de costo-beneficio que orienten decisiones sobre distribución de recursos.
• Contar con argumentos para gestión de presupuesto o justificar cambios en orientaciones.
• Analizar el peso del factor docente en los aprendizajes e influir en la formación, capacitación y desempeño de los maestros. Así como también, para establecer un sistema de incentivos
• Promover una responsabilidad efectiva de todos los actores involucrados en los procesos educativos, incluyendo a los propios estudiantes.

LAS PRUEBAS INTERNACIONALES

Si bien es cierto, cada país cuenta con su propio sistema de evaluación, también existen organismos internacionales que aplican pruebas en diferentes países, las cuales son consideradas como medidas comparables de resultados educativos que se toman simultáneamente en un número de países, y que recogen información sobre logros de aprendizaje en diferentes disciplinas y los factores asociados (características familiares y socioculturales de los estudiantes, infraestructura escolar, preparación académica de los docentes, entre otros). Los resultados de estas pruebas se entregan a cada país evaluado con el fin de retroalimentar sus propios sistemas educativos en general y evaluativos en particular.

Para muchos investigadores y tomadores de decisiones sobre políticas educativas, la participación en pruebas internacionales constituye una “intervención en sí misma”, independientemente de los resultados del estudio, y alerta a educadores e investigadores sobre problemas que podrían no haber considerado anteriormente. Además, estas pruebas tienden a desarrollarse como un instrumento para conseguir insumos de información para el diseño y mejoramiento de políticas educativas orientadas a elevar la calidad de los aprendizajes [11].

Entre los beneficios de la participación de los países en las pruebas internacionales se destaca el hecho de que los resultados comparados internacionalmente atraen la atención de los medios de comunicación, movilizan fuerzas políticas y suscitan debates sobre las implicaciones prácticas de los resultados obtenidos; asimismo, se desarrolla la capacidad local para la medición de aprendizajes en la medida en que educadores e investigadores de la educación se ven llamados a interactuar con especialistas internacionales y así se mantienen actualizados; además, se conoce la efectividad de las políticas implementadas por otros países y también se obtiene información sobre los factores familiares y sociales que afectan el desempeño académico.

Entre los problemas que se han identificado está el hecho de que los resultados de los estudios, en particular cuando se presentan como ranking de logro entre países, suelen desatar comentarios y críticas por parte de los políticos, los medios de comunicación y el público, en los que solo importa la posición relativa de logro en el escenario internacional y no la abundante información sobre factores sociales, escolares y personales asociados al desempeño. La prensa, particularmente, tiende a desconocer los aspectos más complejos y auténticamente informativos de los resultados y solo destaca las posiciones en el ranking, generando desinformación. De otra parte, los indicadores, interpretados aisladamente de su contexto cultural y estructural, pueden conducir a interpretaciones y acciones de política equivocadas; además, a menudo se toman decisiones de política sobre la base de interpretaciones de causalidad entre las variables estudiadas, cuando en realidad esa causalidad solo podría confirmarse mediante estudios experimentales controlados [12].

Las evaluaciones internacionales permiten reconocer que sin importar las diferencias entre los países evaluados, hay un núcleo común de competencias y conocimientos que, en un mundo cada vez más integrado, es indispensable que todos los estudiantes adquieran. La participación de los países en estas pruebas, realizadas por agencias privadas u organismos intergubernamentales, no es muestral sino voluntaria, es decir, cada Estado paga por ser evaluado. Aunque estas pruebas son diferentes a las que aplican los sistemas nacionales de evaluación, también se deben tener en cuenta cuando se vaya a valorar la calidad de la educación, no solo al interior de un país, sino en un contexto internacional [13].

A continuación se expone una breve reseña de las pruebas internacionales más importantes en las que han participado países latinoamericanos:

PRUEBA PISA (Programa Internacional de Evaluación de Estudiantes)

Prueba comparativa de la Organización para la Cooperación y el Desarrollo Económico (OCDE), se aplica regularmente en países de todo el mundo a estudiantes de 15 años de edad, cualquiera sea su grado de escolarización, con el fin de determinar en que medida estos jóvenes, que se aproximan al fin de la escolaridad obligatoria, están preparados para satisfacer los desafíos de la sociedad de hoy. La prueba del 2001 evaluó a 28 países OCDE y 15 países no OCDE, entre ellos, 5 latinoamericanos: Chile, Brasil, Perú, México y Argentina.

PISA [http://www.eduteka.org/Pisa2003.php] mide las habilidades en Lectura, Matemática y Ciencias. El foco es medir la habilidad de aplicar y relacionar tanto conocimientos como habilidades en estas áreas, más que en la memorización. Más bien quiere evaluar la capacidad de aplicar estos conceptos, los cuales habrán aprendido adentro y afuera de la escuela, para resolver situaciones de la vida real.

PRUEBA DE CÍVICA DEL IEA (International Association for the Evaluation of Educational Achievement)

Esta prueba -realizada en 1995- hace parte de un estudio comparado en 28 países sobre el estado del conocimiento y actitud cívica de los jóvenes escolarizados entre los 14 y 15 años de edad; vale decir que ésta es una de las dos pruebas internacionales que se han hecho en el mundo sobre el tema (la otra se hizo en el año 1971) y la única que evaluó países latinoamericanos (en total fueron 11 del antiguo bloque socialista, 15 países industrializados y 2 países latinoamericanos).

Colombia ocupó el último lugar en conocimientos sobre el tema, pero se sitúa dentro de las primeras opiniones favorables hacia las actitudes como: la democracia y la participación ciudadana (la tolerancia, sentido de la justicia social y compromiso cívico). Producto del análisis de resultados, se concluye que hay una devaluación del papel del conocimiento (lo cual se deriva de los malos conocimientos y habilidades de interpretación de los estudiantes colombianos); los estudiantes presentan dificultades en la comprensión analítica de textos y en aquellas preguntas que requieren juicio crítico y saber teórico.

TERCER ESTUDIO INTERNACIONAL DE MATEMÁTICAS Y CIENCIAS (TIMSS)

Es considerado el proyecto de investigación y evaluación curricular más importante de la década de los noventas en la enseñanza de la Matemática y las Ciencias Naturales, a nivel de educación básica en el mundo, auspiciado por la IEA. El diseño del TIMSS consideró al currículo como una variable central en el estudio, como también la relación entre Ciencias y Matemáticas como componentes separados del currículo. En Colombia se evaluaron estudiantes en edad escolar de 13 años, correspondientes a los grados 7° y 8°.

La participación de Colombia en el TIMSS ha sido muy importante para conocer el nivel de la educación en Ciencias y Matemáticas en el país, con referencia a un nivel internacional, y para identificar las principales deficiencias que están determinando el estado actual de la enseñanza de estas asignaturas en el sistema educativo. Información vital para diseñar programas y acciones de mejoramiento a todo nivel. Aunque la comparación internacional puede ser el hecho menos relevante, sí lo son los resultados, que brindan un primer indicador de las realidades que muestra el estudio para el país, donde existen grandes diferencias entre el currículo propuesto, el currículo desarrollado en el aula de clase y el desarrollado por los estudiantes [14].

PRIMER ESTUDIO INTERNACIONAL COMPARATIVO DEL LLECE (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación)

El LLECE es la Red de Sistemas de Medición y Evaluación Educativa de los países de la región, y un ámbito de discusión y acción técnico-política sobre temas del aprendizaje, sus variables relacionadas y su traducción en política pública en educación. En 1997 realizó un primer estudio internacional comparativo en Lenguaje, Matemática y Factores Asociados en tercer y cuarto grados de educación básica, con el propósito de entregar información útil para formular y ejecutar políticas educativas en los países de la región, con el fin de mejorar la calidad y equidad de la educación. Las principales motivaciones para realizar el estudio comparado fueron la necesidad de establecer una comparación “de raíz latinoamericana” que contemplara las particularidades culturales y educativas de la región y obtener información para apoyar las decisiones de política educativa. Sus objetivos particulares consisten en la identificación de estándares de aprendizaje escolar para Latinoamérica y la apreciación del nivel de logro alcanzado en los países; el fomento del cambio educativo que permita alcanzar tales estándares; y la formación de recursos humanos que hagan posible dicho cambio.

En Lenguaje se evaluó por ejemplo, el reconocer la información específica de un texto y el identificar el vocabulario relacionado con el sentido de un texto; mientras que en Matemática se evaluó la lectura de gráficos, el reconocimiento de patrones, nociones de probabilidades y relaciones entre datos dados.

Entre los factores asociados se examinó el contexto familiar del estudiante, la gestión escolar, variables del currículo y de la gestión pedagógica, y la gestión pública de las instituciones de nivel nacional. El estudio dejó de manifiesto que un buen sistema educativo, o una buena escuela, no tiene porque ser especialmente oneroso. Dentro de las escuelas estudiadas hay algunas que funcionan en condiciones desfavorables, pero comparadas con otras de nivel sociocultural más alto, alcanzan resultados dignos de destacarse [15].

ESTUDIO INTERNACIONAL SOBRE EL PROGRESO EN COMPETENCIA EN LECTURA (PIRLS)

Es un importante proyecto de investigación educativa -adelantado por la IEA y en el cual participa Colombia- sobre los logros de los estudiantes en competencia en lectura (procesos de comprensión, propósitos de la lectura y comportamientos y actitudes de lectura), que se adelanta en más de 30 países de todo el mundo. Para el PIRLS [http://www.eduteka.org/EstudioPirls2001.php], la competencia en lectura se define como la capacidad de comprender y usar aquellas formas del lenguaje escrito requeridas por la sociedad y/o valoradas por la persona.

La primera evaluación PIRLS se realizó en el 2001, y se han programado futuras evaluaciones para los años 2005 y 2009. El estudio está diseñado para medir e interpretar diferencias entre los sistemas nacionales de educación, con el fin de ayudar a mejorar la enseñanza y aprendizaje de la lectura en todo el mundo. En Colombia, el PIRLS evalúa la competencia en lectura de niños entre los 9 y los 10 años y las experiencias que tienen en el hogar y en la escuela cuando aprenden a leer.
No obstante las ventajas que representan las pruebas internacionales y el aprovechamiento que se puede derivar de la participación en ellas, se ha observado en la experiencia de la mayor parte de los países latinoamericanos, que los aspectos más débiles de las evaluaciones han sido el de la interpretación de los resultados y su posterior difusión. Estos factores han determinado una reducción de las posibilidades de impacto en el mejoramiento de la implementación de reformas y en la reformulación de objetivos curriculares. Por eso se afirma, que el impacto de la participación en pruebas internacionales depende no solamente del potencial informativo de las pruebas que se aplican, sino también de las estrategias de sensibilización previas y de las estrategias de difusión final de los resultados. Se confirma además, que la ausencia de un diálogo informado entre los funcionarios y usuarios de la información sistemática, resulta en un escaso impacto de las evaluaciones en las decisiones sobre políticas educativas, y sobre políticas curriculares en particular [16].

Por lo anterior, el mismo PREAL recomienda hacer un seguimiento del tipo de decisiones de política y práctica educativa -y curricular en particular-, tomadas en función de los resultados difundidos. Una vez identificadas, sugiere comisionar o alentar a instituciones académicas el estudio de los resultados que sobre el aprendizaje de los estudiantes han tenido, o no, esas decisiones y cambios de prácticas.