Metaevaluando Programas de Educación a Distancia

By: Dr. Juan Meléndez

Full Professor
University of Puerto Rico, Río Piedras Campus
Consultant, Ana G. Méndez University System, Virtual Campus

 

 

 

Introducción

El mundo ha cambiado y con ella la necesidad de cambiar la forma en que educamos a nuestros ciudadanos. Las escuelas y universidades no puedan funcionar de la misma manera como lo han hecho por los últimos 50 años. La internacionalización y la crisis económica mundial nos obliga a cambiar, y las nuevas tecnologías han revolucionado la forma de transformarnos.

Estos cambios explican por qué muchos países del mundo, como Puerto Rico, están luchando por encontrar su lugar en una nueva economía del conocimiento. En los últimos años, se ha informado en los medios de comunicación, sobre muchas políticas, leyes y proyectos, que se promueven con la esperanza de pasar sus países en esta nueva economía. Por ejemplo, en el Reino Unido, el Department for Business Innovation and Skills (2011) propuso nuevas políticas sobre el futuro de la educación superior, que en esencia ofreció cambios dramáticos en la forma en que el país educará a los estudiantes y financiar sus instituciones educativas. En Puerto Rico, se debate sobre las formas más apropiadas para desarrollar la economía, y conjuntamente se debate como las universidades deben establecer unos currículos del siglo 21, que contengan estándares altos y con evaluaciones rigurosas. Pero ¿cómo se implantará este currículo? ¿Cómo se evaluará? Esta última pregunta es lo que motivó el inicio este proyecto de investigación.

En un estudio auspiciado por el Consejo Educación Superior de Puerto Rico (Meléndez, Castro, Sánchez, Vantagiatto y Betancourt, 2007) se encontró que la educación a distancia era la innovación más común en la educación superior de Puerto Rico. Esta clasificación de innovación sólo significaba que era nueva en la escena, pero esto no se garantiza que la educación a distancia se orientaba hacia un currículo del siglo 21. Usando el marco conceptual de innovación de Christensen y Eyring (2011), se podrá decir que la educación a distancia tiene el potencial de interrumpir la educación asociada con el siglo 20. Por esta razón, el presente proyecto de investigación se orientó a comprender sistemáticamente cómo se evalúa la educación a distancia en el ámbito universitario.

Este estudio no evaluó directamente la calidad de la enseñanza y el aprendizaje. Más bien, concentró en evaluar los modelos, métodos y criterios utilizados en el proceso de evaluación de programas -que a vez deben juzgar la calidad en el proceso de enseñanza y aprendizaje. La investigación se basó en dos preguntas de investigación: (1) ¿Cuáles son las características de los modelos, las metodologías y los criterios de evaluación exitosos que son apropiados para los programas de educación a distancia? y (2) ¿Cuáles son los modelos de evaluación, la metodología y criterios de evaluación que se utilizan en los programas de educación a distancia en Puerto Rico?

Un estudio crítico

La American Association for Higher Education (1996) expresó su preocupación por el estado actual de las evaluaciones de los alumnos al afirmar que:

La evaluación no es un fin en sí mismo sino un medio para la mejora educativa. Su práctica efectiva comienza con clarificar la visión de los tipos de aprendizaje que más se valora para los estudiantes y luego ayuda a alcanzarlos. Los valores educativos deben conducir no sólo a lo que elegimos evaluar, sino también cómo lo haremos. Si obviamos las preguntas sobre la misión y los valores educativos, existe la amenaza de que la evaluación se convierta en ser un ejercicio que mida lo que es fácil, en vez de un proceso que mejore de lo que es realmente importante (p. 1).

Esta búsqueda de las mejores prácticas de evaluación está relacionada a la preocupación por la calidad que tienen los educadores, el gobierno y el público en general. Por eso, se han establecido normas, principios y valores para garantizar las mejores experiencias posibles en los programas de educación a distancia. Una forma común de asegurar su calidad es a través del proceso de acreditación. De hecho, Wang (2006) afirma que los puntos de referencia más comunes para medir la calidad de la educación son tradicionalmente suministrada por las agencias de acreditación a nivel regional y nacional. Shelton (2011) confirma esto cuando dice que:

La garantía de calidad y la rendición de cuentas de las instituciones de educación superior en los Estados Unidos se han abordado principalmente por los acreditadores regionales y organizaciones de acreditación disciplinas específicas como la Association to Advance Collegiate Schools of Business (AACSB) para programas de administración de empresas, y la National Council for Accreditation of Teacher Education (NCATE) para programas de educación y la certificación de maestros. Agencias de acreditación regionales enfatizan el proceso de revisión con los informes de autoevaluación de las instituciones, que deben demostrar que cumplen con las normas establecidas (por ejemplo, las credenciales de la facultad, el desempeño financiero, la satisfacción de los estudiantes, y el logro de resultados de aprendizaje). Las agencias de acreditación regionales también tienen directrices y criterios de evaluación para los programas de educación a distancia (p. 1).

En cuanto a la acreditación, hay dos estándares destacados. Uno es el Council of Regional Accrediting Commissions standards. Best Practices for Electronically Offered Degrees and Certificate Programs (2002). Sus componentes son: (a) el contexto institucional y el compromiso demostrado, (b) el currículo y el proceso de instrucción, (c) el apoyo de los profesores, (d) el apoyo a los estudiantes, y (e) la evaluación y el avalúo. Cabe señalar que este quinto componente, relativo a la evaluación y el avalúo consiste en documentar el rendimiento realizado de los estudiantes en cada curso y al final del programa mediante la comparación con el rendimiento esperado. El componente también es para asegurar la confidencialidad del trabajo realizado por cada alumno y como se guarda la información personal mientras se difunden los resultados agregados. Esta norma promueve la auto-evaluación pertinente para mejorar el programa, el uso más eficaz de las tecnologías para mejorar la pedagogía, y el entendimiento del rendimiento de los estudiantes cuando se compara con los resultados esperados. Los datos deben ser observables en áreas como la mejora de las tasas de retención, el uso eficaz de los recursos, y servicios mejorados a sus grupos internos y externos.

Otra norma común proviene de la Council for Higher Education Accreditation (Accreditation and Assuring Quality in Distance Education (2002). Estas normas son las siguientes: (a) la misión institucional, (b) la organización institucional, (c) los recursos institucionales, (d) currículo e instrucción, (e) apoyo de los profesores, (f) apoyo a los estudiantes, y (g) los resultados de aprendizaje de los estudiantes. Cabe señalar que otra norma importante es del Consorcio Sloan(Bourne & Moore, 2003), que son: (a) la efectividad del aprendizaje, (b) el acceso, (c) la satisfacción del estudiante, (d) la satisfacción del profesorado, y (e) su costo-efectividad. Sin embargo, estas normas son vistas más como guías de implantación que guías de evaluación.

El uso de cualquiera de estas normas de calidad también debe implicar la existencia de un sistema de planificación institucional y un proceso de implementación. Lógicamente, la planificación y la ejecución correcta de estos procesos deben ser evaluados adecuadamente, y este es el papel de los estándares profesionales de evaluación, tales como las propuestas por el Joint Committee on Standards for Educational Evaluation (JCSEE, 2011).

El papel de los estándares de la JCSEE (2011) es fundamental en este proyecto de investigación, proporcionando una herramienta para realizar un examen crítico de la relación entre el concepto de calidad o excelencia académica con los programas de educación a distancia. El enfoque de este estudio cuestiona las ideas tradicionales sobre la obtención de la calidad en la educación a distancia. Este estudio cuestiona también la práctica de discutir la excelencia en términos de estándares de implantación (y muchos de ellos han surgido en el campo de la educación a distancia) que teóricamente evita problemas y presenta la visión de equiparar la excelencia educativa con un proceso de evaluación basado en estándares para identificar y corregir los problemas reales que ocurren. En otras palabras, este estudio desafía la visión dominante que hace hincapié en la aplicación de normas de calidad –en la implantación, y propone una nueva forma de pensar acerca de dichas normas mediante la evaluación de las evaluaciones. Esto implica un cuestionamiento directo de la distancia de la práctica profesional docente común.

Cabe señalar que la idea de utilizar los estándares de la JCSEE para evaluar un programa en un contexto internacional no es radical. Magno (2009) informa de su uso exitoso en las Filipinas. Lo que hace este estudio único es que se está aplicando para una meta-evaluación a una escala nacional.

Revisión de literatura

Bloom (2003) de la Organizational Effectiveness and Learning at The Conference Board of Canada observó una tendencia general en las iniciativas de e-learning, y anunció que los cursos y programas que no se evalúan adecuadamente. Cuando existen procesos de evaluación, Wang (2006) señaló que los modelos de evaluación varían. En su opinión, las prácticas actuales de evaluación sobre el rendimiento académico de los estudiantes en los programas en línea se pueden dividir en dos paradigmas: (1) evaluación asociacionista o conductista basado, con énfasis en las mediciones cuantitativas, y (2) la evaluación cognitiva o constructivista basado en un énfasis en mediciones cualitativas. La primera concentra en los resultados de aprendizaje mientras que el segundo concentra en las interacciones durante el proceso de aprendizaje. Aunque existen esfuerzos minimalistas, Zhao (2003) considera que la mejora de la calidad y la eficacia de la educación superior en línea requiere de un marco integrado, equilibrado, estratégico y orientado a mejorar la calidad de la medición (p. 215). Este enfoque aboga por el uso de métodos mixtos de evaluación.

Para comprender las posibles prácticas adecuadas de evaluación en el campo de la educación a distancia, se consultó a cinco obras importantes: Evaluation in distance education and e-learning por Ruhe & Zumbo (2009), Assessing the online learner por Palloff & Pratt (2009), Evaluating e-learning por Phillips, McNaught & Kennedy (2012), Evaluating distance education: The student perspective por Henckell (2007) y Guía de autoevaluación para programas por CALED (2010). Todos los autores de estos trabajos coinciden en que un enfoque profesional, tal como se define por el campo de la evaluación, debe prevalecer.

Afirman Ruhe y Zumbo (2009) que las mejores evaluaciones son las abarcadoras, es decir que deben proporcionar ideas sobre (1) el proceso o curso de ejecución, (2) todos los efectos, intencionales o no, positivos y negativos, y (3) los subyacente valores (p. vi). Sin embargo, sostienen que un problema común en el campo de la educación a distancia es que las evaluaciones se llevan a cabo por los educadores a distancia como una tarea adicional y no por evaluadores profesionales. Este problema se manifiesta en tres preocupaciones recurrentes cuando se evalúa un programa profesionalmente: el recogido de evidencias científicamente aceptables, el análisis de los valores subyacentes y la comunicación de las consecuencias no deseadas” (p. vii). Por lo tanto, el enfoque de evaluación que Ruhe y Zumbo proponen en su modelo “va más allá de las encuestas de satisfacción estudiantil” (p. 2).

Mientras tanto, Palloff y Pratt (2009) presentan una visión diferente sobre la evaluación de los programas de educación a distancia. Ellos recomiendan como una práctica buena que las evaluaciones deben partir de las competencias que se pretendan desarrollar. De acuerdo con este punto de vista, una buena evaluación busca, analiza y reporta el tipo de alineamiento que existe entre los perfiles de los estudiantes, las competencias programáticas, los resultados del curso y los objetivos de las unidades.

Phillips, McNaught & Kennedy (2012) también ponen un énfasis en los resultados del aprendizaje del estudiante, aunque lo buscan tomando en consideración el ambiente que el educador construye para lograr dichos resultados. Para evaluar el aprendizaje, recomiendan el uso de métodos mixtos de forma apropiada. Por su complejidad, esta evaluación tiene que ser rigurosa.

La guía que propone CALED (2010) fue desarrollada de forma colectiva y representa el insumo de una gran cantidad de educadores latinoamericanos a distancia. La experiencia de estos educadores indica que es necesario tener criterios claros. Estos criterios no funcionan de forma aislada, y deben ser ver analizados de forma holística. El modelo enfatiza que el análisis debe basarse en evidencias concretas y variadas.

Aunque la revisión de la literatura ha demostrado la existencia de diferentes modelos de evaluación, un tema recurrente es que el campo de la evaluación ha madurado y es lo suficientemente robusto como para cubrir adecuadamente el campo de la educación a distancia. Desde esta perspectiva, una de las publicaciones claves que guiaron este estudio fue un texto muy reconocido en el campo de la evaluación: Evaluation theory, models and applications de Stufflebeam y Shinkfield (2007). El texto reveló que este estudio se clasificaba como una metaevaluación. El libro también validó la necesidad de aclarar las normas que deben utilizarse para guiar el proceso de metaevaluación. Estas normas deben servir como base para un entendimiento claro y común de los criterios que se utilizarán en la evaluación. Los autores afirman que “sin normas que definen el servicio de evaluación aceptable, la credibilidad de los procedimientos de evaluación, resultados o informes estarán en duda” (p. 81). Stufflebeam y Shinkfield recomienda el uso de los estándares del Joint Committee on Standards for Educational Evaluation (JCSEE ).

Otra obra importante que se tomó en cuenta para la metaevaluación, es de un líder reconocido en el campo: Michael Scriven. Su trabajo ofrece un marco interesante relativo a la evaluación de las evaluaciones. En Meta-Evaluation Checklist (2011), ofrece un marco conceptual que propone una respuesta a la pregunta: ¿Cuáles son los criterios meritorios para una evaluación en cualquier campo, incluyendo la evaluación de programas? En su lista, Scriven presenta seis criterios: (1) Validez: Este abarca varias preguntas, incluyendo si la evaluación cumple sus requisitos, cómo cumple, si los resultados son ciertos, si es confiable, y si está completa. (2) Claridad: Se trata principalmente sobre la comprensión de los informes por parte del público. También trata sobre la redacción concisa. (3) Credibilidad: Esto se refiere a la confiabilidad de las fuentes, la atención a la posibilidad de algún sesgo y la experiencia del evaluador. (4) Corrección: Se trata sobre cuestiones de ética y la legalidad. Pero Scrivens también señala la importancia de los contratos, la privacidad, la explotación, el consentimiento informado, y la adecuacidad cultural. (5) Costo-Utilidad: Esto es algo más que una cuestión de costos. Es una cuestión de beneficios también. (6) Generalización: Este punto es algo que Scrivens considera una ventaja, pero no es un requisito. Aunque estos criterios demostraron ser valiosos, no fueron lo suficientemente específicos para guiar el presente estudio. Muchos factores están involucrados, y se requería unas guías más específicas para concentrar los esfuerzos en las áreas claves.

Esta investigación, recogió la recomendación de Stufflebeam y Shinkfield (2007) de utilizar el Program evaluation standards, del Joint Committee on Standards for Educational Evaluation (JCSEE). Estos estándares fueron desarrollados por un conjunto de 17 organizaciones que se especializa en la evaluación. Algunas de estas organizaciones son: American Educational Research Association, American Evaluation Association, Canadian Evaluation Society, National Council of Measurement in Education, Canadian Society for the Study of Education.

Estas normas de evaluación de programas se componen de 30 estándares que a su vez se agrupan en cinco atributos claves relacionadas a la calidad: utilidadviabilidad (o razonabilidad), legitimidad (o pertinencia), precisión y justificación(o rendición de cuentas). Estos cinco atributos son similares a los seis criterios de Scriven en su lista de meta-evaluación (2011). Aunque estos 30 estándares cubren las áreas que los expertos han determinado que son fundamentales para una evaluación de la calidad, la Comisión también reconoce que el uso completo de los 30 estándares puede ser excesivamente complicado debido a su amplitud. Por lo tanto, crearon Tablas funcionales que guían el uso de los estándares para tareas específicas. Algunas de estas tablas son: El diseño de la evaluación y la recolección de la información. En el caso de este estudio en particular, se utilizaron dos tablas funcionales particulares: describiendo el programa y administración de la evaluación. Entre las dos tablas, se utilizaron 21 de los 30 estándares.

A través de la revisión de la literatura, se hizo evidente que hay un elemento de gradación en relación a los múltiples criterios y métodos utilizados para evaluar los cursos y programas de educación a distancia. Por ejemplo, los indicadores de Zhao Lei, Lai & Tan (2005) para medir la efectividad de la educación a distancia fueron: las notas, la satisfacción de los estudiantes, la satisfacción del profesorado y los resultados en los exámenes estandarizados. Strother (2002) por su parte encontró que el 95 por ciento de las instituciones encuestadas sólo mide las reacciones de los estudiantes a los cursos (por ejemplo, lo mucho que les gustaba el curso). Sólo el tres por ciento hizo un verdadero esfuerzo en medir los resultados de aprendizaje de los estudiantes. Ellos evaluaron elearning en cinco niveles progresivos: Nivel I que medía las reacciones de los alumnos al curso. Nivel II medía lo que aprendieron. Mide el Nivel IIIlos cambios en el comportamiento. El Nivel IV medía los resultados producidos debido a un funcionamiento diferente; y el Nivel V medía la rentabilidad de la inversión (“Return on Investment”), que es el costo-beneficio de un curso.

Metodología

El objetivo de este estudio fue examinar los planes de evaluación institucional de los principales programas de educación a distancia en Puerto Rico. Como se dijo anteriormente, este tipo de estudio se denomina metaevaluación, ya que es una evaluación de los planes de evaluación.

En la primera fase del estudio, el investigador principal convocó un panel de tres expertos y pidió que produjeran una lista de las cinco mejores universidades de Puerto Rico que ofrecían programas de educación a distancia. Sus listas combinadas ofrecieron un total de siete instituciones. Tres instituciones aparecieron en las tres listas, dos instituciones fueron mencionadas en solo dos listas, y dos aparecieron solas una lista. Una de las instituciones que apareció sola en una lista, fue seleccionada para pilotear los instrumentos. Las otras seis fueron identificadas para obtener los datos del estudio.

Debido al pequeño tamaño de la población estudiada, la metaevaluación realizada fue de carácter cualitativo (Fraenkel y Wallen, 2010). El estudio piloto se llevó a cabo y reveló áreas para mejorar los instrumentos. Durante el proceso de pilotaje, también se reveló que los planes de evaluación institucional se consideran confidenciales y que no serían fácilmente disponibles para el escrutinio. Con el fin de superar los posibles sentimientos de intrusión y el recelo con los documentos internos, planifiqué dos visitas a las instituciones participantes, para desarrollar un clima de confianza y por lo tanto asegurar la cooperación. La primera visita fue para proporcionar una buena introducción del estudio y para explicar que habrá un respeto a la confidencialidad. Esta visita fue a la persona encargada de la evaluación del programa y al supervisor del evaluador. Utilicé la segunda visita para llevar a cabo las entrevistas con el evaluador y el director. Durante esta visita, realicé la primera entrevista con el director del programa y la segunda con el evaluador. La entrevista con el director del programa, era semi-estructurada con el fin de obtener información comparable, y también proporcionar la flexibilidad necesaria para permitir nuevas preguntas que aclarara los procesos de evaluación en la institución. La segunda entrevista se basó en una lista de cotejo para determinar la existencia (o ausencia) de los documentos y procedimientos. Durante la entrevista y la verificación de documentos, pedí examinar el documento que contenía el plan de evaluación.

Recopilación de datos

Las seis instituciones a investigar recibieron el instrumento y el protocolo previo a la visita. Al recibir estas comunicaciones iniciales, una institución informó que no tienen un proceso de evaluación de programas –ni formal ni informal. Naturalmente, la institución no se visitó. En dos instituciones que aceptaron participar en el estudio, cuando se visitó, salió a relucir que tampoco conducían evaluaciones de sus programas. Por esta razón, también se eliminaron de la lista.

En la cuarta institución logré entrevistarme con el director del programa, pero la persona que se identificó como el evaluador del programa no concedió una entrevista. A pesar de todos los esfuerzos y las explicaciones para obtener dicha entrevista, no se logró. Por estas razones, recurrí a investigar la séptima institución seleccionada por los expertos, que reservé originalmente para sólo pilotear los instrumentos. Así, la recopilación de datos se completó con solo tres instituciones.

Los datos en la Tabla 1 provienen de las personas encargadas de la evaluación de programas.

Tabla 1. Lista de cotejo, parte introductoria. Las tres instituciones participantes se identifican con el #1, #2 y #3. Las respuestas presentadas a continuación son extractos de las entrevistas.

Pregunta preliminar 1. ¿Por qué evalúas?
#1. Para entender la calidad de nuestros programas. Es nuestra manera de controlar la calidad.#2. Para conocer el fruto de nuestro trabajo y para medir el aprendizaje de los estudiantes y para ayudar a la facultad. Para el evidenciar el aprendizaje del estudiante; ver qué pasa con los profesores, los programas académicos, y el desarrollo institucional para la toma de decisiones y el desarrollo continuo.

#3. Para medir la satisfacción con los servicios ofrecidos. Para ver que dicen los componentes de los departamentos sobre los resultados del aprendizaje. Ver que dicen las evaluaciones del profesorado sobre los programas.

Pregunta preliminar 2. ¿Su programa tiene un modelo de assessment definido? Si es así, ¿Cuál es?
#1. Utilizamos el modelo de las 5 columnas de James O. Nichols de Efectividad Institucional y Evaluación de Resultados de los Estudiantes. Para documentar este proceso se utiliza un producto de evaluación comercial muy completo, los datos se obtienen por la web.#2. Utilizamos la teoría de Alexander Astin que se basa en el valor añadido, para nuestro modelo de evaluación. Los estudiantes son pre-probados en 9 áreas de Educación General. Una prueba posterior se administra después, por cohorte, a los 90 créditos de estudio. Además, la evaluación de programa académico usa pre y post pruebas con una variedad de instrumentos de evaluación. Para las variables de evaluación institucional usamos la retención, las tasas de graduación, entre otros.

#3. La evaluación se define por la agencia acreditadora. Se utilizan tres instrumentos.

Pregunta preliminar 3. ¿Su programa tiene preguntas de evaluación? Si es así, ¿cuáles son?
#1. Las evaluaciones están estandarizadas. La idea es documentar todo.#2. Las preguntas son compartidos por todos los cursos (presenciales y a distancia). Nuestras preguntas básicas de evaluación son: ¿Están los estudiantes aprendiendo lo que deben aprender? ¿Cuán bien están aprendiéndolo? ¿La facultad está adecuadamente preparada en los procesos de enseñanza y aprendizaje?

#3. Nos basamos en los exámenes de mitad de semestre y en los finales, en los cursos principales. Los instrumentos de evaluación que usamos son creados por la institución.

 

Tabla 1. Lista de cotejo. Las tres instituciones participantes se identifican con el #1, #2 y #3. Los comentarios presentados a continuación son notas del entrevistador.

Program Evaluation Standards del
Joint Committee on Standards for Educational Evaluation (JCSEE)

Los estándares de utilidadLos estándares de utilidad tienen la intención de aumentar el grado en que las personas involucradas con el programa encuentren un valor a los procesos y productos de la evaluación para la satisfacción de sus necesidades.
Estándar U1Credibilidad del evaluador Las evaluaciones deben ser realizadas por personas calificadas que establezcan y mantengan la credibilidad en el contexto de la evaluación. 1. P

 

 

 

2. P

 

 

No 

 

 

 

 

 

 

3. P

Comentarios#1. Persona a cargo está capacitada como evaluador. Pero no trabaja exclusivamente para el programa a distancia.

#2. Persona a cargo está capacitada. Pero no trabaja exclusivamente para el programa a distancia.

#3. No hay una persona a cargo de las evaluaciones institucionales.

Estándar U2La atención a los involucrados Las evaluaciones deben prestar atención a la gama de individuos y grupos con intereses en el programa y los afectados por la evaluación. 1. P

 

No 

 

 

 

 

2. P

 

3. P

Comentarios#1. Los formularios son estándar y resultados se comparten, así los profesores y la administración tienen información sobre lo que está sucediendo.

#2. La facultad recibe evaluaciones, y existe apoyo para ellos.

#3. La información que recogemos es sobre las actividades de los programas en el aula.

Estándar U6Procesos y productos con sentido Las evaluaciones deben construir actividades, descripciones y juicios de manera que estimulen a los participantes a redescubrir, reinterpretar o revisar sus entendimientos y comportamientos. 1. P 

2. P

 

 

 

 

3. P

  1. Los informes se generan cada semestre.2. Anualmente, se realizan evaluaciones. Son hechos por el Vicerrectorado de Ordenación Académica y Desarrollo Institucional. Analizado anualmente en las reuniones.

3. Algunos cursos y programas son evaluados para comprobar la calidad y fomentar cambios.

U7 oportuna y adecuada comunicación y presentación de informes.  Las evaluaciones deben construir actividades, descripciones y juicios de manera que estimulen a los participantes a redescubrir, reinterpretar o revisar sus concepciones y comportamientos. 1. P 

2. P

 

 

 

 

3. P

  #1. Los informes se generan cada semestre.#2. Anualmente, se evalúa la evaluación (metaevaluación). Lo hace el Vicerrector de Planificación Académica y Desarrollo Institucional. El informe se analiza en variadas reuniones.

#3. Algunas secciones  y programas son evaluados para comprobar la calidad y fomentar cambios.

 

Normas de viabilidadLas normas de viabilidad son para aumentar la eficacia y eficiencia de la evaluación.
F1 Gerencia de Proyectos  Las evaluaciones deben utilizar estrategias efectivas de gerencia de proyectos. 1. P

 

 

2. P

No 

 

 

 

 

3. P

Comentarios#1. La generación del informe es electrónica y se puede producir en cualquier paso en el proceso.

#2. La información relativa a las evaluaciones se comunica.

#3. No tiene una oficina de evaluación.

F2 Practical Procedures Los procedimientos de evaluación deben ser prácticos y responder a las operaciones del programa. 1. P 

2. P

 

  

 

3. P

#1. Los datos se recogen electrónicamente.#2. Informes se generan anualmente.

#3. La recolección de datos no es confiable.

F3 Viabilidad Contextual Las evaluaciones deben reconocer, controlar y equilibrar los intereses y necesidades culturales y políticos de los individuos y los grupos. 1. P 

 

2. P

  

 

 

 

 

3. P

# 1. Los cuestionarios son estandarizados y reflejan las necesidades institucionales.# 2. Se proporciona la información necesaria. Los grupos focales se organizan según las necesidades.

# 3. No hay una oficina de evaluación.

 

 

F4 Uso de Recursos Las evaluaciones deben utilizar los recursos de forma eficaz y eficiente. 1. P 

2. P

  

 

 

 

3. P

#1. Se han establecido procedimientos, y son básicamente automatizados.#2. Un software especializado se utiliza para fines administrativos y se usa Moodle para los cursos en línea.

#3. No hay una oficina de evaluación.

 

Normas de legitimidadLos estándares de legitimidad apoyan lo que es adecuado, legal, correcto y justo en las evaluaciones.
P1 Orientación Receptiva e Inclusiva Las evaluaciones deben ser sensibles a las partes interesadas y de sus comunidades. 1. P

 

2. P

No 

 

 

 

 

3. P

Comentarios# 1. Los cuestionarios son estandarizados.

# 2. El proceso es sistemático y se lleva a cabo según sea necesario.

# 3. La información no se comparte entre todas las unidades.

P4 Claridad y Equidad Las evaluaciones deben ser comprensibles y justas para atender bien las necesidades y propósitos de las partes interesadas. 1. P 

2. P

 

3. P

  #1. Los cuestionarios son estandarizados.#2. Se utiliza una variedad de métodos.

#3. Es compartida dentro de cada unidad, pero no por otras unidades.

P5 Transparencia y Divulgación La evaluación debe proporcionar una descripción completa de los hallazgos, limitaciones, y las conclusiones de todos los interesados, a menos que esto violaría las obligaciones legales y de propiedad. 1. P 

 

 

 

 

 

 

 

2. P

 

 

3. P

  #1. Los informes son proporcionados por ítems, mediante porcentajes y promedios. Directrices generales se utilizan para interpretar los resultados. La facultad y la administración hacen el análisis.#2. Se proporcionan datos para que se puedan tomar las acciones apropiadas.

#3. Los datos se comparten dentro de cada unidad para su análisis apropiado.

P6 Conflictos de Interés Las evaluaciones deben ser abiertas y honestamente identificar y abordar los conflictos de interés (reales o percibidos) que pueden comprometer la evaluación. 1. P 

2. P

 

3. P

  #1. El conflicto de intereses no es un problema.#2. El conflicto de intereses no es un problema.

#3. El conflicto de intereses no es un problema.

P7 Responsabilidad Fiscal Las evaluaciones deben rendir cuenta de todos los recursos utilizados y cumplir sólidamente con los procedimientos y procesos fiscales. 1. P 

 

 

2. P

 

 

3. P

  # 1. Las evaluaciones se realizan de acuerdo a las políticas institucionales y las limitaciones fiscales.# 2. Las evaluaciones se realizan de acuerdo a la planificación fiscal.

# 3. Las evaluaciones se realizaron de acuerdo a las limitaciones fiscales.

 

Normas de precisiónLas normas de precisión aumentan la confiabilidad y la veracidad de las representaciones de la evaluación, las propuestas y las conclusiones, en especial aquellas que apoyen sus interpretaciones y juicios acerca de la calidad.
A1 Conclusiones y Decisiones justificadas Conclusiones y decisiones de evaluación deben ser justificadas explícitamente dentro de las culturas y los contextos en los que tienen consecuencias. 1. P

 

 

 

 

2. P

 

 

 

 

3. P

No  Comentarios#1. Se informaron los datos crudos, pero las personas que reciben los datos deben hacer sus propias interpretaciones.

#2. Se informaron los datos crudos, pero las personas que reciben los datos deben hacer sus propias interpretaciones.

#3. Se informaron los datos crudos, pero las personas que reciben los datos deben hacer sus propias interpretaciones.

A2 información válida Información de la evaluación debe servir a los fines previstos y apoyar interpretaciones válidas.   1. P 

2. P

 

3. P

#1. Los datos no se interpretan.#2. Los datos no siempre se interpretan.

#3. Los datos no se interpretan.

A3 información confiable Los procedimientos de evaluación deberán proporcionar información suficientemente confiable y consistente para los usos previstos. 1. P 

 

2. P

  

 

 

 

 

3. P

#1. Las evaluaciones se han ido perfeccionando a lo largo de los años.#2. Las evaluaciones se llevan a cabo de forma responsable.

#3. Las evaluaciones son tan ágiles como sea posible.

A4 Programa explícito y contexto descrito Las evaluaciones deben documentar los programas y sus contextos con el detalle y el alcance apropiado para los propósitos de evaluación. 1. P    

 

 

 

 

 

 

 

 

2. P

 

 

 

3. P

#1. Los datos estudiantiles recurrentes se limitan a los cuestionarios.Las evaluaciones de la facultad son más completas cuando son revisadas por un comité.

Las licencias e informes de acreditación contienen datos de otras oficinas.

#2. Hay una necesidad de documentar mejor el contexto de lo que está ocurriendo.

#3. Hay una gran cantidad de datos crudos que deben ser analizados.

A6 diseños y análisis sólidos Las evaluaciones deben emplear diseños y análisis técnicamente adecuados, que son apropiados para los fines de la evaluación. 1. P 

2. P

  

 

 

 

 

3. P

#1. Los procedimientos son pre-establecidos.#2. Evaluaciones complejas no se hacen de forma rutinaria debido a la falta de recursos humanos.

#3. Una oficina de evaluación no existe.

A7 Razonamiento Evaluativo Explícito El razonamiento empleado en el análisis, con la información disponible, que conduce a resultados, interpretaciones, conclusiones y juicios, debe ser claro y completamente documentado. 1. P    

 

 

 

 

2. P

 

 

 

3. P

#1. Se informaron los datos crudos.Las personas que reciban la información deben hacer sus propias interpretaciones.

#2. Hay una necesidad de documentar las acciones y analizarlos con el fin de evidenciar decisiones.

#3. Una oficina de evaluación no existe.

A8 Comunicación e Informes Las comunicaciones sobre la evaluación deben tener un alcance adecuado y evitar malentendidos, prejuicios, distorsiones y errores. 1. P 

 

 

2. P

 

 

3. P

  #1. Los informes son lo más objetivo posible, siguiendo las políticas institucionales.#2. Los informes se comparten para corregir errores.

#3. Esto ha comenzado.

 

Estándares de ResponsabilidadLas normas de responsabilidad fomentan la documentación adecuada de las evaluaciones y la perspectiva metaevaluativa centrada en la mejora y la rendición de cuentas en los procesos y productos de evaluación.
E1 Documentación de la Evaluación Las evaluaciones deben documentar completamente los propósitos negociados y la implantación de los diseños, procedimientos, datos y resultados. 1. P

2. P

No3. P Comentarios#1. Evaluaciones actuales tienen un impacto en los procedimientos y la selección de profesores, pero hay una necesidad de hacer más a través de las evaluaciones.

#2. Con más recursos, se puede hacer más.

#3. Carecemos de una oficina de evaluación.

 

Datos de las entrevistas

Los siguientes datos que se obtuvieron de las preguntas formuladas a los directores de programas:

1. ¿Por qué evaluar?

Respuestas

Categorías

El representante de la Institución #1 dijo “se evalúa para medir la eficacia de los servicios educativos que ofrecemos servicios, y por el bien de nuestra toma de decisiones. Esto nos mueve en términos de reconocer las limitaciones y necesidades, y algunas posiblemente no lo hemos visto aún. Y nos lleva a algunas acciones que deben mejorar en ese sentido. Pero, básicamente, el propósito fundamental de la evaluación es para la toma de decisiones”. a. medir desempeñob. tomar decisiones
El representante de la Institución #2 declaró que “Nosotros evaluamos como un proceso de formación, de mejorarnos constantemente. Hacemos muchas cosas y posiblemente no se ha documentado todo lo que hacemos. Debemos demostrar en el camino lo que se necesita y lo que funciona y lo que queremos lograr de acuerdo a los objetivos que tenemos. Básicamente probamos en aras de la mejora continua y la toma decisiones”. a. mejorarb. tomar decisiones

 

El representante de la Institución #3 declaró que se evalúan “para entender lo que los estudiantes están recibiendo del programa. Para entender cómo lo que estamos haciendo como institución. Si los estudiantes no tienen éxito, tenemos que virar el espejo hacia nosotros mismos y decir que no somos exitosos. Hacernos mejores en lo que hacemos”. a. medir desempeñob. mejorar

 

 

 

2. ¿Cómo evalúa usted aquí?

Respuestas

Categorías

El representante de la Institución #1 dijo “cuando se pregunta acerca de la manera en que evaluamos, se habla aquí en términos generales. Por ejemplo, hacemos evaluaciones de los profesores y de los programas. Eso lo hacemos. Nosotros evaluamos nuestros servicios, principalmente a través de encuestas. Evaluamos la facultad a través de encuestas y las evaluaciones de los programas se hacen a través de los comités de la facultad, y a través de un senado académico. Hay comités que se forman por el senado académico”. Facultad por encuestas y comité (en asuntos de asensos, etc)Programas por encuestas y comités

Servicios por encuestas

El representante de la Institución #2 dijo “No hay un programa oficial con respecto a la evaluación. Hemos visto en la práctica, la retroalimentación de los estudiantes en términos de cómo se cumplen con los objetivos de aprendizaje. Lo hacemos en la marcha. En la marcha hemos buscado retroalimentación de los estudiantes, según sea necesario, en la medida de que vamos desarrollando programas parciales a distancia. Por ejemplo, hemos creado un grupo focal con metodologías cualitativas, cuando nos dimos cuenta de algunas situaciones y la necesidad de mejorar los resultados de un programa. Se encuestó a los estudiantes y reconocimos que hicieron demandas muy válidas. Y cumplimos con su petición. Ese es el tipo de evaluación que tenemos, por ahora. Es para mejorar la satisfacción. Ahora tenemos un nuevo funcionario a cargo de la educación a distancia que le puede dar más información”. Sobre la marcha. 
El representante de la Institución #3 dijo “Utilizamos preguntas constantemente a través de los cursos para que los estudiantes respondan. Estos se comparan a través de secciones y el paso del tiempo. En este sentido, el logro del estudiante refleja los logros del programa. Esta información nos ayuda a responderá preguntas como ¿el programa esta actualizada? ¿El programa está alcanzando sus metas? ¿Los estudiantes cumplen con sus resultados esperados de forma rutinaria? Encuestas

 

3. ¿Quiénes son sus actores, en el proceso de evaluar?

Respuestas

Categorías

El representante de la Institución #1 dijo “Todo depende de los tres niveles de los que hablamos. Los que evalúan el servicio suelen ser los estudiantes y ellos son nuestros principales grupos de interés en este sentido. En cuanto a la facultad, a ellos se involucra, porque ellos son los que lo hacen. Hay dos tipos de evaluación, los estudiantes que evalúen la facultad y hay comités de pares que se forman para evaluar la facultad. Podría ser por diferentes motivos, tales como ascensos en rango, cargo, etc. En cuanto al tercer nivel, de los programas, es general, porque allí, todas las áreas están involucradas. A nivel curricular y en la determinación de qué cursos deben ser verificados, la administración también se involucra. Se inicia en los comités del nivel inferior y luego pasa a un nivel superior”. Estudiantes, facultad y administración
El representante de la Institución n #2 dijo “Los grupos de interés son los estudiantes, la administración y la Junta Directiva. Tenemos que informar a esa Junta, a través de la presidencia, pero en ocasiones también nos han pedido que se les informe directamente y lo que hacemos. Esto es muy importante para nosotros. Los profesores han estado, sin duda, en este proceso. No compramos cursos. Estamos trabajando con la facultad y eso es, en parte, la razón de no tener todos los programas en línea todavía. Aún estamos adiestrando a nuestros profesores y pudimos ver el progreso desde que empezamos. A través del adiestramiento hemos mejorado y hemos revisado los diseños de los cursos, para que todos se beneficien”. Estudiantes y administración
El representante de la Institución #3 dijo “Todo el mundo: los miembros del Consejo, los miembros de la junta asesora, profesores, administradores, estudiantes”. Estudiantes, facultad y administración

 

4. ¿Quién proporciona los datos?

Respuestas

Categorías

El representante de la Institución #1 dijo “Las personas de que te hablé: estudiantes, profesores, informes de comités y resoluciones formuladas por el Senado Académico”. Estudiantes, facultad y comités
El representante de la Institución #2 se concentró en los aspectos administrativos: “La persona que hace la investigación. Las investigaciones se llevan a cabo desde la Oficina de Planificación y desde allí se proveen datos. El Vicepresidente tiene sus propias investigaciones y comparte sus resultados. Una oficina a nivel central hace llegar la información a las personas interesadas, incluyendo el presidente y el consejo de administración. En esta línea de comando siempre hay mucha preocupación con el intercambio de los datos y se ha proporcionado los medios para hacerlo. Los avances tecnológicos para compartir datos aquí están limitados porque nuestros ingresos se basan en la matrícula. Carecemos de ayuda federal o de propuestas millonarias para llevar a cabo estos gastos, y son costosos. Usted compra algo hoy y mañana ya es obsoleto. Por lo tanto, estamos en una misión de desarrollar algunas propuestas para que podamos mejorar el programa de educación a distancia”. La Oficina de Planificación
El representante de la Institución #3 declaró “La facultad es básicamente quien proporciona los datos, utilizando rúbrica para las evaluaciones. Esos datos no se integran al resto de la organización”. Facultad

 

5. ¿Qué instrumentos utiliza para recopilar datos.

Respuestas

Categorías

El representante de la Institución #1 expresa la situación en los siguientes términos: “Es básicamente, a través de cuestionarios, y casi siempre de una manera cuantitativa. En cuanto a los programas, las evaluaciones  son más cualitativos, ya que son informes descriptivos en términos de las acciones que tienen que ser tomadas a través de un programa. Sin embargo, hay determinadas evaluaciones, más informales y esos son lo que llamamos recomendaciones “boca a boca”. En otras palabras, cuando los estudiantes presentan algo para nosotros, es una especie de evaluación, no formal, casi como una realizada con un instrumento, pero forman parte de las evaluaciones que tomamos en cuenta, y tomamos decisiones sobre esto también. Son percepciones expresadas por los estudiantes de manera informal”. Cuestionarios y diálogos informales
El representante de la Institución #2 indica que “básicamente utilizamos grupos focales y cuestionarios de satisfacción de los estudiantes”. Grupos focales y cuestionarios de satisfacción
El representante de la Institución #3 indica que utilizan asignaciones estandarizadas como el instrumento para recopilar datos. El representante dijo que “Hay tareas estandarizadas en cada curso, para la evaluación de lo que pasa en el salón. Los programas serán evaluados en algún momento. Esto se desarrollará a medida que avanzamos a través del proceso de acreditación particular que buscamos. Sin embargo, la evaluación no es sólo para satisfacer el proceso de acreditación. Hay un componente de mejoramiento por sí mismo que es central. Deben ser inseparables, porque eso es lo que quieren ver de nosotros. Estamos desarrollando ciclos de retroalimentación para demostrar cómo estamos aprendiendo y como tratamos de ser mejor”. Una lista de cotejo estandarizada para evaluar asignaciones

 

6. ¿Cómo se informan los datos?

Respuestas

Categorías

El representante de la Institución #1 informó que “usamos los instrumentos institucionales, como las evaluaciones del profesorado. También usamos las evaluaciones de satisfacción. Se recogen datos y se presentan a las áreas afectadas. Si se trata de una oficina en particular, porque estamos evaluando los servicios, le presentamos los datos a esa oficina. Las evaluaciones del profesorado se presentan a los directores académicos y a los decanos”. Informes estandarizadas.
Sin embargo, el representante de la Institución #2 dijo “los informes informales se realizan constantemente. Tenemos una publicación que se edita regularmente, es un reporte institucional. Comenzó como un libro institucional de datos. Pero se convertó en un reporte institucional. Tiene una sección que informa cuántos cursos y cuántos profesores están ofreciendo esos cursos. Informa también el número de estudiantes que participa en los cursos a distancia. Ha habido un cambio drástico. Primero fueron pocos alumnos y ahora tenemos cinco veces esa cantidad. Es la manera de que el estudiante prefiere. Se trata de una publicación que hacemos y lo recibe la comunidad académica. Nosotros lo publicaremos en la web. Queremos que sea del dominio público. Tenemos dos páginas dedicadas a eso. Ya sabemos que sólo tenemos que añadir las especialidades”. Informes que se publican en la Internet
El representante de la Institución #3 informó que sus “informes son orales”. Informes son informales

 

7. ¿Existe un modelo declarado que guía la  metodología de su evaluación?

Respuestas

Categorías

El representante de la Institución #1 dijo: No, no tenemos modelos oficiales como los que en la literatura, no. Tenemos instrumentos con pautas particulares ya definidas, con las evaluaciones de profesores, por ejemplo. Son específicas y estandarizadas. Los datos se recogen aquí en el campus y aquí permanecen. A menos que estemos hablando de promociones y otras situaciones en las que hay que apoyar o validar las recomendaciones”. No hay uno
El representante de la Institución n #2 indicó “Sí, se utiliza el modelo de Alexander Hastings, pre-test y post-test, el valor añadido”. Hay uno
El representante de la Institución #3 declaró: “No he visto un modelo declarado aquí”. No hay uno

 

8. ¿Existe una declaración o documento que explica el proceso de evaluación?

Respuestas

Categorías

El representante de la Institución #1 dijo “El modelo metodológico se puede encontrar en el Manual de Facultad y el Plan Estratégico. Estos son los documentos oficiales que nos obliga a hacer evaluaciones. En dos documentos, elManual de Facultad y elPlan Estratégico
El representante de la Institución #2 declaró que “No tenemos un documento completo, pero tenemos una publicación que sale regularmente sobre el tema de assessment. Este documento no está dirigido completamente a los cursos de educación a distancia, sino a todos los cursos, a distancia y cara a cara. Ese es nuestro documento de evaluación académica”. En una publicación regular dedicado al tema de assessment
El representante de la Institución #3 declaró que “no hay un documento que explica el componente de evaluación, pero hay uno que se desarrolló como un componente de nuestra acreditación anterior. Se llama el Plan de Efectividad Institucional. Y también se presentó como parte del proceso de acreditación. El proceso de acreditación nos empujó a mirar el documento y revisarlo para examinar cursos cada x número de meses, para ver que estamos haciendo y para encontrar maneras de hacer correcciones. Esto nos mantiene honestos”. En el Plan de Efectividad Institucional

 

9. ¿Tienes preguntas escritas que guían el proceso de evaluación?

Respuestas

Categorías

El representante de la Institución #1 declaró: “La mayor parte de nuestra información acerca de los estudiantes que se obtiene a partir de encuestas de satisfacción. Se obtienen de formas estándar y administradas en un tiempo estándar. Las evaluaciones del profesorado también están estandarizados”. No
El representante de la Institución #2 declaró que “Organizamos grupos focales y se presentan algunas preguntas”. Ocasionalmente, cuando hacemos grupos focales
El representante de la Institución #3 declaró que “no hay evaluaciones de los programas que tengan preguntas o respuestas concretas a la vista. La mayor parte de lo que tenemos son rúbricas que evalúan las tareas en los cursos”. No

 

10. ¿Tienen criterios declarados y por escrito que guían el proceso de recolección de datos?

Respuestas

Categorías

El representante de la Institución #1 dijo “algunos criterios son específicos a los cursos y otros están relacionados a la facultad. Sin embargo, de alguna manera, el programa de educación a distancia ha afectado a todo el campus en la administración de esos instrumentos. En el pasado, la administración de los instrumentos era cara-a-cara. Entregamos una hoja de papel y el estudiante respondía. O lo enviábamos por correo, dependía de la persona. Ahora tenemos un sistema electrónico. Este sistema funciona dentro de nuestra plataforma para la educación en línea. Todas las evaluaciones se están ejecutando por este sistema. Se envían por vía electrónica, con independencia de la naturaleza del curso”. Si, porque las encuestas son estandarizadas
El representante de la Institución #2 dijo “Nos aseguramos de que los datos que tenemos muestren a las agencias de acreditación lo que estamos haciendo. Es un asunto práctico, pero tenemos que saber algunas cosas que van más allá de la acreditación. Una vez más, nos encontramos ganando experiencias con los programas de educación a distancia, que queremos que sean de buena calidad, que el alumno aprenda y que sean rentables. Esto es lo que nos guía, y nos dejamos guiar por las agencias de acreditación, que buscan calidad. Usamos sus criterios, y nos aseguramos de que los incorporamos. Utilizamos los criterios de acreditación y criterios de licenciamiento. Y vamos a las conferencias. Y utilizamos las investigaciones doctorales sobre la educación a distancia para mirarnos y utilizamos los resultados como retroalimentación para actualizarnos. Se trata de un desarrollo continuo”. Se usan los criterios de las agencias acreditadoras.
El representante de la Institución #3 declaró que “tenemos criterios para examinar las tareas específicas de unos cursos específicos”. Hay en la lista de cotejo para evaluar asignaciones.

 

Discusión

Según lo explicado previamente, este estudio no evaluó directamente la calidad del aprendizaje y la enseñanza que se encuentra en las instituciones. Más bien, concentró en buscar los modelos, los métodos y los criterios utilizados en el proceso de evaluación. Buscamos estos tres elementos porque sabemos que esto ayuda a determinar la calidad de los datos que se recogen y se analizan. Entendemos que con mejores datos y un buen análisis se puede evaluar mejor la calidad de los programas a distancia, y obviamente, con mejores evaluaciones se puede mejorar la calidad del aprendizaje y la enseñanza.

Es importante entender el contexto del estudio: Todas instituciones examinadas son acreditadas. Es decir, si acreditación significa un reconocimiento por parte de una organización que verifica calidad, estas universidades están certificadas como instituciones de calidad. Naturalmente, uno de los criterios de calidad que se considera en los procesos de acreditación es su proceso de evaluación.

Eso nos lleva a reflexionar sobre los procesos de evaluación que se llevan a cabo en los programas a distancia en Puerto Rico. Se ha visto que aunque son parte de las innovaciones institucionales, no están recibiendo un tratamiento especial en cuanto a las evaluaciones institucionales. Los programas a distancia se están evaluando con los mismos modelos, metodologías y criterios que los demás programas institucionales, a pesar de la necesidad de saber si están implantando correctamente, dentro de los parámetros institucionales.

Otro elemento interesantes que se observa es que los procesos de evaluación no son uniformes en el país. Unos programas recogen más datos que otros, y por ende, tienen capacidades diferenciadas en sus posibilidades de profundizar en los análisis institucionales.

Quizás el elemento más importante a observar es la naturaleza de los datos que se recogen en las instituciones para determinar la calidad del aprendizaje de los estudiantes. Se ha notado que las encuestas de satisfacción dominan en las instituciones. Otro dato que se usa para determinar el aprendizaje es la distribución de notas de los estudiantes. Curiosamente, estas dos fuentes son reconocidas como los menos confiables para determinar dominio. En primer lugar, satisfacción y aprendizaje no necesariamente correlacionan. Es posible contestar que se sintió insatisfecho con un curso, aunque aprendió mucho. En segundo lugar, las notas y el aprendizaje tampoco tienen que correlacionar. Uno puedo obtener una buena nota en un curso aunque no aprendió nada, o uno puede obtener una mala nota aunque haya aprendido mucho.

Se notó una ausencia de uno de los métodos más confiables para determinar aprendizaje: la evaluación de productos relacionados a las competencias. Solamente una institución evaluaba sistemáticamente los trabajos asignados en los cursos.

En síntesis, los datos recogidos en este metaevaluación han demostrado que los programas de educación a distancia son desiguales en la calidad de los datos que se recogen y en lo que se puede analizar.

En cuanto a la primera pregunta de investigación que guió este estudio (¿Qué son las características de modelos exitosos de evaluación de, criterios de evaluación y la metodología que sean apropiados para los programas de de educación a distancia?) La revisión de la literatura reveló que hay muchos modelos, metodologías y criterios que puedan ser apropiados para la educación a distancia. Esto se debe a que muchos de los modelos, metodologías y criterios son lo suficientemente genérico como para atender la educación presencial y la educación a distancia.

Esto implica que diferentes modelos pueden utilizarse para evaluar la educación a distancia aunque guardan una similitud muy marcada a la evaluación de la educación presencial. Esto nos lleva a la pregunta, ¿es realmente diferente la evaluación de la educación a distancia a la educación presencial? La metaevaluación de los modelos indica que en esencia, no hay una diferencia marcada.

Lo importante es que los modelos, metodologías y criterios se ajusten a las particularidades. Por ejemplo, ambas modalidades pueden tener criterios relacionadas a la infraestructura. La diferencia es que los programas presenciales tienen que evaluar su infraestructura relacionada a las facilidades físicas, mientras los programas a distancia tienen que evaluar su infraestructura relacionada a sus servidores y plataformas. En otro ejemplo, ambas modalidades tienen que evaluar si su facultad está debidamente preparada. Los programas presenciales pueden evaluar aspectos relacionadas a manejo de grupos mientras los programas a distancia pueden evaluar aspectos relacionados al manejo de tecnologías.

Lo importante es que se “proporcionen hallazgos y conclusiones sólidos, que las prácticas de evaluación continúen mejorando, y que las instituciones puedan administrar sistemas de evaluación eficientes, eficaces y éticos ” (Stufflebeam y Shinkfield, 2,007, p 649). Ellos continúan diciendo que debe ser:

un proceso de delinear, obtener y aplicar información descriptiva y juiciosa con criterios pertinentes -incluyendo la utilidad, la razonabilidad, el decoro, la exactitud, la sistematicidad, la ejecución competente, la integridad, la respetuosidad, y la responsabilidad social – con el fin para guiar a la evaluación y la reportar sus puntos fuertes y debilidades (p. 685).

Independiente del modelo de evaluación, el examen y el uso de los estándares de la JCSEE (2011) demostraron que debe tener autoridad y confiabilidad. También demostró que la evaluación debe buscar, de forma sistemática, su utilidad con características de razonabilidad, decoro y exactitud. Siendo estos los criterios claves para un modelo excelente de evaluación.

Es necesario tomar nota de que los estándares de la JCSEE no son los únicos que se pueden utilizar para evaluar un programa de la educación a distancia. El problema es que muchos programas en Puerto Rico (y en otros lugares) están llevando a cabo las prácticas de evaluación sin una comprensión clara de la necesidad de tener algún estándar de evaluación. Aunque los programas a distancia están expuestos a los estándares de calidad a través de las normas de acreditación, la mayoría no son expuestos a los estándares de una evaluación profesional.

En cuanto a la segunda pregunta de investigación que guió el estudio (¿Cuáles son las modelos de evaluación de, criterios de evaluación y la metodología que se utilizan en los programas de educación a distancia en Puerto Rico?), La evidencia demostró que no hay modelo dominante referente a los criterios o metodología. Lo que la evidencia demostró es que existe un continuo que cubre una amplitud de posibilidades. Pero también se notó una tendencia era hacia la recolección de datos tipo encuestas de satisfacción. Sólo una institución recogía datos relacionados a los productos de aprendizaje (asignaciones), pero esos datos no se recogían en todos los cursos, ni se recogían de forma longitudinal para cada estudiante.

Esta metaevaluación indica que existen programas de educación a distancia en Puerto Rico que no han desarrollado planes abarcadores para recopilar datos triangulados que sean capaces de analizar la efectividad de los programas de estas. En todos los casos, la evidencia indica que no se puede confirmar si se lleva a cabo un aprendizaje de alta calidad.

 

Recomendaciones para investigaciones futuras

El presente estudio reveló la existencia de un continuo de los modelos de evaluación, metodología, y criterios de evaluación que se utilizan en los programas de educación a distancia en Puerto Rico. Este continuo refleja la gama de posibilidades para evaluar la calidad del aprendizaje y la enseñanza. Es decir, algunas instituciones tendrán menos y otros tendrán más posibilidades de analizar la cantidad de datos que manejan. Se necesita más investigación para correlacionar los tipos de evaluación con la calidad del aprendizaje.

Los resultados de este estudio también demostraron que diferentes instituciones dan un peso diferente en la recogida de datos y el proceso de análisis. Hay que examinar más sobre las razones por estas diferencias.

Los estudios de caso también deben llevarse a cabo para investigar la dinámica institucional que explican las decisiones tomadas en las instituciones. Obviamente, los modelos de evaluación, la metodología y los criterios de evaluación no surgieron de la nada. Las personas presentan y los desarrollaron por una razón. El quién, por qué y cómo de cada institución debe explorarse.

Las investigaciones futuras deberían llevarse a cabo para examinar si la continuidad de los modelos, la metodología y los criterios de evaluación que se encuentran en Puerto Rico también se encuentran en otros países. ¿Habrá resultados similares en otros países?

 

 

 

Referencias

American Association for HIgher Education. (1996). 9 Principles of good practice for assessing student learning. Retrieved on December 28, 2010 at http://www.academicprograms.calpoly.edu/pdfs/assess/nine_principles_good_practice.pdf

Bloom M. (2003). Developing a balanced scorecard approach to measure the performance of your E-Learning initiatives. Presentation at the Learning and Development Conference:  Maximizing the Business Value of E-Learning. The Old Mill Inn, Toronto, Canada. . Retrieved on January 17, 2011 at http://www.conferenceboard.ca/libraries/educ_public/elearning_presentation.sflb

Bourne, J, & Moore, J. C. (2003). Elements of quality online education: practice and direction. Needham, MA: Sloan Consortium. Retrieved on March 10, 2011 at http://sloanconsortium.org/publications/books/eqoe4summary.pdf

Challenger, J. A. (2010). Embracing today’s global economy. CBS Interative Business Network. Retrieved on Abril 22, 2011 at http://findarticles.com/p/articles/mi_m1272/is_2724_134/ai_n15380391/

Chapman, B., & Henderson, R. (2010). E-learning quality assurance: a perspective of business teacher educators and distance learning coordinators. Delta Pi Epsilon Journal52(1), 16-31. Retrieved from Education Full Text database.

Christensen, C. M. & Eyring, H. J. (2011). The innovative university: changing the DNA of higher education from the inside out. San Francisco: Jossey-Bass.

Council for Higher Education Accreditation. (2002). Accreditation and Assuring Quality in Distance EducationRetrieved on February 9, 2011 at http://www.chea.org/Research/Accred-Distance-5-9-02.pdf

Council of Regional Accrediting Commissions standards. (2002). Best Practices for Electronically Offered Degrees and Certificate ProgramsRetrieved on February 6, 2011 at http://www.ncahlc.org/download/Best_Pract_DEd.pdf

Fraenkel, J. R. & Wallen, N. E. (2010). How to design and evaluate research in education (7th ed.). Boston: McGraw-Hill.

Gellman-Danley, B. (1997). Who Sets the Standards? Accreditation and Distance Learning. New Directions for Community Colleges1997(99), 73. Retrieved from Professional Development Collection database.

Joint Committee on Standards for Educational Evaluation (2011). The program evaluation standards. (3rd Edition). Thousand Oaks, CA: Sage Publications.

Little, B. (2009). Quality Assurance for Online Nursing Courses. Journal of Nursing Education48(7), 381-7.

Lockee, B. B., Burton, J. K. & Potter, K. R. (2010). Examining standards for distance education systems. Proceedings of the 11th International Conference on Education Research. http://www.aect.org/publications/whitepapers/2010/ICER1.pdf

Magno, C. (2009). A Metaevaluation study on the assessment of teacher performance in an assessment center in the Philippines. The International Journal of Educational and Psychological Assessment. 3(1). 75-93.

Meléndez, J., Castro, A., Sánchez, J., Vantaiatto, A. & Betancourt, C. (2007). Nueva técnica teórica: La educación a distancia como una innovación. In Mena, M. (Compiladora). Construyendo la nueva agenda de la educación a distancia. (pp. 309-328). Buenos Aires: La Crujía Ediciones.

Moore, J. C. (2005). The Sloan Consortium Quality Framework and The Five Pillars. The Sloan Consortium. Retrieved from http://sloanconsortium.org/publications/books/qualityframework.pdf.

Moore, M. & Kearsley, G. (1996). Distance education: A systems view. Belmont, CA: Wadsworth.

Palloff, R. & Pratt, K. (2009). Assessing the online learner: resources and strategies for faculty. San Francisco: Josset-Bass.

Puerto Rico. Departamento de Desarrollo Económico y Comercio. (2009). Modelo estratégico para una nueva economía. Crecimiento, competitividad, empleos. Retrieved on March 3, 2011 from http://www.app.gobierno.pr/wp-content/uploads/2010/05/ Modelo_Estrat%C3%A9gico _para_Nueva_Economia.pdf

Puerto Rico. House of Representatives. (13 de octubre de 2010). P de la C 2923. Retrieved on February 24, 2011 from http://www.camaraderepresentantes.org/files/pdf/%7BCBD681B2-88F2-4A3C-AFD8-828D96EDACE1%7D.doc

Quality on the Line: Benchmarks for Success in Internet-Based Distance Education. (April, 2000). Institute for Higher Education Policy (IHEP). Retrieved from http://www.ihep.org/assets/files//publications/MR/QualityOnTheLine.pdf.

Scriven, M. (2011). Evaluating evaluations: a meta-evaluation checklist. Retrieved on May 15, 2011 at http://michaelscriven.info/images/EvaluatingEvals-Checklist.pdf.

Shelton, K. (2011). A review of paradigms for evaluating the quality of online education programs. Online Journal of Distance Learning Administration, 4(1). Retrieved on May 2, 2011 from http://www.westga.edu/~distance/ojdla/spring141/shelton141.pdf

Strother, J. (2002). An assessment of the effectiveness of e-learning in corporate training programs. International Review of Research in Open and Distance Learning, 3(1).

Sorensen, C. (1997). Localizing National Standards for Evaluation of Distance Education: An Example from a Multistate Project. New Directions for Community Colleges1997(99), 53. Retrieved on November 22, 2010 from Professional Development Collection database.

Tremblay, K., Lalancette, D. & Roseveare, D. (2012). Assessment of higher education learning outcomes. Feasibility study report. Volume 1-design and implementation. Retrieved on December 3, 2012 at http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume1.pdf

United Kingdom. Department for Business, Innovation and Skills. (2011). Higher education: students at the heart of the system. London. Retrieved on June 29 from http://c561635.r35.cf2.rackcdn.com/11-944-WP-students-at-heart.pdf.

United States. Department of Education, Office of Educational Technology. (2013). Expanding evidence approaches for learning in a digital world.  Retrieved on February 11, 2013 at http://www.ed.gov/edblogs/technology/files/2013/02/Expanding-Evidence-Approaches.pdf

United States. Department of Education, Office of Innovation and Improvement. (2008). Evaluating Online Learning: Challenges and Strategies for Success, Washington, D.C. Retrieved on January 21, 2011 from http://www.ed.gov/admins/lead/academic/evalonline.

Wang, Q. (2006). Quality Assurance – Best Practices for Assessing Online Programs. International Journal on E-Learning. 5(2), 265-274.

Zhao, F. (2003). Enhancing the quality of online higher education through measurement. Quality Assurance in Education, 11(4). 214-221.

Zhao, Y., Lei, J., Lai, B. Y. C. & Tan, H. S. (2005). What Makes the Difference? A Practical Analysis of Research on the Effectiveness of Distance Education. Teachers College Record, 107(8).

Trackback from your site.

Leave a comment