Tendencias en la evaluación de cursos en línea

By: Dra. Liana Iveth Gutiérrez Moreno

Institute of Statistics and Computerized Information Systems.

College of Business Administration, University of Puerto Rico, Río Piedras Campus

e-mail: liana.gutierrez@upr.edu

 

Resumen

El propósito del trabajo es identificar las tendencias en la evaluación de cursos en línea. Para ello se realizó una revisión de literatura y luego se clasificaron los estudios por el propósito en la evaluación. Además, se identificaron los modelos y enfoques de evaluación usados.

Se concluye que en la evaluación de cursos en línea, existe una clara tendencia a evaluar la efectividad y calidad de los cursos en línea, así como, al uso de cuestionarios. La evaluación de un curso en línea debe ser sistemática, no limitarse al estudio del aprovechamiento y de la satisfacción de los estudiantes.

 

Introducción

Los últimos reportes sobre aprendizaje en línea de Online Learning Consortium, muestran que, en los Estados Unidos de América, el número de instituciones de educación superior que han adoptado el aprendizaje en línea ha crecido considerablemente. Para el año 2013, aproximadamente el 60% de estas instituciones ofrecían cursos en línea como parte de su oferta académica (Allen y Seaman, 2014). En el año 2015, hubo 77%, aproximadamente (Allen y Seaman, 2016).

Este escenario muestra como el aprendizaje en línea se ha incorporado en la comunidad educativa. A tal punto que, la cantidad de estudiantes de educación superior, que al menos se han matriculado en un curso en línea ha superado los 7.1 millones en los Estados Unidos de América (Allen y Seaman, 2014). Además, la proporción de los líderes académicos que declararon que el aprendizaje en línea es una estrategia fundamental a largo plazo de su institución, ha crecido del 48.8% en el año 2002 al 70.8% en el año 2015 (Allen y Seaman, 2015).

Con el crecimiento en la oferta de cursos en línea, un aspecto relevante en el desarrollo de esta modalidad de enseñanza es garantizar su calidad. Para ello es necesario identificar los elementos del curso que deben ser mejorados o modificados.  Mediante la evaluación se puede recopilar información, para compararlo con ciertos criterios establecidos, de tal manera que nos ayude a emitir un juicio sobre su calidad (Medina Díaz y Verdejo Carrión, 2006).

El propósito de este trabajo es identificar las tendencias en la evaluación de cursos en línea. Se realizó una revisión de literatura, luego se clasificaron los estudios según el propósito de la evaluación. Además, se identificaron los modelos o enfoques de evaluación utilizados.

 

Propósitos en la evaluación de cursos en línea

De los estudios revisados, se observa que la mayor cantidad, se concentran en la evaluación de la efectividad y calidad de los cursos o programas en línea. Entre  los estudios que evalúan la efectividad, se tiene, los que se basan en los objetivos para evaluar la efectividad del curso en línea (Feinstein, 2004; Fetaji y Fetaji, 2009; Galloway, 2005; Hallett y Essex, 2002), los que se basan en la retención y tasa de graduación para evaluar la efectividad de un programa en línea (Chapman, 2006; Tokmak, Baturay y Fadde, 2013) y los que evalúan la efectividad de los recursos en línea (Hassan, Hassan, Omar, Zakaria y Nor, 2012).

Respecto a la calidad, se evalúa la calidad de los cursos en línea (Sandia, Montilva y Barrios, 2005; Santoveña Casal, 2010; Tello Díaz-Maroto, 2010; Urbina Nájera, Pérez Camacho y Rodríguez Huesca, 2013) y la calidad de la experiencia de los estudiantes de cursos en línea (Ginns y Ellis, 2009). Además, se evalúa la satisfacción del aprendizaje de los estudiantes a través de un curso en  línea (Ozkan y Koseler, 2009), la disponibilidad de los instructores durante el curso en línea (Schulte, 2009), la implementación  y progreso del curso en línea (Mashhour y Saleh, 2010), las estrategias de aprendizaje de los estudiantes (Tsai, 2009), el  curso en línea desde la perspectiva del estudiante (Rodríguez Hernández, Flores Guerrero y López de la Madrid,  2010), el enfoque constructivista en las prácticas de educación en línea (Gazi, 2011) y la implementación y resultados del curso en línea (Rodríguez y Miguel, 2005).

Para organizar la información, en la Tabla 1 se agrupan los estudios revisados, según el propósito de la evaluación. De esta manera, el lector podrá identificar con facilidad el propósito de cada evaluación, el modelo o enfoque utilizado y un resumen de cada estudio revisado.

 Tabla  1

Estudios sobre evaluación de cursos en línea

 

Modelos o enfoques de evaluación de cursos en línea

En los estudios revisados se observa la adaptación de modelos o enfoques de evaluación de programas para la evaluación de cursos en línea. Entre los cuales se ha encontrado el modelo de Kirkpatrick (Galloway, 2005; Hallett y Essex, 2002) y el de Contexto, Insumo, Proceso y Producto (CIPP) (Chapman, 2006; Rodríguez y Miguel, 2005; Tokmak et al., 2013).

El modelo propuesto por Donald Kirkpatrick es el que se aplica con mayor frecuencia para evaluar la efectividad de los programas de adiestramiento (Galloway, 2005), en el cual se identifican cuatro niveles: reacción, aprendizaje, comportamiento y resultados. Cada nivel es más amplio que el anterior, además, cada nivel depende de los logros obtenidos en el anterior para su éxito. Por lo tanto, es un modelo acumulativo que puede utilizarse para obtener información en profundidad sobre el valor de un curso o programa en línea (Hallett y Essex, 2002).

A pesar de estas características, el modelo de Kirkpatrick puede ser considerado simple para la evaluación de cursos en línea. Entre las debilidades que presenta se encuentra: (1) asume que las evaluaciones son definitivas, que pueden ser replicados y generalizados a grupos más grandes; y (2) la evaluación de la efectividad se centra en si el adiestramiento ha producido los resultados esperados (Aldrich, 2002 citado en Galloway, 2005). Para Galloway (2005), el modelo más idóneo para la evaluación del aprendizaje basado en la tecnología es uno hibrido, formado de los modelos de Kirkpatrick y Return On Investment (ROI) de Jack Phillips. Incluye información sobre cómo la persona aplica el conocimiento desarrollado, y especifica cómo es el retorno del dinero para la institución que invirtió en formación (Phillips, 2003).

El modelo CIPP, desarrollado por Daniel Stufflebeam ha sido adaptado para la evaluación de cursos en línea (Chapman, 2006; Rodríguez & Miguel, 2005; Tokmak et al., 2013). Según las categorías de modelos de evaluación de Hew, Liu, Martinez, Bonk y Lee (2004), se considera como una evaluación a nivel macro, es decir que evalúa todo el programa educativo en línea. Por otro lado, el modelo de CIPP se considera apropiado para la evaluación de cursos en línea porque orienta los esfuerzos de la planificación, la programación y la ejecución. Siendo lo más importante el mejoramiento de lo que se evalúa (Chapman, 2006).

Además de la adaptación de los modelos antes mencionados, hay investigaciones que proponen otras alternativas para la evaluación de cursos en línea.  Tal es el caso de Quick Check, el cual es un programado diseñado para evaluar de manera eficiente y objetiva a los instructores en línea dentro, de su ambiente de clases (Schulte, 2009). Este programado usa dos indicadores, que son extraídos de las políticas de participación del instructor en línea de Park University, a saber:

  1. Mensajes del instructor en todas las discusiones semanales, no menos de tres días durante la semana.
  2. El instructor entrega la calificación en un tiempo oportuno y proporciona retroalimentación de las asignaciones y calificaciones de los estudiantes.

     Quick Ckeck, dentro de su diseño, ofrece una retroalimentación al instructor en línea, de tal manera que, si se encuentra que uno o ambos indicadores no lo están cumpliendo, recibe un correo electrónico del programado con un breve reporte de sus registros. De esta manera, el instructor puede conocer la evaluación de su práctica y así mejorarla.

También se encontraron otros modelos para la evaluación de cursos en línea, tales como el Modelo Multidimensional para el Planeamiento y Evaluación de cursos en línea (Fetaji y Fetaji, 2009), Modelo de Evaluación de Programas Formativos impartidos a través del Internet (Tello Díaz-Maroto, 2010) y Modelo E-learning Quality (Urbina Nájera et al., 2013). El Modelo Multidimensional para el Planeamiento y Evaluación de cursos en línea se basa en los siguientes 18 indicadores del aprendizaje en línea (Fetaji y Fetaji, 2009):

  1. Antecedentes educativos de los estudiantes con su trasfondo cultural
  2. Nivel de competencias en informática de los estudiantes
  3. Tipo de estudiantes
  4. Estilo de aprendizaje e inteligencias múltiples
  5. Obstáculos que se enfrentan en el aprendizaje en línea
  6. Atención
  7. Contenidos electrónicos (idoneidad, preferencias de formato), contenidos del aprendizaje en línea considerado como vehículo del proceso de aprendizaje en línea y construcción del conocimiento
  8. Diseño instruccional
  9. Detalles de organización
  10. Preferencias de la logística del aprendizaje en línea
  11. Preferencias del indicador de diseño de aprendizaje en línea
  12. Capacidades técnicas disponibles para encuestas
  13. Colaboración
  14. Accesibilidad disponible para encuestas
  15. Motivación
  16. Actitudes e intereses
  17. Rendimiento
  18. Resultados del aprendizaje

Este modelo permite la planificación, comparación y evaluación de diferentes proyectos de los cursos en línea. Además, durante el estudio se hace un análisis comparativo de las plataformas Ángel y Moodle, centrado en la comparación y evaluación de los indicadores del aprendizaje en línea. Fetaji y Fetaji (2009) afirman que, con la aplicación de este método, en el desarrollo de cursos en línea sobre las plataformas antes indicadas, es más probable lograr mejores resultados y mayor eficiencia, así como un mayor retorno de la inversión.

El Modelo de Evaluación de Programas Formativos impartidos a través del Internet (Tello Diaz-Maroto, 2010) consta de los siguientes cinco niveles objeto de evaluación:

  1. Diseño

Incluye los siguientes aspectos: (a) de la plataforma, (b) funcionales, (c) técnicos y estéticos, y (d) pedagógicos.

  1. Ejecución
  2. Reacción

Incluye los siguientes tipos de satisfacción: (a) aspectos generales del curso, (b) infraestructuras, (c) recursos (materiales y humanos), (d) aspectos técnicos y estéticos, (e) objetivos de aprendizaje, (f) contenidos de aprendizaje, (g) actividades de aprendizaje, (h) sistema de evaluación y (i) en general

  1. Aprendizaje
  2. Transferencia

Luego, durante la investigación se observó que no son suficientes estos aspectos, sino que la información obtenida de la evaluación se debe usar para mejorar continuamente el curso ofertado (Tello Díaz-Maroto, 2010). Además, “con el objeto de la mejora de los cursos evaluados, dicho modelo de evaluación de programas a través de Internet se incluyó en un ciclo sistémico de diseño, creación, aplicación, evaluación y modificación de la formación” (Tello Díaz-Maroto, 2010, p.215). Este modelo se aplicó a cursos de diferentes características, con el propósito de garantizar que el modelo responda a cualquier tipo de curso.

Según Urbina Nájera et al. (2013, p.157) “el Modelo E-learning Quality está basado en un análisis de las políticas y proyectos europeos, en las prácticas de organizaciones nacionales europeas y en un análisis de la investigación actual sobre la calidad en educación a distancia, desarrollado por la Agencia Nacional Sueca para la Educación Superior (HÔGSKOLEVERKET, Swedish National Agency for Higher Education, 2008)”. Consta de 10 aspectos de la evaluación de la calidad de la educación a distancia:

  1. Material/contenido
  2. Estructura/entorno virtual
  3. Comunicación, cooperación e interactividad
  4. Evaluación de los estudiantes
  5. Flexibilidad y adaptabilidad
  6. Soporte (estudiantes y personal)
  7. Clasificaciones y experiencias del personal
  8. Visión y liderazgo institucional
  9. Asignación de recursos
  10. Holística y los aspectos del proceso

Cada uno de estos aspectos incluye la evaluación, actualización y mejora continua. “Dichos aspectos no están enumerados conforme a su importancia, pero guardan una secuencia aproximada de los elementos básicos del proceso enseñanza-aprendizaje, una panorámica de la organización de forma sistémica y holística” (Urbina Nájera et al., 2013, p.160).

Por otra parte, los estudios revisados revelan una tendencia a realizar evaluaciones de cursos en línea aplicando cuestionarios. Los mismos responden a ciertos factores que los investigadores consideran que el curso en línea debe contener. En la Tabla 2 se describe los cuestionarios encontrados en la revisión de la literatura y los factores que estos toman en consideración.


Conclusión

La revisión de literatura muestra que existe una clara tendencia a evaluar la efectividad y calidad de los cursos en línea. Además, entre los aspectos del curso en línea que comúnmente se consideran en la evaluación, se encuentran: el diseño instruccional y de la interface, el contenido, las estrategias de enseñanza y evaluación, así como, los recursos tecnológicos. La selección de los aspectos a incluir, depende del propósito de la evaluación y del modelo o enfoque de evaluación que usen.

Para realizar las evaluaciones se adaptan modelos de la evaluación de programas, como el modelo de Kirkpatrick o CIPP. Otros proponen nuevos enfoques de evaluación, pero se observa una tendencia al uso de cuestionarios. Considerando que la evaluación de un curso en línea debe ser sistemática, y no limitarse al estudio del aprovechamiento o la satisfacción de los estudiantes (Galloway, 2005; Hallett y Essex, 2002; Rodríguez Hernández et al., 2010; Tello Díaz-Maroto, 2010; Tokmak et al., 2013; Urbina Nájera et al., 2013), sería apropiado realizar una metaevaluación de los estudios que usan cuestionarios en la evaluación de cursos en línea. De esta manera, se podría establecer la rigurosidad del estudio y validar los resultados obtenidos.

 

  

Referencias

Allen, B. y Seaman, J. (2014). Grade change: Tracking online education in the United States. Babson Survey

Research Group and Quahog Research Group. Recuperado de http://www.onlinelearningsurvey.com/reports /gradechange.pdf

 

Allen, B. y Seaman,  J. (2015). Grade level: Tracking online education in the United States. Babson Survey Research

Group and Quahog Research Group. Recuperado de http://www.onlinelearningsurvey.com/reports /gradelevel.pdf

 

Allen, B. y Seaman,  J. (2016). Online report card: Tracking online education in the United States. Babson Survey

Research Group and Quahog Research Group, LLC. Recuperado de http://onlinelearningsurvey.com/reports
/onlinereportcard.pdf

 

Chapman, D. D. (2006). Building an evaluation plan for fully online degree programs. Online Journal of Distance

Learning Administration, 9(1), 19 pp. Recuperado de http://www.westga.edu/~distance/ojdla/spring91
/chapman91.htm

 

Feinstein, A. H. (2004). A model for evaluating online instruction. Developments in Business Simulation and

Experiential Learning, 31, 32-39.  Recuperado de https://absel-ojs-ttu.tdl.org/absel/index.php/absel/article/view/636/605

 

Fetaji, B. y Fetaji, M. (2009). E-learning indicators: A multi-dimensional model for planning and evaluating

e-learning software solutions. Electronic Journal of E-learning, 7 (1), 1-28.

 

Galloway, D. L. (2005). Evaluating distance delivery and e-learning: Is Kirkpatrick’s model relevant?. Performance

Improvement, 44 (4), 21-27.

 

Gazi, Z. A. (2011). A Step for evaluating constructivist approach integrated online courses. The Turkish Online

Journal of Educational Technology, 10 (3),    13-20.

 

Ginns, P. y Ellis, R. A. (2009). Evaluating the quality of e-learning at the degree level in the student experience of

blended learning. British Journal of Educational Technology, 40 (4), 652-663. doi:10.1111/j.1467-8535.2008.00861.x

 

Hallett, K. y Essex, C. (2002). Evaluating online instruction: Adapting a training model to e-learning in higher

education. Recuperado de la base de datos ERIC. (ED477023)

 

Hassan, H., Hassan, F., Omar, N., Zakaria, Z. y Nor, W. M. (2012). Evaluating mathematics e-learning materials: Do

evaluators agree with distance learners?. Procedia Social and Behavioral Sciences, 67 (1), 189-195.

 

Mashhour, A.  y Saleh, Z. (2010). Evaluating e-learning in Jordanian institutions: Why is it lagging?. Quarterly

Review of Distance Education, 11 (4), 269-279.

 

Medina Díaz, M. del R. y Verdejo Carrión, A. L. (2006). ¿Evaluación o avalúo?. INEVA en Acción, 2(4), 1-5.

Recuperado de http://ineva.uprrp.edu

 

Ozkan, S. y Koseler, R. (2009). Multi-dimensional students’ evaluation of e-learning systems in the higher education

context: An empirical investigation.

 

Computers & Education53 (4), 1285-1296. doi:10.1016/j.compedu. 2009. 06.011

Rodríguez, J. y Miguel, V. (2005). Uso del modelo CIPP para evaluar la implementación y los resultados de un

programa de capacitación en línea. Revista Comportamiento, 7(1), 71-92.

 

Rodríguez Hernández, M. A., Flores Guerrero, K. y López de la Madrid, M. C. (2010). Modelo multidimensional para

la evaluación de cursos en línea desde la perspectiva del estudiante. Apertura: Revista de Innovación Educativa, 2 (2), 60-73.

 

Sandia, B., Montilva, J. y Barrios, J. (2005). Cómo evaluar cursos en línea. Educere, 9 (31), 523-530.

 

Santoveña Casal, S. (2010). Cuestionario de evaluación de la calidad de los cursos virtuales de la UNED. Revista de

Educación a Distancia, 25, 1-22. Recuperado de http://www.redalyc.org/articulo.oa?id=54717071003

 

Schulte, M. (2009). Efficient evaluation of online course facilitation: The “Quick Check” policy measure. Journal of

Continuing Higher Education, 57 (2), 110-116.

 

Tsai, M. (2009). The model of strategic e-learning: Understanding and evaluating student e-learning from

metacognitive perspectives. Educational Technology & Society, 12 (1), 34-48.

 

Tello Díaz-Maroto, I. (2010). Modelo de evaluación de la calidad de cursos formativos impartidos a través de

internet. Revista Iberoamericana de Educación a Distancia, 13 (1), 209-240. Recuperado de http://www.redalyc.org/pdf/3314/331427212010.pdf

 

Tokmak, H. S., Baturay, H. M. y Fadde, P. (2013). Applying the context, input, process, product evaluation model for

evaluation, research, and redesign of an online master’s

Trackback from your site.

Leave a comment