Evaluación de Programas de Aprendizaje @ Distancia como Medición de Calidad

Por: Dra. Omayra Caraballo Pagán
Universidad Interamericana de Puerto Rico – Recinto de Ponce

 

 


Evaluación de Programas de Aprendizaje @ Distancia como Medición de Calidad

Resumen

Las instituciones educativas incluyen la evaluación de sus programas como una de las actividades más importantes del quehacer educativo. A pesar de que se considera un proceso arduo, es fundamental si se quiere asegurar la calidad de los servicios que se ofrecen. Ésta se establece como una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos. También, ésta puede ser formativa y sumativa y existen varios modelos para ser utilizados en la misma. Además de la conceptualización en el proceso de evaluar un programa, un investigador debe anticipar los dilemas éticos a los que se puede enfrentar durante su estudio. Finalmente, en la evaluación de programas de aprendizaje @ distancia se señala que la última medida de su calidad es el aprendizaje logrado por quienes utilizan sus recursos.

 

Palabras claves: evaluación de programas, aprendizaje a distancia, modelos de evaluación, calidad.

 

 

Introducción

Los programas académicos contextualizan la visión, misión y objetivos de una institución educativa de manera coherente, formando así una estructura que permita el desarrollo y formación del estudiante, personal administrativo y docente que labora en ésta (Mendoza, como se cita en González, 2006). Coincidiendo con esto, Jason (2008) enfatiza que la evaluación es una herramienta para determinar si la extensión o el currículo del programa son efectivos e, igualmente,  provee dirección para tomar las decisiones en los aspectos que no contribuyan al desempeño exitoso del estudiante.

 

Las instituciones educativas incluyen la evaluación de sus programas como una de las actividades más importantes del quehacer educativo.  A pesar de que se considera un proceso arduo, es fundamental si se quiere asegurar la calidad de los servicios que se ofrecen (González, 2006).  La pertinencia o utilización de los procesos de evaluación en el sistema educativo así como las discrepancias se fundamentan en una variedad de aspectos que le son imputados a la evaluación (Montero, 2004). Ésta se establece como una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos.

 

Por su parte, Fitzpatrick, Sanders & Worthen (2004) presentan la evaluación de programas con el propósito de determinar o fijar el valor, para examinar o juzgar. Mientras, para Stufflebeam y Shinkfield (2007) ésta es la provisión de información a través de medios formales tales como criterios, medidas y estadísticos con el propósito de proveer una base racional para hacer juicios inherentes a las situaciones de decisión.

 

Además de clarificar la definición del concepto de evaluación, también es necesario diferenciar entre evaluación e investigación. Según Fitzpatrick et al. (2004) han surgido muchos métodos de evaluación en la investigación en las Ciencias Sociales. Sin embargo, estos métodos han tenido que diferenciarse entre lo que conceptualmente es investigación y evaluación.

 

Por ejemplo, una de las diferencias entre estos conceptos es asociado al propósito, ya que “la investigación y la evaluación tienen fines distintos.  El propósito principal de la investigación es darle un valor añadido al conocimiento del campo para contribuir en el crecimiento de la teoría. Mientras, la evaluación ayuda emitir un juicio o tomar una decisión” (Fitzpatrick et al., 2004, p. 7). Aún así y a pesar de la aclaratoria anterior, en algunas ocasiones la evaluación y la investigación se interponen. Por tanto, es importante reconocer que la investigación puede añadir conocimiento de las leyes o teorías en una disciplina y la evaluación puede informar y formar nuestros juicios para tomar  decisiones con respecto a un programa.

En esta dirección, la educación a distancia es un medio que ha alcanzado una gran demanda en los últimos años (Allen & Seaman, 2006), por lo que se hace necesario considerar la evaluación de los programas bajo esta modalidad. Esto, porque permite ofrecer una retroalimentación de valor educativo a la gestión y administración que llevan adelante los profesores y el personal a cargo de tomar las decisiones sobre el rol adecuado, y el impacto de la tecnología en un sector de la población estudiantil del programa. Además, proveerá las guías necesarias para lograr su éxito.

 

 

Necesidades, Propósito y Metas de la Evaluación de Programas de Aprendizaje @ Distancia

 

El análisis de la educación a distancia apunta a una estructura más compleja que la representada por la formación tradicional (Mir, Reparaz y Sobrino, 2003). En sus comienzos, esta modalidad fue pensada para proveer alternativas de estudio a estudiantes que por su lejanía geográfica no podían llegar a los centros universitarios (Volery & Lord, 2000). En esta dirección, Vilaseca y Castillo (citados por Álvarez, 2005) manifiestan que el aprendizaje a distancia debe verse como una oportunidad de impartir enseñanza a aquellos que con necesidades particulares. De modo que, es responsabilidad de todas las instituciones asegurarse que sus ofrecimientos satisfagan las expectativas de las personas a quienes van dirigidas, considerando los recursos y limitaciones de los receptores de esa educación.

 

Sin embargo, a pesar del aumento en la oferta académica en esta modalidad, ésta no va a la par con la evaluación de la misma. Constantemente, se habla sobre la pertinencia o utilización de los procesos de evaluación en el sistema educativo y las discrepancias se fundamentan en una variedad de significados que le son imputados a la evaluación. Esto se debe a que la evaluación es una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas e intervenciones, desde su concepción y diseño, hasta su posterior valoración en términos de logros e impactos (Montero, 2004).

 

La evaluación de programas pretende proporcionar la información recopilada como fundamento para la decisión y ejecución de las opciones adecuadas para el mejoramiento de éste. Por otro lado, se podrán identificar las fortalezas y debilidades con el fin de tomar decisiones que conduzcan a la optimización del mismo. Además, proporcionará información que facilite la toma de decisiones con respecto a la implementación de futuros programas.

Determina si los objetivos han sido logrados o no y en qué grado.

Plan de Evaluación e Implementación

 

La evaluación de programas pretende proporcionar la información recopilada como fundamento para la decisión y ejecución de las alternativas adecuadas para el mejoramiento de éste. Igualmente, según se muestra en la Figura 1, podrá (González, 2006; Graf & Albright, 2007):

 Figura 1: Propósito de la Evaluación de Programas

Por otro lado, para conducir una evaluación se determinan ciertos pasos a seguir, como por ejemplo: selección de institución a evaluarse, utilizar un modelo validado o una teoría en la que se base la evaluación (Nichols, J. & Nichols, K., 2005), hoja de consentimiento, recopilación de datos, tabulación, análisis de los datos para detectar fortalezas y debilidades, y por último, emitir juicios valorativos que permitan hacer recomendaciones dirigidas a la toma de decisiones.

Modelos de Evaluación

 

La evaluación de programas puede ser formativa -orientada a la mejora-  y sumativa -centrada en el impacto y los resultados del programa- (Fitzpatrick, et al., 2004). Existen varios modelos que pueden ser utilizados en la evaluación de los programas. Estos modelos tienen como propósito los siguientes aspectos: seguimiento, identificación de problemas, desarrollo de programas pilotos para mejorar eficacia, identificación de diferencias por población y la determinación de relevancia del programa (Jason, 2008).  A continuación se describen algunos de éstos de acuerdo a su enfoque, según se describen en la Figura 2:


Figura 2: Modelos de Evaluación

Fitzpatrick, et al. (2004) presentan las siguientes cinco precauciones a tomar en consideración sobre los diferentes enfoques de evaluación: los enfoques no son modelos ni teorías, es peligroso concentrarse en un modelo en particular de evaluación, no hace sentido hacer un llamado a abandonar el pluralismo y consolidar los enfoques de la evaluación en uno genérico, la selección de un enfoque de evaluación no puede ser en base a un estudio empírico, y las comparaciones negativas sobre algunos enfoques de evaluación pueden causar efectos secundarios negativos. Cada uno de los marcos conceptuales sobre la evaluación ofrece distintas perspectivas que pueden aplicarse a algunas, pero no a todas las situaciones que se estén considerando. Así que, los evaluadores no deberían concentrarse en un enfoque específico de evaluación, sino por una combinación de distintos enfoques que complementen el proceso (Fitzpatrick, et al., 2004).

La selección de un enfoque de evaluación no puede ser en base a un estudio empírico (Fitzpatrick, et al., 2004).

 

Asimismo, es crucial hacer mención al hecho que en la evaluación de programas es posible realizar dos tipos de evaluación: la formativa y la sumativa (Caraballo, 2010). “La evaluación formativa tiene como propósito principal proveer información para el mejoramiento del programa” y, “la evaluación sumativa provee información para tomar decisiones o ayudar a emitir juicios acerca de la adopción, continuación o expansión de un programa” (Fitzpatrick et al., 2004, p. 17). En este sentido, la evaluación del programa puede ser más completa e integral en todos los aspectos que lo conforman.

  

Recopilación de Datos

Es importante determinar el instrumento que se utilizará para recopilar los datos. El evaluador puede utilizar un instrumento existente o de la misma forma, si éste no existe, es necesario desarrollarlo, validarlo y administrarlo a los participantes y así poder recopilar toda la información necesaria para presentar unas recomendaciones confiables.

 

La recopilación de datos de los participantes puede realizarse a través de una encuesta. Ésta permitirá obtener una descripción numérica o descriptiva de las tendencias, actitudes y opiniones de éstos en relación al programa. La encuesta puede ser de diseño tipo transversal (la recopilación de datos se efectuará para un término académico) o longitudinal (implica la existencia de medidas repetidas -más de dos- a lo largo de un seguimiento).

 

Para la administración del instrumento, especialmente en un programa @ distancia, Mertler (2002) recomienda la administración del mismo vía Internet.  Éste destacó las siguientes ventajas: alto grado de respuesta, marco de tiempo corto para recopilar las respuestas, y ahorro en tiempo y costos.

 

Análisis de datos. Además de la revisión y análisis bibliográfico y de la literatura recopilada, es posible presentar el análisis de los datos empíricos recopilados mediante la aplicación de los instrumentos en varios pasos. En primer lugar, mostrar una tabla que refleje el número y por ciento de los sujetos encuestados, comparando los que contestaron versus los que no contestaron. En segundo lugar, demostrar el efecto, si alguno, de los cuestionarios que no se respondieron y la acción a tomar. Indicar si es necesario hacer un segundo intento a través del teléfono y evaluar si los datos de la muestra ya recopilada cambian sustancialmente. En tercer lugar, se incluir un análisis descriptivo de los datos para las variables independientes y dependientes. Por último, mostrar un análisis estadístico de los datos recopilados utilizando algún programa estadístico, como por ejemplo, SPSS.

 

Recomendaciones de la evaluación. Se deben elaborar estrategias que puedan ser utilizadas para mejorar el diseño del programa y los hallazgos deberán ser diseminados a los accionistas (stakeholders) involucrados en el andamiaje del programa a evaluarse, como también a los participantes. Esto confirmará el interés del investigador en que sus ideas o aportaciones sean tomadas en consideración para el mejoramiento del programa implantando las acciones correctivas necesarias.

Principios Éticos a Considerar

Además de la conceptualización en el proceso de evaluar un programa, un investigador debe anticipar unos dilemas éticos a los que se puede enfrentar durante su estudio (Creswell, 2003). La mayoría de las investigaciones involucran seres humanos como participantes en experimentos, encuestas, entrevistas y estudios. Aún cuando se revisan muchos materiales, se involucra a personas, las cuales tienen derechos como sujetos de un estudio. De manera que los estándares éticos deben pretender asegurar que  la evaluación se lleve a cabo legalmente, con ética y en beneficio de los involucrados en ésta y de quienes son afectados por sus resultados (Ramlow, s.f.). Esta autora señala que es importante considerar los siguientes aspectos éticos: orientación al servicio, compromisos formales, derechos humanos, interacciones humanas, valoración completa y justa, divulgación de los hallazgos, conflicto de intereses, y responsabilidad fiscal.

 

Durante el proceso de análisis e interpretación de la información recopilada es necesario garantizar el mantener el nombre de los participantes bajo anonimato.  Se considerarán las reglas de ética, para mantener los archivos como resultado de la investigación y evitar que se utilicen de manera inapropiada. Los mismos se mantendrán entre 5 a 10 años, periodo recomendado por Sieber (citado por Creswell, 2003), y de ser factible, custodiados por personas ajenas al proceso de investigación realizado.

 

Igualmente, al redactar el informe final se tomará en consideración la utilización de las palabras y el lenguaje correcto de modo que no se interprete que se atenta o discrimina por razones de género, raza o grupo étnico, orientación sexual, impedimento o edad (American Psychological Association,2002).

 

Respeto a los derechos de los participantes. Es preciso destacar que la evaluación debe realizarse dentro de un marco de confianza y respeto. Para garantizar el cumplimiento de los requerimientos éticos que conlleva una investigación que involucra individuos y de no exponer a los encuestados a ningún tipo de riesgo,  el instrumento que vaya a ser utilizado en el proceso de investigación debe ser sometido y aprobado por la Junta de Revisión Institucional, conocida por sus siglas IRB (Creswell, 2003; Hernández, Fernández-Collado y Baptista, 2006). Asimismo, estos autores señalan que el investigador está obligado a proteger a los participantes de riesgos, daños y amenazas que pudieran enfrentar ellos y el equipo de investigación.

 

De acuerdo con los Principios éticos y el Código de conducta de la American Psychological Association (2002), los participantes en una investigación tienen los siguientes derechos: estar informados del propósito de la investigación, negarse a participar en el estudio y abandonarlo en cualquier momento y su anonimato debe ser garantizado.

 

En la investigación no tienen cabida el racismo o la discriminación. Todos los participantes, de cualquier género, niveles socioeconómicos y orígenes étnicos son igualmente importantes y merecen el mismo respeto. Asimismo, es necesario ser sensibles a la cultura de los participantes. Por último, los resultados deben reportarse con honestidad (sin importar cuáles hayan sido) y es fundamental reconocer las limitaciones de la investigación y las del investigador (Hernández, et al., 2006).

 

Conclusiones

Es evidente el aumento de liderar instituciones donde el personal interesa recopilar  datos y aprender sobre qué funciona o no en sus programas, para así mejorar las capacidades organizacionales y los servicios prestados (Wholey, Hatry & Newcomer, 2004). Por lo que, se debe incluir en el informe final los siguientes aspectos identificados o investigados: fortalezas, debilidades, retos, oportunidades, recomendaciones y discusión de hallazgos (Graf & Albright, 2007). Del mismo modo, la evaluación debe proveer el análisis de los procesos y las herramientas utilizadas que puedan proporcionar datos válidos, confiables y creíbles, de manera que aclaren dudas sobre la ejecución del mismo y contribuyan en la toma de decisiones futuras (Nichols, J. & Nichols, K., 2005).

 

Finalmente, en la evaluación de programas de aprendizaje @ distancia se señala que la medida última de su calidad es el aprendizaje logrado por quienes utilizan sus recursos; la evaluación del sistema como tal y de su infraestructura y recursos se realiza con el fin de inferir la capacidad del sistema para producir aprendizaje significativo con el objetivo de mejorar la calidad de vida de quienes aprenden (Silvio, 2006). Igualmente importante, este autor acentúo que pueden evaluarse los programas de educación @ distancia con diversos criterios que contienen indicadores acerca del grado en el que el programa se ajusta a las normas de calidad en varios aspectos significativos para su desempeño como programa. En esta dirección, la aplicación de programas de evaluación en programas a distancia garantizan una mayor satisfacción y calidad en  los procesos de enseñanza, aprendizaje y utilidad institucional (Caraballo, 2010). También, promueven una percepción favorable hacia los programas a distancia en relación a sus recursos, reclutamiento y retención estudiantil.

 

 

 

Referencias

Allen, I. E. & Seaman, J. (2006). Making the grade: Online education in the United States. Needham, MA: The Sloan Consortium.

Álvarez Peña, J. (2005). Estudio cualitativo del nivel de receptividad y percepción de la alta gerencia universitaria sobre la implantación de un modelo de universidad virtual. Disertación doctoral no publicada, Pontificia Universidad Católica de Puerto Rico, Ponce, P.R.

American Psychological Association. (2002). Manual de estilo de publicaciones de la American Psychological Association (2da ed.). México, DF. (Trabajo original publicado en 2001).

Caraballo Pagán, O. (2010). Evaluación del Nivel de Satisfacción de la Gestión de un Programa de Aprendizaje a Distancia Aplicando el Modelo CIPP: Caso del Programa de Administración de Sistemas de Oficina de una Universidad Privada de Puerto Rico. Disertación doctoral no publicada, Nova Southeastern University – Fischler School of Education and Human Services, Fort Lauderdale-Davie, FL.

Creswell, J. W. (2003). Writing strategies and ethical considerations. Research design: Qualitative, quantitative, and mixed methods approaches (2nd ed., pp. 3-26). Beverly Hills, CA: Sage.

Fitzpatrick, J., Sanders, J., & Worthen, B. (2004). Evaluation’s basic purpose, uses, and conceptual distinctions. Program evaluation: Alternative approaches and practical guidelines. (3rd ed., pp. 3-29). Boston: Allyn & Bacon.

González Chévere, O. (2006). Evaluación del programa de ciencia en la escuela X utilizando el modelo CIPP. Pontificia Universidad Católica de Puerto Rico, Ponce, P.R.

Graf, D. & Albright, M. (2007). Administración y Evaluación de la Tecnología y la Educación a Distancia. Manual del Curso ITDE 8012/ITDE 8013.Miami. Nova Southeastern University.

Hernández, R., Fernández-Collado, C. y Baptista P. (2006). Metodología de la investigación (4a. ed.). México, D.F.: McGraw-Hill/Interamericana Editores, S.A. de C.V.

Jason, M. H. (2008). Perspectives on program evaluation. Evaluating programs to increase student achievement. (2nd ed., pp. 1-10). Thousand Oaks, California: Corwin Press, Inc.

Mertler, C. (2002). Demonstrating the potential for web-based survey methodology with a case study. American Secondary Education. 30(2). ProQuest Education Journals. (ERIC Document Reproduction Service No. EJ648709). Recuperado el 30 de junio de 2008, de la base de datos ERIC.

Mir, J. I., Reparaz, C. y Sobrino, A. (2003). La formación en Internet. Barcelona, España: Ariel, S.A.

Montero Rojas, E. (2004). Marco conceptual para la evaluación de programas de salud. Población y salud en Mesoamérica. 1(2). Recuperado el 30 de junio de 2008, de http://ccp.ucr.ac.cr/revista
/volumenes/1/1-2/1-2-6/1-2-6.pdf

Nichols, J. & Nichols, K. (2005). A road map for improvement of student learning and support services through assessment. New York: Agathon Press.

Ramlow, M. E. (s.f.) Estándares para la evaluación de programas. Recuperado el 17 de julio de 2008, de http://valle-mexico.pm.org/evins
/estandaresevaluacion.doc.

Silvio, J. (2006). Hacia una educación virtual de calidad, pero con equidad y pertinencia. Revista de Universidad y Sociedad del Conocimiento, 3(1). Recuperado el 16 de marzo de 2007, de http://www.uoc.edu/rusc/3/1/dt
/esp/silvio.pdf

Stufflebeam, D. L. & Shinkfield, A. J. (2007). Evaluation, theory, models, & applications. San Francisco, CA: Jossey-Bass.

Volery, T. & Lord. D. (2000). Critical success factors in online education. International Journal of Educational Management14(5) (pp. 216-223). Recuperado el 18 de julio de 2008 de la base de datos Emerald.

Wholey, J., Hatry, H. P., Newcomer, K. E. (Eds.). (2004). Handbook of practical program evaluation. (2nd. ed.). San Francisco, CA: John Wiley & Sons, Inc.

 

Trackback from your site.

Leave a comment