La Metaevaluación en la Implantación de un Programa de Educación a Distancia: Un estudio de caso.

Por: Prof. Elsa Pinto López

Dr. Brenda Toro Enríquez, and

Dr. Juan Meléndez Alicea

Universidad de Puerto Rico, Rio Piedras

Resumen

 

Durante la implantación del programa de educación a distancia, Nutrition Live at UPR-RP, se realizó una evaluación para determinar el cumplimiento de los objetivos y medir el impacto. Para asegurar la calidad de la evaluación y por consiguiente la implantación adecuada del programa de educación a distancia presentamos el uso de la metaevaluación: la evaluación de la evaluación. Esta metaevaluación ayudó a identificar fortalezas y debilidades en los planes y la ejecución de la evaluación.  Este tipo de evaluación es especialmente efectivo en encontrar la diferencia entre lo planificado y lo ejecutado.  El objetivo de este estudio de caso es describir la metaevaluación realizada durante la implantación de este programa de educación a distancia que fue desarrollado en un programa de nutrición y dietética de nivel subgraduado. Se incluye además una descripción del proceso de implantación; así como los factores que influenciaron la implantación del proyecto.

Introducción

 

La educación a distancia en línea, impulsado principalmente por los cambios sociales, es un cambio de paradigma en la forma en que las universidades están visualizando la enseñanza y el aprendizaje. Los administradores, profesores, personal y estudiantes se dan cuenta de que con el fin de implantar con éxito la educación a distancia en línea, sus instituciones tendrán que reevaluar sus programas.  Levy (2003) afirma que la Internet y el World Wide Web han hecho que el proceso de lograr una educación sin tener en cuenta el tiempo o el lugar es ahora más fácil para el estudiante. Al mismo tiempo, han creado más retos para las universidades que ofrecen esta modalidad (Levy, 2003). En su revisión de la literatura, el autor encontró que seis factores deben ser considerados en la planificación y el desarrollo de un programa de educación a distancia en línea. Estas seis áreas son: la visión y la misión, el currículo, el apoyo al personal, el apoyo a los estudiantes, el aprendizaje de los estudiantes y la propiedad intelectual.

El tiempo que se invierte para planificar adecuadamente estas áreas ayudarán en el uso efectivo y eficiente de sus recursos. Como parte de esa planificación de un proyecto de educación a distancia en línea es la evaluación de los procesos que se desarrollan y los productos que se espera. Sin embargo, la calidad y la orientación de los procesos de evaluación pueden dar resultados equivocados si no se calibran correctamente. Los administradores pueden creer que están realizando un trabajo de calidad y rigurosidad, para luego encontrarse con graves lagunas y desviaciones no contempladas. Una revisión sistemática de la literatura de programas a distancia en el área de nutrición y dietética identificó la necesidad de estudios que evalúen el diseño, implantación y método de evaluación de los mismos (Cohen, Carbone, & Beffa-Negrini, 2011). El objetivo de este artículo es describir la metaevaluación realizada durante la implantación de un programa de educación a distancia en línea en un programa de nutrición y dietética de nivel subgraduado.

 

El proyecto Nutrition Live at UPR-RP

 

El Programa de Nutrición y Dietética de la Universidad de Puerto Rico, Recinto de Rio Piedras es un programa único en la Isla, creado en el 1930. Consta de cuatro años de estudio que incluye 16 cursos de educación general, 10 cursos de pre-requisito con concentración en ciencias, 19 cursos profesionales de concentración y 10 créditos de electivas libres. El Programa está acreditado por la Middle States Association of Colleges and Schools y Accreditation Council for Education on Nutrition and Dietetics (ACEND).  Está localizado en el área metropolitana de San Juan, en la parte noreste de la Isla. Para estudiantes que residen en otras áreas geográficas puede ser necesario hospedaje y transportación. En algunos casos, estudiantes viajan dos horas en cada dirección.

En la búsqueda para fortalecer tanto al Programa de Nutrición y Dietética como al perfil de la facultad se redactó una propuesta para recibir fondos externos de un proyecto a distancia en línea para ofrecer algunos de los cursos del currículo a distancia. Se aprovechó la coyuntura para incluir cursos con temas innovadores en el campo, como la Bioética, Nutrigenómica y Seguridad de Alimentos. Se vislumbró que los cursos a distancia también facilitarían el que egresados del Programa pudieran repasar los conceptos para tomar los exámenes de reválida y también para profesionales de la salud que quisieran obtener créditos de educación continua. El proyecto tenía la intención de reducir la cantidad de tiempo que los estudiantes tendrían que pasar físicamente en el Recinto, disminuir la necesidad de viajar diariamente para asistir a las clases y aumentar la oferta de cursos para satisfacer la demanda de estudiantes.

Cuando se creó el proyecto, la educación a distancia se promovía en el Recinto como una metodología aceptada para satisfacer la creciente demanda de educación superior en una manera costo-efectiva, es por esto que se decide redactar una propuesta para crear cursos a distancia en el Programa de Nutrición y Dietética. Se entendía que esta metodología podía atraer a estudiantes, principalmente porque los cursos en línea son más adecuados para los estudiantes que tienen su tiempo comprometido con trabajos y responsabilidad de la vida familiar (Howell, William y Lindsay, 2008; Rochester y Pradel, 2008).

 

Marco conceptual

 

Como un primer paso, Spackman, Thorup & Howell (2015) señalan la necesidad de un buen marco conceptual para la creación de nuevos programas de educación a distancia en línea. Este marco debe tomar en consideración los reglamentos del gobierno, los estándares de acreditación y las tendencias de la competencia que coinciden con una disminución en los fondos del gobierno y privados.  A pesar de la necesidad de una planificación estratégica para implantar y desarrollar programas a distancia en línea, los autores, reconocen que la implantación de planificación estratégica en el sector de la educación es difícil. Los dos obstáculos mayores que identificaron eran ‘tiempo y recursos económicos’.

Entre los primeros pasos en la creación de programas a distancia en línea, Rubin (2013), indica que debe haber una visión o modelo de trabajo consciente, claro y declarado. Dice que toda institución de educación superior, ya sea con fines o sin fines de lucro, sea privada o pública, tiene un modelo de negocio, consciente o no. Un modelo de negocio no significa que la organización está diseñada o funciona como un negocio tradicional con el objetivo de maximizar sus ganancias. Se refiere a la forma en que una organización cumpla con las necesidades de las personas, cómo opera, cómo se organiza para producir sus servicios y cómo gestiona sus costos para mantener su solvencia.  Incluso fundaciones y organizaciones sin fines de lucro tienen modelo de negocio, consciente o no.

Según Rubin (2013) hay cuatro elementos de un modelo de negocios que las instituciones deben tomar en consideración para desarrollar sus proyectos académicos a distancia. Estas son: 1) la visión de cómo atiende una necesidad curricular para los estudiantes; 2) los recursos que son utilizados por la organización, incluyendo a las personas, la tecnología; 3) los procesos utilizados para hacer el trabajo, administrar y organizar; y 4) la fórmula de beneficios, o el diseño de los controles de costos con el fin de pagar por los recursos utilizados.

Kumar y Dawson (2012) hicieron una extensa revisión de literatura y crearon una lista de cinco elementos que consideran cruciales para desarrollar programas a distancia en línea. Estas son: 1) los programas en línea deberían estar diseñados basándose en las mejores prácticas en relación con el diseño instruccional, las interacciones alumno-alumno, la presencia docente, la creación de comunidades y los diferentes tipos de evaluación; 2) la importancia de asegurar apoyo técnico y administrativo. Además, todos los estudiantes deben tener acceso a las bases de datos y los recursos necesarios; 3) la carga de trabajo de la facultad se tiene que tomar en consideración en la planificación, implantación y gestión de un programa a distancia en línea. Además sus actividades regulares de investigación, de enseñanza y de servicios no se deben subestimar; 4) una sesión obligatoria de orientación cara a cara o virtual en tiempo real debe ser incorporada al comienzo de un programa; 5) incluir un espacio virtual, no específico a un curso, sino que alberga todos los documentos del programa, permitiendo a los estudiantes y facultad a interactuar entre sí.

A pesar de lo que señala la literatura, han surgido otros proyectos que siguen otras rutas. Algunos con resultados negativos, como es el caso de la Universidad de Botswana en África.  Masalela (2011) señala que su institución embarcó en un proyecto piloto de un programa a distancia, pero desafortunadamente, debido a un enfoque de “arriba hacia abajo”, no tuvo éxito. Un factor importante para este resultado fue la falta de una estrategia institucional que estuviera fundamentada en una visión compartida entre todas las partes que componen la institución. Pero lo más contundente de su análisis es que se puede atribuir a la ausencia de una evaluación de la viabilidad del proyecto en términos de los recursos, actitudes de facilitadores y preparación de los usuarios.

Masalela llegó a sus conclusiones al observar que la transición hacia el aprendizaje en línea no fue de forma gradual. Ella señala que es casi imposible hacer la transición hacia el aprendizaje en línea sin una estrategia institucional que guía la implantación. Su institución necesitaba una estrategia administrativa para el aprendizaje en línea que pudiese articular las políticas y los planes de implantación. Había que animar a los profesores a participar activamente en el diseño e implantación de los procesos de educación a distancia, en lugar de imponerlo. Su análisis presenta que no aseguraron el que los profesores estuviesen cómodos utilizando las tecnologías de aprendizaje en línea y reconocer su viabilidad como una estrategia para fomentar la interacción entre las partes.  Indica que iniciativas de formación sobre cómo enseñar con la tecnología eran primordiales. La falta de un plan estratégico institucional para el aprendizaje en línea resultó en incertidumbre entre los profesores, las controversias pedagógicas, la falta de seguimiento y la falta del compromiso institucional. Todos estos fueron factores que llevaron al fracaso de este programa.

En el caso de la Universidad de Puerto Rico, Recinto de Río Piedras, el contexto institucional al crear el programa fue distinto al contexto durante su implantación. Esto provocó la nueva mirada al plan de evaluación.

 

Recursos y contexto de la educación a distancia en la Universidad de Puerto Rico

 

Un programa de educación a distancia en línea debe tomar en cuenta el apoyo institucional que permita la implantación y apoyo a la facultad y al estudiantado.  La propuesta de este proyecto se desarrolla cuando el Recinto contaba con la Oficina de Recursos para la Enseñanza e Investigación (OREI) encargada de la infraestructura tecnológica. El propósito de esta oficina era brindar apoyo tecnológico a los profesores y desarrollo de destrezas en el uso efectivo de herramientas basadas en las Tecnologías de la Información y las Comunicaciones. OREI interesaba proyectar al Recinto de Río Piedras como uno de vanguardia en el uso de tecnologías innovadoras en las experiencias de aprendizaje de los estudiantes.  Además, interesaba propiciar el uso efectivo de la tecnología por parte de la facultad en diversos ambientes de aprendizaje.  OREI creó el Programa de Capacitación de la Facultad en el Recinto de Río Piedras para articular el desarrollo de nuevas prácticas educativas utilizando la tecnología. Este programa pretendía que todo profesor que integrara tecnologías en el proceso de enseñanza-aprendizaje recibiría una orientación especializada en el desarrollo e implantación del Diseño Instruccional.  OREI definió Diseño Instruccional como un proceso planificado y sistemático que permitía al profesor reflexionar sobre su práctica con énfasis en lo que se debe de enseñar y lo que el estudiante debe aprender. De esta forma, quería garantizar el desarrollo de experiencias de aprendizajes significativas en los estudiantes con la integración de metodologías apropiadas y usos adecuados de la tecnología”.  Los componentes de OREI eran: Tecnología Instruccional, Integración en la Enseñanza, Apoyo a la Investigación Académica y Nuevos Desarrollos.

El Recinto además buscaba establecer políticas institucionales de educación a distancia en línea y por tanto existían varias iniciativas y programas para fomentarlo. Para el 2003 el Recinto contaba con un inventario de 2,959 espacios en Blackboard y alrededor de 54,045 usuarios.  También se utilizaba VClass que era una plataforma que permitía a los profesores grabar sus clases para que los estudiantes pudieran accederlas a través de la tecnología del video streaming (flujo de vídeo continuo) y dejarlas disponible a los estudiantes a través del Web sin ninguna intervención de personal técnico.  Se ofrecía además a través de la División de Tecnologías el diseño y producción de material gráfico en formato digital para ser integrados al proceso de enseñanza-aprendizaje. Se ofrecía asesoría en la utilización de imágenes gráficas en formato digital para presentaciones que serán utilizadas como recursos instruccionales y orientar a los profesores en las diferentes etapas de producción: Pre-producción, Producción y Pos-producción.

Con todos los recursos disponibles y con un plan de evaluación que detallaba los objetivos y sus métricas se sometió la propuesta a la National Institute of Food and Agriculture. La propuesta fue aprobada, pero al iniciar las operaciones, hubo unos cambios en la administración del Recinto que alteró las estructuras de apoyo con que contaba el proyecto. Esto provocó una nueva mirada a los objetivos y la forma de evaluarlos. Por eso, hubo una necesidad de hacer una metaevaluación.

 

Metaevaluación

 

La pregunta fundamental que guío la metaevaluación fue: ¿el plan de evaluación original es adecuado para guiar el recogido y análisis de la implantación actual del proyecto? Para contestar esta pregunta, se desarrollaron las siguientes sub-preguntas de investigación basadas en los resultados esperados: ¿ha cambiado la forma de obtener y analizar los datos relacionados a la mejora de la enseñanza como consecuencia de los cursos a distancia? ¿aún se puede obtener y analizar los datos relacionados a la experiencia de los estudiantes en los cursos a distancia? ¿Aún se puede obtener y analizar los datos relacionados a la reducción del tiempo y los costos para los futuros estudiantes por motivo de los cursos a distancia? ¿aún se puede obtener y analizar los datos relacionados a los beneficios en el uso de los recursos de código abierto por otros programas o instituciones por estar disponibles a través de una biblioteca virtual en la página web del proyecto? ¿se puede obtener y analizar los datos relacionados a la infraestructura para ofrecer seminarios y otras actividades de educación a distancia para el beneficio de todo el Recinto? ¿se puede obtener y analizar los datos relacionados al mercadeo para atraer estudiantes a través de la página web del proyecto?

Para la metaevaluación, se aplicaron los estándares profesionales de Joint Committee on Standards for Educational Evaluation (JCSEE, 2011).  Estos estándares proporcionaron la herramienta para realizar un examen crítico de la relación entre los objetivos del programa a distancia y las actividades para evaluarla. Las normas de la JCSEE se componen de 30 estándares que a su vez se agrupan en cinco atributos claves relacionadas a la calidad: utilidad, viabilidad, pertinencia, precisión y justificación.  Aunque estos 30 estándares cubren las áreas que los expertos han determinado que son fundamentales para una evaluación de la calidad, la Comisión también reconoce que el uso completo de los 30 estándares puede ser excesivamente complicado debido a su amplitud. Por lo tanto, crearon unas tablas funcionales que guían el uso de los estándares para tareas específicas. Algunas de estas tablas son: el diseño de la evaluación y la recolección de la información. En el caso de este estudio en particular, se utilizó la tabla: administración de la evaluación.

Esta tabla agrupó 15 de los 30 estándares de la JCSEE. Estas son: credibilidad del evaluador, atención a los impactados, procesos y productos con sentido, comunicación y reportes apropiados y a tiempo, gerencia del proyecto, procedimientos prácticos, viabilidad contextual, uso de recursos, claridad y balance, transparencia y publicación, conflictos de interés, responsabilidad fiscal, conclusiones justificadas, y documentación de la evaluación.

El uso de estos estándares implicaría un entendimiento cabal de los méritos del proyecto, que lógicamente es el propósito de una evaluación de esta naturaleza.

 

Recolección de datos

 

Los primeros dos cursos comenzaron a ofrecerse en el verano del 2012 y se matricularon un total de 35 estudiantes. Los dos cursos eran cursos requisitos del currículo del Programa y se ofrecían regularmente cada semestre. Se continuó la oferta de los cursos a distancia en línea en el primer semestre del año académico 2012-2013 y durante los siguientes veranos hasta el verano del 2014. Al inicio de cada curso se incluía un cuestionario de autoevaluación de la preparación para el aprendizaje a distancia en el cual se identificaba la percepción del estudiante sobre sus destrezas de tecnología y percepción del curso. Al finalizar el curso se administraba la evaluación de curso y profesor utilizada en todos los cursos del Programa. Cada curso estaba integrado en el plan de avalúo del aprendizaje estudiantil en el cual se mide el cumplimiento con los objetivos de aprendizaje según lo establece la agencia acreditadora ACEND.  Durante el último año del proyecto se realizó un estudio tipo cuantitativo y cualitativo utilizando un cuestionario para evaluar el ambiente de aprendizaje en los cursos a distancia (Creswell, 2012) y seis grupos focales con estudiantes que habían participado de los cursos a distancia.

Las preguntas de los grupos focales se redactaron para determinar si se habían logrado los objetivos del proyecto y obtener datos con mayor profundidad que no pudieran ser capturados en el cuestionario estandarizado. Algunas de estas eran: ¿usas los recursos provistos en la página Web del programa? ¿Sientes que los cursos a distancia satisfacen tus necesidades académicas? ¿De alguna forma se ampliaron sus experiencias educativas por los cursos a distancia? ¿Aumentó su conocimiento de informática por tomar los cursos a distancia?

En la tabla se presentan los resultados esperados del proyecto que incluye los instrumentos utilizados y los datos obtenidos para cada objetivo propuesto.

 

Resultados esperados del proyecto que se proyectaba medir y los datos obtenidos.

table-1                               1 Cuestionario se administró a 60 participantes durante el último año del proyecto.

Se puede identificar en la tabla que varias de las métricas identificadas en la propuesta no pudieron ser completadas. Es aquí donde se evidencia que la implantación del proyecto tuvo que sufrir cambios que provocaron que algunos objetivos del proyecto no se pudieran lograr, incluso intentar alcanzarlos. Por ejemplo, los cambios organizacionales dentro de OREI, afectó el apoyo en el diseño instruccional de los cursos, que a su vez afectó las métricas de aprendizaje. De igual forma, las limitaciones económicas no permitían ofrecer cursos para un número de estudiantes porque no se pudo cubrir los costos operacionales. Fue necesario eliminar la oferta de cursos a distancia durante un semestre pues no se alcanzaba llenar el cupo necesario para mantenerlos abiertos.

Para los egresados del Programa el proyecto no era atractivo ya que se les requería solicitar una readmisión al Programa para obtener créditos de educación continua que podían conseguir en menos tiempo y por un costo menor en otras organizaciones. Por lo tanto, el mercadeo del proyecto ocurría solo entre los estudiantes activos y como una excelente alternativa para ellos durante la sesión de verano.

Al usar los estándares de la JCSEE, y metaevaluar lo que se propuso en la propuesta, se puede observar lo siguiente:

  • Credibilidad del evaluador: La práctica en la Universidad de Puerto Rico, Recinto de Río Piedras, concerniente a las evaluaciones de propuestas es variada. Algunas facultades avisan a sus docentes sobre la disponibilidad de fondos para hacer propuestas; otras no avisan. Algunos docentes están suscrito a servicios de avisos de la disponibilidad de fondos que auspicia el Recinto; otros no están suscritos. Aparte del sistema de avisos, el Recinto ofrece el servicio de registro y cotejo de documentos para llevarlos a la firma del Rector. Sin embargo, no existe un sistema de asesoría técnica en el desarrollo de planes de evaluaciones para las propuestas. En el caso bajo estudio, hubo una carencia de un evaluador experto para crear o asesorar en el desarrollo del plan de evaluación de la propuesta sometida. Cuando la propuesta fue aceptada y se estableció el programa, se contrató un evaluador con experiencia para el programa. Sin embargo, el evaluador carecía de experiencia en metaevaluaciones y por tal razón, no revisó el plan de evaluación inmediatamente, sino cuando vio que el programa no podía cumplir con algunos de sus objetivos por problemas estructurales institucionales.
  • Atención a los impactados: El grupo mayor de impactado era los estudiantes. Este grupo demostró satisfacción con los cursos ya que el 87% reportó estar satisfecho con los cursos a distancia de nutrición y dietética, el 73% mejoró destrezas tecnológicas y el 66% indicó que disminuyó su tiempo de estudio. El grupo de estudiantes que no se materializó, por problemas estructurales institucionales, fueron los egresados que solicitarían re-admisión para cumplir con los requisitos para tomar el examen de la reválida nacional, ni los estudiantes que tomarían el examen de reválida estadounidense por primera vez. Un segundo grupo a impactar fue los docentes. Estos lograron integrar el uso de la tecnología en sus salones de clases para mejorar el aprendizaje de sus estudiantes. Los datos que se recogieron fueron de estos dos grupos.
  • Procesos y productos con sentido: La educación a distancia ha tenido alzas y bajas en el Recinto. Esta propuesta se desarrolló en un momento de alzo, con apoyo de la administración. Los informes de evaluación creados eran para la Universidad y la agencia federal que proveyó los fondos. No hubo informes para los estudiantes o para los docentes.
  • Comunicación y reportes apropiados y a tiempo: Por la naturaleza de ser un proyecto financiado con fondos federales y operar dentro de una institución universitaria, la producción de informes con fechas específicas era obligatorio.
  • Gerencia del proyecto: La gerencia el proyecto estuvo en manos de personas con experiencia en el campo de la nutrición y con experiencia administrativa. Sin embargo, los administradores no tenían una experiencia con la educación a distancia.
  • Procedimientos prácticos: El proyecto no contempló administradores a tiempo completo. Por ser administradoras y educadoras a la misma vez, la dirección del proyecto se sintió sobrecargada y buscó simplificar los procesos al máximo.
  • Viabilidad contextual y Uso de recursos: Las evaluaciones se desarrollan para cumplir con los compromisos institucionales y de la agencia que auspicia el proyecto. El plan original, desarrollado bajo un contexto, fue revisado para ajustarlo a nuevo contexto.
  • Claridad y balance: Los componentes del proyecto fueron identificados y analizados en los variados informes sometidos. Se redactaron de forma clara y nunca hubo señalamientos de falta de claridad.
  • Transparencia y publicación: Por la naturaleza del proyecto en una institución universitaria, sufragado con fondos públicos, era necesario publicar informes de progreso y someterlos a las autoridades pertinentes.
  • Conflictos de interés: La motivación de los administradores/educadores en el proyecto eran académicos. A pesar de sentir una sobre carga de trabajo, los administradores/educadores continuaron con el proyecto para beneficiar el éxito departamental.
  • Responsabilidad fiscal: Todos los trabajos, incluyendo la evaluación, se mantuvieron dentro del presupuesto y siguiendo las normas institucionales.
  • Conclusiones justificadas: El análisis final se basó en los datos recopilados durante el transcurso del proyecto.
  • Documentación de la evaluación: Desde el inicio, se mantuvo control de los documentos del proyecto y los informes tenían su debida justificación y evidencias.

 

Sobre la respuesta a la pregunta que guió la metaevaluación, la conclusión fue que el plan de evaluación original no fue adecuado para guiar el recogido y análisis de la implantación del proyecto. Las respuestas a las sub-preguntas de investigación fueron:

  • Hubo cambios en la forma de obtener y analizar los datos relacionados a la mejora de la enseñanza como consecuencia de los cursos a distancia.
  • Aún se pudo obtener y analizar los datos relacionados a la experiencia de los estudiantes en los cursos a distancia.
  • Aún se pudo obtener y analizar los datos relacionados a la reducción del tiempo y los costos para los futuros estudiantes por motivo de los cursos a distancia.
  • No se pudo obtener y analizar los datos relacionados a los beneficios en el uso de los recursos de código abierto por otros programas o instituciones por estar disponibles a través de una biblioteca virtual en la página web del proyecto.
  • No se pudo obtener y analizar los datos relacionados a la infraestructura para ofrecer seminarios y otras actividades de educación a distancia para el beneficio de todo el Recinto.
  • No se pudo obtener y analizar los datos relacionados al mercadeo para atraer estudiantes a través de la página web del proyecto.

 

Discusión

 

El proceso de desarrollar propuestas es un problema en muchas instituciones. Por ejemplo, puede existir apoyo en la identificación y entrega de propuestas, pero el apoyo se reduce en la redacción y revisión de los mismos. En la propuesta que se sometió a la agencia federal, el plan de evaluación fue suficientemente bueno como para lograr a su aprobación. Pero en múltiples escenarios, existen grandes diferencias entre lo propuesto y lo real. En el caso del Recinto de Río Piedras, la realidad en la etapa de la redacción de la propuesta fue distinta a la realidad en la etapa de la implantación. Sistemas de apoyo prometidos no aparecieron en la etapa de implantación. Por tener que hacer ajustes en la implantación del proyecto, era necesario hacer ajustes en el plan de evaluación.

Por la realidad de cambios frecuentes en la administración de las universidades, un aspecto importante en la creación de un programa a distancia es el análisis crítico de los sistemas de apoyo, cuando se transita entre las etapas de conceptualización a la implantación. Lógicamente, si se detecta cambios, esto afectará los diseños en los planes de evaluación, como fue el caso del Recinto de Río Piedras.

Finalmente, este caso demostró la necesidad de ver los procesos de evaluación como un componente que requiere las mismas atenciones que el componente procesal, implicando que es necesario hacer paradas de metaevaluación en periodos determinados, para hacer los cambios que asegurarán la efectividad de los programas a distancia.

 

 

 

Referencias

 

Cohen, N. L., Carbone, E. T., & Beffa-Negrini, P. A. (2011). The design, implementation, and evaluation of online credit nutrition courses: a systematic review. J Nutr Educ Behav, 43(2), 76-86.

Creswell, J. W. (2012). Educational research: planning, conducting, and evaluating quantitative and qualitative research. 4th ed. Boston: Pearson.

Joint Committee on Standards for Educational Evaluation. (2010). The Program Evaluation Standards: a guide for evaluators and evaluation users. 3rd ed. Los Angeles: Sage.

Kumar, S. & Dawson, K. (March 2012). Theory to Practice: Implementation and Initial Impact of an Online Doctoral Program. Online Journal of Distance Learning Administration, XV(1). Accedido en http://www.westga.edu/~distance/ojdla/spring151/kumar_dawson.html

Levy, S. (Spring 2003). Six Factors to Consider when Planning Online Distance Learning Programs in Higher Education. Online Journal of Distance Learning Administration, VI(1). Accedido en http://www.westga.edu/~distance/ojdla/spring61/levy61.htm

Masalela, R. K. (Summer 2011). Implementing e-Learning at the University of Botswana: The Practitioner’s Perspective. Online Journal of Distance Learning Administration, XIV(2). Accedido en http://www.westga.edu/~distance/ojdla/summer142/masalela_142.html

Olsen, K. & O’Reilly, S. (2011). Evaluation Methodologies: A brief review of meta-evaluation, systematic review and synthesis evaluation methodologies and their applicability to complex evaluations within the context of international development. London:  International Organisation Development. Accedido en http://www.seachangecop.org/sites/default/files/documents/2011%2006%20IOD%20PARC%20-%20Evaluation%20methodologies.pdf

Rubin, B. (March 2013). University Business Models and Online Practices: A Third Way. Online Journal of Distance Learning Administration, XV(1). Accedido en http://www.westga.edu/~distance/ojdla/spring161/rubin.html

Scriven, M. (2011). Evaluating evaluations: A metaevaluation checklist. Accedido en http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf

Spackman, J. S., Thorup, J. & Howell, S. L. (Spring 2015). What Can the Business World Teach Us About Strategic Planning? Online Journal of Distance Learning Administration, XVIII (2). Accedido en http://www.westga.edu/~distance/ojdla/summer182/spackman_thorup_howell182.html

Stufflebeam, D. L. (1999). Program evaluation models metaevaluation checklist (Based on The Program Evaluation Standards). Accedido en https://www.wmich.edu/sites/default/files/attachments/u350/2014/eval_model_metaeval.pdf

 

 

 

 

Save

Save

Save

Save

Trackback from your site.

Leave a comment