\u00a0<\/strong><\/p>\n Durante la implantaci\u00f3n del programa de educaci\u00f3n a distancia, Nutrition Live at UPR-RP<\/em>, se realiz\u00f3 una evaluaci\u00f3n para determinar el cumplimiento de los objetivos y medir el impacto. Para asegurar la calidad de la evaluaci\u00f3n y por consiguiente la implantaci\u00f3n adecuada del programa de educaci\u00f3n a distancia presentamos el uso de la metaevaluaci\u00f3n: la evaluaci\u00f3n de la evaluaci\u00f3n. Esta metaevaluaci\u00f3n ayud\u00f3 a identificar fortalezas y debilidades en los planes y la ejecuci\u00f3n de la evaluaci\u00f3n.\u00a0 Este tipo de evaluaci\u00f3n es especialmente efectivo en encontrar la diferencia entre lo planificado y lo ejecutado.\u00a0 El objetivo de este estudio de caso es describir la metaevaluaci\u00f3n realizada durante la implantaci\u00f3n de este programa de educaci\u00f3n a distancia que fue desarrollado en un programa de nutrici\u00f3n y diet\u00e9tica de nivel subgraduado. Se incluye adem\u00e1s una descripci\u00f3n del proceso de implantaci\u00f3n; as\u00ed como los factores que influenciaron la implantaci\u00f3n del proyecto.<\/p>\n <\/p>\n Introducci\u00f3n<\/strong><\/p>\n \u00a0<\/strong><\/p>\n La educaci\u00f3n a distancia en l\u00ednea, impulsado principalmente por los cambios sociales, es un cambio de paradigma en la forma en que las universidades est\u00e1n visualizando la ense\u00f1anza y el aprendizaje. Los administradores, profesores, personal y estudiantes se dan cuenta de que con el fin de implantar con \u00e9xito la educaci\u00f3n a distancia en l\u00ednea, sus instituciones tendr\u00e1n que reevaluar sus programas.\u00a0 Levy (2003) afirma que la Internet y el World Wide Web<\/em> han hecho que el proceso de lograr una educaci\u00f3n sin tener en cuenta el tiempo o el lugar es ahora m\u00e1s f\u00e1cil para el estudiante. Al mismo tiempo, han creado m\u00e1s retos para las universidades que ofrecen esta modalidad (Levy, 2003). En su revisi\u00f3n de la literatura, el autor encontr\u00f3 que seis factores deben ser considerados en la planificaci\u00f3n y el desarrollo de un programa de educaci\u00f3n a distancia en l\u00ednea. Estas seis \u00e1reas son: la visi\u00f3n y la misi\u00f3n, el curr\u00edculo, el apoyo al personal, el apoyo a los estudiantes, el aprendizaje de los estudiantes y la propiedad intelectual.<\/p>\n El tiempo que se invierte para planificar adecuadamente estas \u00e1reas ayudar\u00e1n en el uso efectivo y eficiente de sus recursos. Como parte de esa planificaci\u00f3n de un proyecto de educaci\u00f3n a distancia en l\u00ednea es la evaluaci\u00f3n de los procesos que se desarrollan y los productos que se espera. Sin embargo, la calidad y la orientaci\u00f3n de los procesos de evaluaci\u00f3n pueden dar resultados equivocados si no se calibran correctamente. Los administradores pueden creer que est\u00e1n realizando un trabajo de calidad y rigurosidad, para luego encontrarse con graves lagunas y desviaciones no contempladas. Una revisi\u00f3n sistem\u00e1tica de la literatura de programas a distancia en el \u00e1rea de nutrici\u00f3n y diet\u00e9tica identific\u00f3 la necesidad de estudios que eval\u00faen el dise\u00f1o, implantaci\u00f3n y m\u00e9todo de evaluaci\u00f3n de los mismos (Cohen, Carbone, & Beffa-Negrini, 2011). El objetivo de este art\u00edculo es describir la metaevaluaci\u00f3n realizada durante la implantaci\u00f3n de un programa de educaci\u00f3n a distancia en l\u00ednea en un programa de nutrici\u00f3n y diet\u00e9tica de nivel subgraduado.<\/p>\n \u00a0<\/strong><\/p>\n El proyecto Nutrition Live at UPR-RP<\/em> <\/strong><\/p>\n <\/p>\n El Programa de Nutrici\u00f3n y Diet\u00e9tica de la Universidad de Puerto Rico, Recinto de Rio Piedras es un programa \u00fanico en la Isla, creado en el 1930. Consta de cuatro a\u00f1os de estudio que incluye 16 cursos de educaci\u00f3n general, 10 cursos de pre-requisito con concentraci\u00f3n en ciencias, 19 cursos profesionales de concentraci\u00f3n y 10 cr\u00e9ditos de electivas libres. El Programa est\u00e1 acreditado por la Middle States Association of Colleges and Schools<\/em> y Accreditation Council for Education on Nutrition and Dietetics (ACEND)<\/em>.\u00a0 Est\u00e1 localizado en el \u00e1rea metropolitana de San Juan, en la parte noreste de la Isla. Para estudiantes que residen en otras \u00e1reas geogr\u00e1ficas puede ser necesario hospedaje y transportaci\u00f3n. En algunos casos, estudiantes viajan dos horas en cada direcci\u00f3n.<\/p>\n En la b\u00fasqueda para fortalecer tanto al Programa de Nutrici\u00f3n y Diet\u00e9tica como al perfil de la facultad se redact\u00f3 una propuesta para recibir fondos externos de un proyecto a distancia en l\u00ednea para ofrecer algunos de los cursos del curr\u00edculo a distancia. Se aprovech\u00f3 la coyuntura para incluir cursos con temas innovadores en el campo, como la Bio\u00e9tica, Nutrigen\u00f3mica y Seguridad de Alimentos. Se vislumbr\u00f3 que los cursos a distancia tambi\u00e9n facilitar\u00edan el que egresados del Programa pudieran repasar los conceptos para tomar los ex\u00e1menes de rev\u00e1lida y tambi\u00e9n para profesionales de la salud que quisieran obtener cr\u00e9ditos de educaci\u00f3n continua. El proyecto ten\u00eda la intenci\u00f3n de reducir la cantidad de tiempo que los estudiantes tendr\u00edan que pasar f\u00edsicamente en el Recinto, disminuir la necesidad de viajar diariamente para asistir a las clases y aumentar la oferta de cursos para satisfacer la demanda de estudiantes.<\/p>\n Cuando se cre\u00f3 el proyecto, la educaci\u00f3n a distancia se promov\u00eda en el Recinto como una metodolog\u00eda aceptada para satisfacer la creciente demanda de educaci\u00f3n superior en una manera costo-efectiva, es por esto que se decide redactar una propuesta para crear cursos a distancia en el Programa de Nutrici\u00f3n y Diet\u00e9tica. Se entend\u00eda que esta metodolog\u00eda pod\u00eda atraer a estudiantes, principalmente porque los cursos en l\u00ednea son m\u00e1s adecuados para los estudiantes que tienen su tiempo comprometido con trabajos y responsabilidad de la vida familiar (Howell, William y Lindsay, 2008; Rochester y Pradel, 2008).<\/p>\n \u00a0<\/strong><\/p>\n Marco conceptual<\/strong><\/p>\n \u00a0<\/strong><\/p>\n Como un primer paso, Spackman, Thorup & Howell (2015) se\u00f1alan la necesidad de un buen marco conceptual para la creaci\u00f3n de nuevos programas de educaci\u00f3n a distancia en l\u00ednea. Este marco debe tomar en consideraci\u00f3n los reglamentos del gobierno, los est\u00e1ndares de acreditaci\u00f3n y las tendencias de la competencia que coinciden con una disminuci\u00f3n en los fondos del gobierno y privados. \u00a0A pesar de la necesidad de una planificaci\u00f3n estrat\u00e9gica para implantar y desarrollar programas a distancia en l\u00ednea, los autores, reconocen que la implantaci\u00f3n de planificaci\u00f3n estrat\u00e9gica en el sector de la educaci\u00f3n es dif\u00edcil. Los dos obst\u00e1culos mayores que identificaron eran \u2018tiempo y recursos econ\u00f3micos\u2019.<\/p>\n Entre los primeros pasos en la creaci\u00f3n de programas a distancia en l\u00ednea, Rubin (2013), indica que debe haber una visi\u00f3n o modelo de trabajo consciente, claro y declarado. Dice que toda instituci\u00f3n de educaci\u00f3n superior, ya sea con fines o sin fines de lucro, sea privada o p\u00fablica, tiene un modelo de negocio, consciente o no. Un modelo de negocio no significa que la organizaci\u00f3n est\u00e1 dise\u00f1ada o funciona como un negocio tradicional con el objetivo de maximizar sus ganancias. Se refiere a la forma en que una organizaci\u00f3n cumpla con las necesidades de las personas, c\u00f3mo opera, c\u00f3mo se organiza para producir sus servicios y c\u00f3mo gestiona sus costos para mantener su solvencia.\u00a0 Incluso fundaciones y organizaciones sin fines de lucro tienen modelo de negocio, consciente o no.<\/p>\n Seg\u00fan Rubin (2013) hay cuatro elementos de un modelo de negocios que las instituciones deben tomar en consideraci\u00f3n para desarrollar sus proyectos acad\u00e9micos a distancia. Estas son: 1) la visi\u00f3n de c\u00f3mo atiende una necesidad curricular para los estudiantes; 2) los recursos que son utilizados por la organizaci\u00f3n, incluyendo a las personas, la tecnolog\u00eda; 3) los procesos utilizados para hacer el trabajo, administrar y organizar; y 4) la f\u00f3rmula de beneficios, o el dise\u00f1o de los controles de costos con el fin de pagar por los recursos utilizados.<\/p>\n Kumar y Dawson (2012) hicieron una extensa revisi\u00f3n de literatura y crearon una lista de cinco elementos que consideran cruciales para desarrollar programas a distancia en l\u00ednea. Estas son: 1) los programas en l\u00ednea deber\u00edan estar dise\u00f1ados bas\u00e1ndose en las mejores pr\u00e1cticas en relaci\u00f3n con el dise\u00f1o instruccional, las interacciones alumno-alumno, la presencia docente, la creaci\u00f3n de comunidades y los diferentes tipos de evaluaci\u00f3n; 2) la importancia de asegurar apoyo t\u00e9cnico y administrativo. Adem\u00e1s, todos los estudiantes deben tener acceso a las bases de datos y los recursos necesarios; 3) la carga de trabajo de la facultad se tiene que tomar en consideraci\u00f3n en la planificaci\u00f3n, implantaci\u00f3n y gesti\u00f3n de un programa a distancia en l\u00ednea. Adem\u00e1s sus actividades regulares de investigaci\u00f3n, de ense\u00f1anza y de servicios no se deben subestimar; 4) una sesi\u00f3n obligatoria de orientaci\u00f3n cara a cara o virtual en tiempo real debe ser incorporada al comienzo de un programa; 5) incluir un espacio virtual, no espec\u00edfico a un curso, sino que alberga todos los documentos del programa, permitiendo a los estudiantes y facultad a interactuar entre s\u00ed.<\/p>\n A pesar de lo que se\u00f1ala la literatura, han surgido otros proyectos que siguen otras rutas. Algunos con resultados negativos, como es el caso de la Universidad de Botswana en \u00c1frica.\u00a0 Masalela (2011) se\u00f1ala que su instituci\u00f3n embarc\u00f3 en un proyecto piloto de un programa a distancia, pero desafortunadamente, debido a un enfoque de “arriba hacia abajo”, no tuvo \u00e9xito. Un factor importante para este resultado fue la falta de una estrategia institucional que estuviera fundamentada en una visi\u00f3n compartida entre todas las partes que componen la instituci\u00f3n. Pero lo m\u00e1s contundente de su an\u00e1lisis es que se puede atribuir a la ausencia de una evaluaci\u00f3n de la viabilidad del proyecto en t\u00e9rminos de los recursos, actitudes de facilitadores y preparaci\u00f3n de los usuarios.<\/p>\n Masalela lleg\u00f3 a sus conclusiones al observar que la transici\u00f3n hacia el aprendizaje en l\u00ednea no fue de forma gradual. Ella se\u00f1ala que es casi imposible hacer la transici\u00f3n hacia el aprendizaje en l\u00ednea sin una estrategia institucional que gu\u00eda la implantaci\u00f3n. Su instituci\u00f3n necesitaba una estrategia administrativa para el aprendizaje en l\u00ednea que pudiese articular las pol\u00edticas y los planes de implantaci\u00f3n. Hab\u00eda que animar a los profesores a participar activamente en el dise\u00f1o e implantaci\u00f3n de los procesos de educaci\u00f3n a distancia, en lugar de imponerlo. Su an\u00e1lisis presenta que no aseguraron el que los profesores estuviesen c\u00f3modos utilizando las tecnolog\u00edas de aprendizaje en l\u00ednea y reconocer su viabilidad como una estrategia para fomentar la interacci\u00f3n entre las partes.\u00a0 Indica que iniciativas de formaci\u00f3n sobre c\u00f3mo ense\u00f1ar con la tecnolog\u00eda eran primordiales. La falta de un plan estrat\u00e9gico institucional para el aprendizaje en l\u00ednea result\u00f3 en incertidumbre entre los profesores, las controversias pedag\u00f3gicas, la falta de seguimiento y la falta del compromiso institucional. Todos estos fueron factores que llevaron al fracaso de este programa.<\/p>\n En el caso de la Universidad de Puerto Rico, Recinto de R\u00edo Piedras, el contexto institucional al crear el programa fue distinto al contexto durante su implantaci\u00f3n. Esto provoc\u00f3 la nueva mirada al plan de evaluaci\u00f3n.<\/p>\n <\/p>\n Recursos y contexto de la educaci\u00f3n a distancia en la Universidad de Puerto Rico<\/strong><\/p>\n \u00a0<\/strong><\/p>\n Un programa de educaci\u00f3n a distancia en l\u00ednea debe tomar en cuenta el apoyo institucional que permita la implantaci\u00f3n y apoyo a la facultad y al estudiantado.\u00a0 La propuesta de este proyecto se desarrolla cuando el Recinto contaba con la Oficina de Recursos para la Ense\u00f1anza e Investigaci\u00f3n (OREI) encargada de la infraestructura tecnol\u00f3gica. El prop\u00f3sito de esta oficina era brindar apoyo tecnol\u00f3gico a los profesores y desarrollo de destrezas en el uso efectivo de herramientas basadas en las Tecnolog\u00edas de la Informaci\u00f3n y las Comunicaciones. OREI interesaba proyectar al Recinto de R\u00edo Piedras como uno de vanguardia en el uso de tecnolog\u00edas innovadoras en las experiencias de aprendizaje de los estudiantes.\u00a0 Adem\u00e1s, interesaba propiciar el uso efectivo de la tecnolog\u00eda por parte de la facultad en diversos ambientes de aprendizaje.\u00a0 OREI cre\u00f3 el Programa de Capacitaci\u00f3n de la Facultad en el Recinto de R\u00edo Piedras para articular el desarrollo de nuevas pr\u00e1cticas educativas utilizando la tecnolog\u00eda. Este programa pretend\u00eda que todo profesor que integrara tecnolog\u00edas en el proceso de ense\u00f1anza-aprendizaje recibir\u00eda una orientaci\u00f3n especializada en el desarrollo e implantaci\u00f3n del Dise\u00f1o Instruccional.\u00a0 OREI defini\u00f3 Dise\u00f1o Instruccional como un proceso planificado y sistem\u00e1tico que permit\u00eda al profesor reflexionar sobre su pr\u00e1ctica con \u00e9nfasis en lo que se debe de ense\u00f1ar y lo que el estudiante debe aprender. De esta forma, quer\u00eda garantizar el desarrollo de experiencias de aprendizajes significativas en los estudiantes con la integraci\u00f3n de metodolog\u00edas apropiadas y usos adecuados de la tecnolog\u00eda\u201d.\u00a0 Los componentes de OREI eran: Tecnolog\u00eda Instruccional, Integraci\u00f3n en la Ense\u00f1anza, Apoyo a la Investigaci\u00f3n Acad\u00e9mica y Nuevos Desarrollos.<\/p>\n El Recinto adem\u00e1s buscaba establecer pol\u00edticas institucionales de educaci\u00f3n a distancia en l\u00ednea y por tanto exist\u00edan varias iniciativas y programas para fomentarlo. Para el 2003 el Recinto contaba con un inventario de 2,959 espacios en Blackboard<\/em> y alrededor de 54,045 usuarios.\u00a0 Tambi\u00e9n se utilizaba VClass<\/em> que era una plataforma que permit\u00eda a los profesores grabar sus clases para que los estudiantes pudieran accederlas a trav\u00e9s de la tecnolog\u00eda del video streaming<\/em> (flujo de v\u00eddeo continuo) y dejarlas disponible a los estudiantes a trav\u00e9s del Web<\/em> sin ninguna intervenci\u00f3n de personal t\u00e9cnico.\u00a0 Se ofrec\u00eda adem\u00e1s a trav\u00e9s de la Divisi\u00f3n de Tecnolog\u00edas el dise\u00f1o y producci\u00f3n de material gr\u00e1fico en formato digital para ser integrados al proceso de ense\u00f1anza-aprendizaje. Se ofrec\u00eda asesor\u00eda en la utilizaci\u00f3n de im\u00e1genes gr\u00e1ficas en formato digital para presentaciones que ser\u00e1n utilizadas como recursos instruccionales y orientar a los profesores en las diferentes etapas de producci\u00f3n: Pre-producci\u00f3n, Producci\u00f3n y Pos-producci\u00f3n.<\/p>\n Con todos los recursos disponibles y con un plan de evaluaci\u00f3n que detallaba los objetivos y sus m\u00e9tricas se someti\u00f3 la propuesta a la National Institute of Food and Agriculture. La propuesta fue aprobada, pero al iniciar las operaciones, hubo unos cambios en la administraci\u00f3n del Recinto que alter\u00f3 las estructuras de apoyo con que contaba el proyecto. Esto provoc\u00f3 una nueva mirada a los objetivos y la forma de evaluarlos. Por eso, hubo una necesidad de hacer una metaevaluaci\u00f3n.<\/p>\n <\/p>\n Metaevaluaci\u00f3n<\/strong><\/p>\n <\/p>\n La pregunta fundamental que gu\u00edo la metaevaluaci\u00f3n fue: \u00bfel plan de evaluaci\u00f3n original es adecuado para guiar el recogido y an\u00e1lisis de la implantaci\u00f3n actual del proyecto? Para contestar esta pregunta, se desarrollaron las siguientes sub-preguntas de investigaci\u00f3n basadas en los resultados esperados: \u00bfha cambiado la forma de obtener y analizar los datos relacionados a la mejora de la ense\u00f1anza como consecuencia de los cursos a distancia? \u00bfa\u00fan se puede obtener y analizar los datos relacionados a la experiencia de los estudiantes en los cursos a distancia? \u00bfA\u00fan se puede obtener y analizar los datos relacionados a la reducci\u00f3n del tiempo y los costos para los futuros estudiantes por motivo de los cursos a distancia? \u00bfa\u00fan se puede obtener y analizar los datos relacionados a los beneficios en el uso de los recursos de c\u00f3digo abierto por otros programas o instituciones por estar disponibles a trav\u00e9s de una biblioteca virtual en la p\u00e1gina web del proyecto? \u00bfse puede obtener y analizar los datos relacionados a la infraestructura para ofrecer seminarios y otras actividades de educaci\u00f3n a distancia para el beneficio de todo el Recinto? \u00bfse puede obtener y analizar los datos relacionados al mercadeo para atraer estudiantes a trav\u00e9s de la p\u00e1gina web del proyecto?<\/p>\n Para la metaevaluaci\u00f3n, se aplicaron los est\u00e1ndares profesionales de Joint Committee on Standards for Educational Evaluation<\/em> (JCSEE, 2011).\u00a0 Estos est\u00e1ndares proporcionaron la herramienta para realizar un examen cr\u00edtico de la relaci\u00f3n entre los objetivos del programa a distancia y las actividades para evaluarla. Las normas de la JCSEE se componen de 30 est\u00e1ndares que a su vez se agrupan en cinco atributos claves relacionadas a la calidad: utilidad, viabilidad, pertinencia, precisi\u00f3n y justificaci\u00f3n.\u00a0 Aunque estos 30 est\u00e1ndares cubren las \u00e1reas que los expertos han determinado que son fundamentales para una evaluaci\u00f3n de la calidad, la Comisi\u00f3n tambi\u00e9n reconoce que el uso completo de los 30 est\u00e1ndares puede ser excesivamente complicado debido a su amplitud. Por lo tanto, crearon unas tablas funcionales<\/em> que gu\u00edan el uso de los est\u00e1ndares para tareas espec\u00edficas. Algunas de estas tablas son: el dise\u00f1o de la evaluaci\u00f3n y la recolecci\u00f3n de la informaci\u00f3n. En el caso de este estudio en particular, se utiliz\u00f3 la tabla: administraci\u00f3n de la evaluaci\u00f3n<\/em>.<\/p>\n Esta tabla agrup\u00f3 15 de los 30 est\u00e1ndares de la JCSEE. Estas son: credibilidad del evaluador, atenci\u00f3n a los impactados, procesos y productos con sentido, comunicaci\u00f3n y reportes apropiados y a tiempo, gerencia del proyecto, procedimientos pr\u00e1cticos, viabilidad contextual, uso de recursos, claridad y balance, transparencia y publicaci\u00f3n, conflictos de inter\u00e9s, responsabilidad fiscal, conclusiones justificadas, y documentaci\u00f3n de la evaluaci\u00f3n.<\/p>\n El uso de estos est\u00e1ndares implicar\u00eda un entendimiento cabal de los m\u00e9ritos del proyecto, que l\u00f3gicamente es el prop\u00f3sito de una evaluaci\u00f3n de esta naturaleza.<\/p>\n <\/p>\n Recolecci\u00f3n de datos<\/strong><\/p>\n <\/p>\n Los primeros dos cursos comenzaron a ofrecerse en el verano del 2012 y se matricularon un total de 35 estudiantes. Los dos cursos eran cursos requisitos del curr\u00edculo del Programa y se ofrec\u00edan regularmente cada semestre. Se continu\u00f3 la oferta de los cursos a distancia en l\u00ednea en el primer semestre del a\u00f1o acad\u00e9mico 2012-2013 y durante los siguientes veranos hasta el verano del 2014. Al inicio de cada curso se inclu\u00eda un cuestionario de autoevaluaci\u00f3n de la preparaci\u00f3n para el aprendizaje a distancia en el cual se identificaba la percepci\u00f3n del estudiante sobre sus destrezas de tecnolog\u00eda y percepci\u00f3n del curso. Al finalizar el curso se administraba la evaluaci\u00f3n de curso y profesor utilizada en todos los cursos del Programa. Cada curso estaba integrado en el plan de aval\u00fao del aprendizaje estudiantil en el cual se mide el cumplimiento con los objetivos de aprendizaje seg\u00fan lo establece la agencia acreditadora ACEND.\u00a0 Durante el \u00faltimo a\u00f1o del proyecto se realiz\u00f3 un estudio tipo cuantitativo y cualitativo utilizando un cuestionario para evaluar el ambiente de aprendizaje en los cursos a distancia (Creswell, 2012) y seis grupos focales con estudiantes que hab\u00edan participado de los cursos a distancia.<\/p>\n
![\"table-1\"](\"http:\/\/hets.org\/ejournal\/files\/2016\/11\/Table-1.jpg\")
<\/a>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 1<\/sup> Cuestionario se administr\u00f3 a 60 participantes durante el \u00faltimo a\u00f1o del proyecto.<\/p>\n