{"id":254,"date":"2014-07-30T14:25:54","date_gmt":"2014-07-30T14:25:54","guid":{"rendered":"http:\/\/hets.org\/ejournal\/?p=254"},"modified":"2014-10-28T19:44:06","modified_gmt":"2014-10-28T19:44:06","slug":"metaevaluando-programas-de-educacion-a-distancia","status":"publish","type":"post","link":"https:\/\/hets.org\/ejournal\/metaevaluando-programas-de-educacion-a-distancia\/","title":{"rendered":"Metaevaluando Programas de Educaci\u00f3n a Distancia"},"content":{"rendered":"

By: Dr. Juan Mel\u00e9ndez<\/span><\/p>\n

Full Professor
\nUniversity of Puerto Rico, R\u00edo Piedras Campus
\nConsultant, Ana G. M\u00e9ndez University System, Virtual Campus<\/span><\/p>\n

\u00a0<\/span><\/p>\n

\u00a0<\/span><\/p>\n

\u00a0<\/span><\/p>\n

Introducci\u00f3n<\/span><\/strong><\/p>\n

El mundo ha cambiado y con ella la necesidad de cambiar la forma en que educamos a nuestros ciudadanos. Las escuelas y universidades no puedan funcionar de la misma manera como lo han hecho por los \u00faltimos 50 a\u00f1os. La internacionalizaci\u00f3n y la crisis econ\u00f3mica mundial nos obliga a cambiar, y las nuevas tecnolog\u00edas han revolucionado la forma de transformarnos.<\/span><\/p>\n

Estos cambios explican por qu\u00e9 muchos pa\u00edses del mundo, como Puerto Rico, est\u00e1n luchando por encontrar su lugar en una nueva econom\u00eda del conocimiento. En los \u00faltimos a\u00f1os, se ha informado en los medios de comunicaci\u00f3n, sobre muchas pol\u00edticas, leyes y proyectos, que se promueven con la esperanza de pasar sus pa\u00edses en esta nueva econom\u00eda. Por ejemplo, en el Reino Unido, el\u00a0Department for Business Innovation and Skills<\/em>\u00a0(2011) propuso nuevas pol\u00edticas sobre el futuro de la educaci\u00f3n superior, que en esencia ofreci\u00f3 cambios dram\u00e1ticos en la forma en que el pa\u00eds educar\u00e1 a los estudiantes y financiar sus instituciones educativas. En Puerto Rico, se debate sobre las formas m\u00e1s apropiadas para desarrollar la econom\u00eda, y conjuntamente se debate como las universidades deben establecer unos curr\u00edculos del siglo 21, que contengan est\u00e1ndares altos y con evaluaciones rigurosas. Pero \u00bfc\u00f3mo se implantar\u00e1 este curr\u00edculo? \u00bfC\u00f3mo se evaluar\u00e1? Esta \u00faltima pregunta es lo que motiv\u00f3 el inicio este proyecto de investigaci\u00f3n.<\/span><\/p>\n

En un estudio auspiciado por el Consejo Educaci\u00f3n Superior de Puerto Rico (Mel\u00e9ndez, Castro, S\u00e1nchez, Vantagiatto y Betancourt, 2007) se encontr\u00f3 que la educaci\u00f3n a distancia era la innovaci\u00f3n m\u00e1s com\u00fan en la educaci\u00f3n superior de Puerto Rico. Esta clasificaci\u00f3n de\u00a0innovaci\u00f3n<\/em>\u00a0s\u00f3lo significaba que era nueva en la escena, pero esto no se garantiza que la educaci\u00f3n a distancia se orientaba hacia un curr\u00edculo del siglo 21. Usando el marco conceptual de\u00a0innovaci\u00f3n<\/em>\u00a0de Christensen y Eyring (2011), se podr\u00e1 decir que la educaci\u00f3n a distancia tiene el potencial de interrumpir la educaci\u00f3n asociada con el siglo 20. Por esta raz\u00f3n, el presente proyecto de investigaci\u00f3n se orient\u00f3 a comprender sistem\u00e1ticamente c\u00f3mo se eval\u00faa la educaci\u00f3n a distancia en el \u00e1mbito universitario.<\/span><\/p>\n

Este estudio no evalu\u00f3 directamente la calidad de la ense\u00f1anza y el aprendizaje. M\u00e1s bien, concentr\u00f3 en evaluar los modelos, m\u00e9todos y criterios utilizados en el proceso de evaluaci\u00f3n de programas -que a vez deben juzgar la calidad en el proceso de ense\u00f1anza y aprendizaje. La investigaci\u00f3n se bas\u00f3 en dos preguntas de investigaci\u00f3n: (1) \u00bfCu\u00e1les son las caracter\u00edsticas de los modelos, las metodolog\u00edas y los criterios de evaluaci\u00f3n exitosos que son apropiados para los programas de educaci\u00f3n a distancia? y (2) \u00bfCu\u00e1les son los modelos de evaluaci\u00f3n, la metodolog\u00eda y criterios de evaluaci\u00f3n que se utilizan en los programas de educaci\u00f3n a distancia en Puerto Rico?<\/span><\/p>\n

Un estudio cr\u00edtico<\/strong><\/p>\n

La\u00a0American Association for Higher Education<\/em>\u00a0(1996) expres\u00f3 su preocupaci\u00f3n por el estado actual de las evaluaciones de los alumnos al afirmar que:<\/span><\/p>\n

La evaluaci\u00f3n no es un fin en s\u00ed mismo sino un medio para la mejora educativa. Su pr\u00e1ctica efectiva comienza con clarificar la visi\u00f3n de los tipos de aprendizaje que m\u00e1s se valora para los estudiantes y luego ayuda a alcanzarlos. Los valores educativos deben conducir no s\u00f3lo a lo que elegimos evaluar, sino tambi\u00e9n c\u00f3mo lo haremos. Si obviamos las preguntas sobre la misi\u00f3n y los valores educativos, existe la amenaza de que la evaluaci\u00f3n se convierta en ser un ejercicio que mida lo que es f\u00e1cil, en vez de un proceso que mejore de lo que es realmente importante (p. 1).<\/p>\n

Esta b\u00fasqueda de las mejores pr\u00e1cticas de evaluaci\u00f3n est\u00e1 relacionada a la preocupaci\u00f3n por la calidad que tienen los educadores, el gobierno y el p\u00fablico en general. Por eso, se han establecido normas, principios y valores para garantizar las mejores experiencias posibles en los programas de educaci\u00f3n a distancia. Una forma com\u00fan de asegurar su calidad es a trav\u00e9s del proceso de acreditaci\u00f3n. De hecho, Wang (2006) afirma que los puntos de referencia m\u00e1s comunes para medir la calidad de la educaci\u00f3n son tradicionalmente suministrada por las agencias de acreditaci\u00f3n a nivel regional y nacional. Shelton (2011) confirma esto cuando dice que:<\/p>\n

La garant\u00eda de calidad y la rendici\u00f3n de cuentas de las instituciones de educaci\u00f3n superior en los Estados Unidos se han abordado principalmente por los acreditadores regionales y organizaciones de acreditaci\u00f3n disciplinas espec\u00edficas como la\u00a0Association to Advance Collegiate Schools of Business<\/em>\u00a0(AACSB) para programas de administraci\u00f3n de empresas, y la\u00a0National Council for Accreditation of Teacher Education<\/em>\u00a0(NCATE) para programas de educaci\u00f3n y la certificaci\u00f3n de maestros. Agencias de acreditaci\u00f3n regionales enfatizan el proceso de revisi\u00f3n con los informes de autoevaluaci\u00f3n de las instituciones, que deben demostrar que cumplen con las normas establecidas (por ejemplo, las credenciales de la facultad, el desempe\u00f1o financiero, la satisfacci\u00f3n de los estudiantes, y el logro de resultados de aprendizaje). Las agencias de acreditaci\u00f3n regionales tambi\u00e9n tienen directrices y criterios de evaluaci\u00f3n para los programas de educaci\u00f3n a distancia (p. 1).<\/p>\n

En cuanto a la acreditaci\u00f3n, hay dos est\u00e1ndares destacados. Uno es el\u00a0Council of Regional Accrediting Commissions standards.\u00a0<\/em>Best Practices for Electronically Offered Degrees and Certificate Programs (2002)<\/em>. Sus componentes son: (a) el contexto institucional y el compromiso demostrado, (b) el curr\u00edculo y el proceso de instrucci\u00f3n, (c) el apoyo de los profesores, (d) el apoyo a los estudiantes, y (e) la evaluaci\u00f3n y el aval\u00fao. Cabe se\u00f1alar que este quinto componente, relativo a la evaluaci\u00f3n y el aval\u00fao consiste en documentar el rendimiento realizado de los estudiantes en cada curso y al final del programa mediante la comparaci\u00f3n con el rendimiento esperado. El componente tambi\u00e9n es para asegurar la confidencialidad del trabajo realizado por cada alumno y como se guarda la informaci\u00f3n personal mientras se difunden los resultados agregados. Esta norma promueve la auto-evaluaci\u00f3n pertinente para mejorar el programa, el uso m\u00e1s eficaz de las tecnolog\u00edas para mejorar la pedagog\u00eda, y el entendimiento del rendimiento de los estudiantes cuando se compara con los resultados esperados. Los datos deben ser observables en \u00e1reas como la mejora de las tasas de retenci\u00f3n, el uso eficaz de los recursos, y servicios mejorados a sus grupos internos y externos.<\/p>\n

Otra norma com\u00fan proviene de la\u00a0Council for Higher Education Accreditation (Accreditation and Assuring Quality in Distance Education (2002).<\/em>\u00a0Estas normas son las siguientes: (a) la misi\u00f3n institucional, (b) la organizaci\u00f3n institucional, (c) los recursos institucionales, (d) curr\u00edculo e instrucci\u00f3n, (e) apoyo de los profesores, (f) apoyo a los estudiantes, y (g) los resultados de aprendizaje de los estudiantes. Cabe se\u00f1alar que otra norma importante es del\u00a0Consorcio Sloan<\/em>(Bourne & Moore, 2003), que son: (a) la efectividad del aprendizaje, (b) el acceso, (c) la satisfacci\u00f3n del estudiante, (d) la satisfacci\u00f3n del profesorado, y (e) su costo-efectividad. Sin embargo, estas normas son vistas m\u00e1s como gu\u00edas de implantaci\u00f3n que gu\u00edas de evaluaci\u00f3n.<\/p>\n

El uso de cualquiera de estas normas de calidad tambi\u00e9n debe implicar la existencia de un sistema de planificaci\u00f3n institucional y un proceso de implementaci\u00f3n. L\u00f3gicamente, la planificaci\u00f3n y la ejecuci\u00f3n correcta de estos procesos deben ser evaluados adecuadamente, y este es el papel de los est\u00e1ndares profesionales de evaluaci\u00f3n, tales como las propuestas por el\u00a0Joint Committee on Standards for Educational Evaluation<\/em>\u00a0(JCSEE, 2011).<\/span><\/p>\n

El papel de los est\u00e1ndares de la JCSEE (2011) es fundamental en este proyecto de investigaci\u00f3n, proporcionando una herramienta para realizar un examen cr\u00edtico de la relaci\u00f3n entre el concepto de calidad o excelencia acad\u00e9mica con los programas de educaci\u00f3n a distancia. El enfoque de este estudio cuestiona las ideas tradicionales sobre la obtenci\u00f3n de la calidad en la educaci\u00f3n a distancia. Este estudio cuestiona tambi\u00e9n la pr\u00e1ctica de discutir la excelencia en t\u00e9rminos de est\u00e1ndares de implantaci\u00f3n (y muchos de ellos han surgido en el campo de la educaci\u00f3n a distancia) que te\u00f3ricamente evita problemas y presenta la visi\u00f3n de equiparar la excelencia educativa con un proceso de evaluaci\u00f3n basado en est\u00e1ndares para identificar y corregir los problemas reales que ocurren. En otras palabras, este estudio desaf\u00eda la visi\u00f3n dominante que hace hincapi\u00e9 en la aplicaci\u00f3n de normas de calidad \u2013en la implantaci\u00f3n, y propone una nueva forma de pensar acerca de dichas normas mediante la evaluaci\u00f3n de las evaluaciones. Esto implica un cuestionamiento directo de la distancia de la pr\u00e1ctica profesional docente com\u00fan.<\/p>\n

Cabe se\u00f1alar que la idea de utilizar los est\u00e1ndares de la JCSEE para evaluar un programa en un contexto internacional no es radical. Magno (2009) informa de su uso exitoso en las Filipinas. Lo que hace este estudio \u00fanico es que se est\u00e1 aplicando para una meta-evaluaci\u00f3n a una escala nacional.<\/p>\n

Revisi\u00f3n de literatura<\/strong><\/p>\n

Bloom (2003) de la\u00a0Organizational Effectiveness and Learning at The Conference Board of Canada<\/em>\u00a0observ\u00f3 una tendencia general en las iniciativas de e-learning, y anunci\u00f3 que los cursos y programas que no se eval\u00faan adecuadamente. Cuando existen procesos de evaluaci\u00f3n, Wang (2006) se\u00f1al\u00f3 que los modelos de evaluaci\u00f3n var\u00edan. En su opini\u00f3n, las pr\u00e1cticas actuales de evaluaci\u00f3n sobre el rendimiento acad\u00e9mico de los estudiantes en los programas en l\u00ednea se pueden dividir en dos paradigmas: (1) evaluaci\u00f3n asociacionista o conductista basado, con \u00e9nfasis en las mediciones cuantitativas, y (2) la evaluaci\u00f3n cognitiva o constructivista basado en un \u00e9nfasis en mediciones cualitativas. La primera concentra en los resultados de aprendizaje mientras que el segundo concentra en las interacciones durante el proceso de aprendizaje. Aunque existen esfuerzos minimalistas, Zhao (2003) considera que la mejora de la calidad y la eficacia de la educaci\u00f3n superior en l\u00ednea requiere de un marco integrado, equilibrado, estrat\u00e9gico y orientado a mejorar la calidad de la medici\u00f3n (p. 215). Este enfoque aboga por el uso de m\u00e9todos mixtos de evaluaci\u00f3n.<\/p>\n

Para comprender las posibles pr\u00e1cticas adecuadas de evaluaci\u00f3n en el campo de la educaci\u00f3n a distancia, se consult\u00f3 a cinco obras importantes:\u00a0Evaluation in distance education and e-learning por Ruhe & Zumbo (2009), Assessing the online learner por Palloff & Pratt (2009), Evaluating e-learning por Phillips, McNaught & Kennedy (2012), Evaluating distance education: The student perspective por Henckell (2007) y Gu\u00eda de autoevaluaci\u00f3n para programas por CALED (2010)<\/em>. Todos los autores de estos trabajos coinciden en que un enfoque profesional, tal como se define por el campo de la evaluaci\u00f3n, debe prevalecer.<\/span><\/p>\n

Afirman Ruhe y Zumbo (2009) que las mejores evaluaciones son las abarcadoras, es decir que deben proporcionar ideas sobre (1) el proceso o curso de ejecuci\u00f3n, (2) todos los efectos, intencionales o no, positivos y negativos, y (3) los subyacente valores (p. vi). Sin embargo, sostienen que un problema com\u00fan en el campo de la educaci\u00f3n a distancia es que las evaluaciones se llevan a cabo por los educadores a distancia como una tarea adicional y no por evaluadores profesionales. Este problema se manifiesta en tres preocupaciones recurrentes cuando se eval\u00faa un programa profesionalmente: el recogido de evidencias cient\u00edficamente aceptables, el an\u00e1lisis de los valores subyacentes y la comunicaci\u00f3n de las consecuencias no deseadas” (p. vii). Por lo tanto, el enfoque de evaluaci\u00f3n que Ruhe y Zumbo proponen en su modelo \u201cva m\u00e1s all\u00e1 de las encuestas de satisfacci\u00f3n estudiantil\u201d (p. 2).<\/p>\n

Mientras tanto, Palloff y Pratt (2009) presentan una visi\u00f3n diferente sobre la evaluaci\u00f3n de los programas de educaci\u00f3n a distancia. Ellos recomiendan como una pr\u00e1ctica buena que las evaluaciones deben partir de las competencias que se pretendan desarrollar. De acuerdo con este punto de vista, una buena evaluaci\u00f3n busca, analiza y reporta el tipo de alineamiento que existe entre los perfiles de los estudiantes, las competencias program\u00e1ticas, los resultados del curso y los objetivos de las unidades.<\/p>\n

Phillips, McNaught & Kennedy (2012) tambi\u00e9n ponen un \u00e9nfasis en los resultados del aprendizaje del estudiante, aunque lo buscan tomando en consideraci\u00f3n el ambiente que el educador construye para lograr dichos resultados. Para evaluar el aprendizaje, recomiendan el uso de m\u00e9todos mixtos de forma apropiada. Por su complejidad, esta evaluaci\u00f3n tiene que ser rigurosa.<\/p>\n

La gu\u00eda que propone CALED (2010) fue desarrollada de forma colectiva y representa el insumo de una gran cantidad de educadores latinoamericanos a distancia. La experiencia de estos educadores indica que es necesario tener criterios claros. Estos criterios no funcionan de forma aislada, y deben ser ver analizados de forma hol\u00edstica. El modelo enfatiza que el an\u00e1lisis debe basarse en evidencias concretas y variadas.<\/p>\n

Aunque la revisi\u00f3n de la literatura ha demostrado la existencia de diferentes modelos de evaluaci\u00f3n, un tema recurrente es que el campo de la evaluaci\u00f3n ha madurado y es lo suficientemente robusto como para cubrir adecuadamente el campo de la educaci\u00f3n a distancia. Desde esta perspectiva, una de las publicaciones claves que guiaron este estudio fue un texto muy reconocido en el campo de la evaluaci\u00f3n:\u00a0Evaluation theory, models and applications<\/em>\u00a0de Stufflebeam y Shinkfield (2007). El texto revel\u00f3 que este estudio se clasificaba como una metaevaluaci\u00f3n. El libro tambi\u00e9n valid\u00f3 la necesidad de aclarar las normas que deben utilizarse para guiar el proceso de metaevaluaci\u00f3n. Estas normas deben servir como base para un entendimiento claro y com\u00fan de los criterios que se utilizar\u00e1n en la evaluaci\u00f3n. Los autores afirman que \u201csin normas que definen el servicio de evaluaci\u00f3n aceptable, la credibilidad de los procedimientos de evaluaci\u00f3n, resultados o informes estar\u00e1n en duda\u201d (p. 81). Stufflebeam y Shinkfield recomienda el uso de los est\u00e1ndares del\u00a0Joint Committee on Standards for Educational Evaluation<\/em>\u00a0(JCSEE ).<\/span><\/p>\n

Otra obra importante que se tom\u00f3 en cuenta para la metaevaluaci\u00f3n, es de un l\u00edder reconocido en el campo: Michael Scriven. Su trabajo ofrece un marco interesante relativo a la evaluaci\u00f3n de las evaluaciones. En\u00a0Meta-Evaluation Checklist<\/em>\u00a0(2011), ofrece un marco conceptual que propone una respuesta a la pregunta: \u00bfCu\u00e1les son los criterios meritorios para una evaluaci\u00f3n en cualquier campo, incluyendo la evaluaci\u00f3n de programas? En su lista, Scriven presenta seis criterios: (1) Validez: Este abarca varias preguntas, incluyendo si la evaluaci\u00f3n cumple sus requisitos, c\u00f3mo cumple, si los resultados son ciertos, si es confiable, y si est\u00e1 completa. (2) Claridad: Se trata principalmente sobre la comprensi\u00f3n de los informes por parte del p\u00fablico. Tambi\u00e9n trata sobre la redacci\u00f3n concisa. (3) Credibilidad: Esto se refiere a la confiabilidad de las fuentes, la atenci\u00f3n a la posibilidad de alg\u00fan sesgo y la experiencia del evaluador. (4) Correcci\u00f3n: Se trata sobre cuestiones de \u00e9tica y la legalidad. Pero Scrivens tambi\u00e9n se\u00f1ala la importancia de los contratos, la privacidad, la explotaci\u00f3n, el consentimiento informado, y la adecuacidad cultural. (5) Costo-Utilidad: Esto es algo m\u00e1s que una cuesti\u00f3n de costos. Es una cuesti\u00f3n de beneficios tambi\u00e9n. (6) Generalizaci\u00f3n: Este punto es algo que Scrivens considera una ventaja, pero no es un requisito. Aunque estos criterios demostraron ser valiosos, no fueron lo suficientemente espec\u00edficos para guiar el presente estudio. Muchos factores est\u00e1n involucrados, y se requer\u00eda unas gu\u00edas m\u00e1s espec\u00edficas para concentrar los esfuerzos en las \u00e1reas claves.<\/p>\n

Esta investigaci\u00f3n, recogi\u00f3 la recomendaci\u00f3n de Stufflebeam y Shinkfield (2007) de utilizar el\u00a0Program evaluation standards,<\/em>\u00a0del\u00a0Joint Committee on Standards for Educational Evaluation<\/em>\u00a0(JCSEE). Estos est\u00e1ndares fueron desarrollados por un conjunto de 17 organizaciones que se especializa en la evaluaci\u00f3n. Algunas de estas organizaciones son: American Educational Research Association, American Evaluation Association, Canadian Evaluation Society, National Council of Measurement in Education, Canadian Society for the Study of Education.<\/span><\/p>\n

Estas normas de evaluaci\u00f3n de programas se componen de 30 est\u00e1ndares que a su vez se agrupan en cinco atributos claves relacionadas a la calidad:\u00a0utilidad<\/strong>,\u00a0viabilidad<\/strong>\u00a0(o razonabilidad),\u00a0legitimidad<\/strong>\u00a0(o pertinencia),\u00a0precisi\u00f3n<\/strong>\u00a0y\u00a0justificaci\u00f3n<\/strong>(o rendici\u00f3n de cuentas). Estos cinco atributos son similares a los seis criterios de Scriven en su lista de meta-evaluaci\u00f3n (2011). Aunque estos 30 est\u00e1ndares cubren las \u00e1reas que los expertos han determinado que son fundamentales para una evaluaci\u00f3n de la calidad, la Comisi\u00f3n tambi\u00e9n reconoce que el uso completo de los 30 est\u00e1ndares puede ser excesivamente complicado debido a su amplitud. Por lo tanto, crearon\u00a0Tablas funcionales<\/em>\u00a0que gu\u00edan el uso de los est\u00e1ndares para tareas espec\u00edficas. Algunas de estas tablas son: El dise\u00f1o de la evaluaci\u00f3n y la recolecci\u00f3n de la informaci\u00f3n. En el caso de este estudio en particular, se utilizaron dos tablas funcionales particulares: describiendo el programa y administraci\u00f3n de la evaluaci\u00f3n. Entre las dos tablas, se utilizaron 21 de los 30 est\u00e1ndares.<\/p>\n

A trav\u00e9s de la revisi\u00f3n de la literatura, se hizo evidente que hay un elemento de gradaci\u00f3n en relaci\u00f3n a los m\u00faltiples criterios y m\u00e9todos utilizados para evaluar los cursos y programas de educaci\u00f3n a distancia. Por ejemplo, los indicadores de Zhao Lei, Lai & Tan (2005) para medir la efectividad de la educaci\u00f3n a distancia fueron: las notas, la satisfacci\u00f3n de los estudiantes, la satisfacci\u00f3n del profesorado y los resultados en los ex\u00e1menes estandarizados. Strother (2002) por su parte encontr\u00f3 que el 95 por ciento de las instituciones encuestadas s\u00f3lo mide las reacciones de los estudiantes a los cursos (por ejemplo, lo mucho que les gustaba el curso). S\u00f3lo el tres por ciento hizo un verdadero esfuerzo en medir los resultados de aprendizaje de los estudiantes. Ellos evaluaron elearning en cinco niveles progresivos:\u00a0Nivel I<\/em>\u00a0que med\u00eda las reacciones de los alumnos al curso.\u00a0Nivel II<\/em>\u00a0med\u00eda lo que aprendieron. Mide el\u00a0Nivel III<\/em>los cambios en el comportamiento. El\u00a0Nivel IV<\/em>\u00a0med\u00eda los resultados producidos debido a un funcionamiento diferente; y el Nivel V med\u00eda la rentabilidad de la inversi\u00f3n (\u201cReturn on Investment\u201d), que es el costo-beneficio de un curso.<\/p>\n

Metodolog\u00eda<\/strong><\/p>\n

El objetivo de este estudio fue examinar los planes de evaluaci\u00f3n institucional de los principales programas de educaci\u00f3n a distancia en Puerto Rico. Como se dijo anteriormente, este tipo de estudio se denomina\u00a0metaevaluaci\u00f3n<\/em>, ya que es una evaluaci\u00f3n de los planes de evaluaci\u00f3n.<\/p>\n

En la primera fase del estudio, el investigador principal convoc\u00f3 un panel de tres expertos y pidi\u00f3 que produjeran una lista de las cinco mejores universidades de Puerto Rico que ofrec\u00edan programas de educaci\u00f3n a distancia. Sus listas combinadas ofrecieron un total de siete instituciones. Tres instituciones aparecieron en las tres listas, dos instituciones fueron mencionadas en solo dos listas, y dos aparecieron solas una lista. Una de las instituciones que apareci\u00f3 sola en una lista, fue seleccionada para pilotear los instrumentos. Las otras seis fueron identificadas para obtener los datos del estudio.<\/p>\n

Debido al peque\u00f1o tama\u00f1o de la poblaci\u00f3n estudiada, la metaevaluaci\u00f3n realizada fue de car\u00e1cter cualitativo (Fraenkel y Wallen, 2010). El estudio piloto se llev\u00f3 a cabo y revel\u00f3 \u00e1reas para mejorar los instrumentos. Durante el proceso de pilotaje, tambi\u00e9n se revel\u00f3 que los planes de evaluaci\u00f3n institucional se consideran confidenciales y que no ser\u00edan f\u00e1cilmente disponibles para el escrutinio. Con el fin de superar los posibles sentimientos de intrusi\u00f3n y el recelo con los documentos internos, planifiqu\u00e9 dos visitas a las instituciones participantes, para desarrollar un clima de confianza y por lo tanto asegurar la cooperaci\u00f3n. La primera visita fue para proporcionar una buena introducci\u00f3n del estudio y para explicar que habr\u00e1 un respeto a la confidencialidad. Esta visita fue a la persona encargada de la evaluaci\u00f3n del programa y al supervisor del evaluador. Utilic\u00e9 la segunda visita para llevar a cabo las entrevistas con el evaluador y el director. Durante esta visita, realic\u00e9 la primera entrevista con el director del programa y la segunda con el evaluador. La entrevista con el director del programa, era semi-estructurada con el fin de obtener informaci\u00f3n comparable, y tambi\u00e9n proporcionar la flexibilidad necesaria para permitir nuevas preguntas que aclarara los procesos de evaluaci\u00f3n en la instituci\u00f3n. La segunda entrevista se bas\u00f3 en una lista de cotejo para determinar la existencia (o ausencia) de los documentos y procedimientos. Durante la entrevista y la verificaci\u00f3n de documentos, ped\u00ed examinar el documento que conten\u00eda el plan de evaluaci\u00f3n.<\/p>\n

Recopilaci\u00f3n de datos<\/strong><\/p>\n

Las seis instituciones a investigar recibieron el instrumento y el protocolo previo a la visita. Al recibir estas comunicaciones iniciales, una instituci\u00f3n inform\u00f3 que no tienen un proceso de evaluaci\u00f3n de programas \u2013ni formal ni informal. Naturalmente, la instituci\u00f3n no se visit\u00f3. En dos instituciones que aceptaron participar en el estudio, cuando se visit\u00f3, sali\u00f3 a relucir que tampoco conduc\u00edan evaluaciones de sus programas. Por esta raz\u00f3n, tambi\u00e9n se eliminaron de la lista.<\/p>\n

En la cuarta instituci\u00f3n logr\u00e9 entrevistarme con el director del programa, pero la persona que se identific\u00f3 como el evaluador del programa no concedi\u00f3 una entrevista. A pesar de todos los esfuerzos y las explicaciones para obtener dicha entrevista, no se logr\u00f3. Por estas razones, recurr\u00ed a investigar la s\u00e9ptima instituci\u00f3n seleccionada por los expertos, que reserv\u00e9 originalmente para s\u00f3lo pilotear los instrumentos. As\u00ed, la recopilaci\u00f3n de datos se complet\u00f3 con solo tres instituciones.<\/p>\n

Los datos en la Tabla 1 provienen de las personas encargadas de la evaluaci\u00f3n de programas.<\/p>\n

Tabla 1. Lista de cotejo, parte introductoria.\u00a0<\/strong>Las tres instituciones participantes se identifican con el #1, #2 y #3. Las respuestas presentadas a continuaci\u00f3n son extractos de las entrevistas.<\/p>\n\n\n\n\n\n\n\n\n
Pregunta preliminar 1. \u00bfPor qu\u00e9 eval\u00faas?<\/strong><\/td>\n<\/tr>\n
#1. Para entender la calidad de nuestros programas. Es nuestra manera de controlar la calidad.<\/strong>#2. Para conocer el fruto de nuestro trabajo y para medir el aprendizaje de los estudiantes y para ayudar a la facultad. Para el evidenciar el aprendizaje del estudiante; ver qu\u00e9 pasa con los profesores, los programas acad\u00e9micos, y el desarrollo institucional para la toma de decisiones y el desarrollo continuo.<\/strong><\/p>\n

#3. Para medir la satisfacci\u00f3n con los servicios ofrecidos. Para ver que dicen los componentes de los departamentos sobre los resultados del aprendizaje. Ver que dicen las evaluaciones del profesorado sobre los programas.<\/strong><\/td>\n<\/tr>\n

Pregunta preliminar 2. \u00bfSu programa tiene un modelo de assessment definido? Si es as\u00ed, \u00bfCu\u00e1l es?<\/strong><\/td>\n<\/tr>\n
#1. Utilizamos el modelo de las 5 columnas de James O. Nichols de Efectividad Institucional y Evaluaci\u00f3n de Resultados de los Estudiantes. Para documentar este proceso se utiliza un producto de evaluaci\u00f3n comercial muy completo, los datos se obtienen por la web.<\/strong>#2. Utilizamos la teor\u00eda de Alexander Astin que se basa en el valor a\u00f1adido, para nuestro modelo de evaluaci\u00f3n. Los estudiantes son pre-probados en 9 \u00e1reas de Educaci\u00f3n General. Una prueba posterior se administra despu\u00e9s, por cohorte, a los 90 cr\u00e9ditos de estudio. Adem\u00e1s, la evaluaci\u00f3n de programa acad\u00e9mico usa pre y post pruebas con una variedad de instrumentos de evaluaci\u00f3n. Para las variables de evaluaci\u00f3n institucional usamos la retenci\u00f3n, las tasas de graduaci\u00f3n, entre otros.<\/strong><\/p>\n

#3. La evaluaci\u00f3n se define por la agencia acreditadora. Se utilizan tres instrumentos.<\/strong><\/td>\n<\/tr>\n

Pregunta preliminar 3. \u00bfSu programa tiene preguntas de evaluaci\u00f3n? Si es as\u00ed, \u00bfcu\u00e1les son?<\/strong><\/td>\n<\/tr>\n
#1. Las evaluaciones est\u00e1n estandarizadas. La idea es documentar todo.<\/strong>#2. Las preguntas son compartidos por todos los cursos (presenciales y a distancia). Nuestras preguntas b\u00e1sicas de evaluaci\u00f3n son: \u00bfEst\u00e1n los estudiantes aprendiendo lo que deben aprender? \u00bfCu\u00e1n bien est\u00e1n aprendi\u00e9ndolo? \u00bfLa facultad est\u00e1 adecuadamente preparada en los procesos de ense\u00f1anza y aprendizaje?<\/strong><\/p>\n

#3. Nos basamos en los ex\u00e1menes de mitad de semestre y en los finales, en los cursos principales. Los instrumentos de evaluaci\u00f3n que usamos son creados por la instituci\u00f3n.<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n

Tabla 1. Lista de cotejo.\u00a0<\/strong>Las tres instituciones participantes se identifican con el #1, #2 y #3. Los comentarios presentados a continuaci\u00f3n son notas del entrevistador.<\/p>\n\n\n\n\n\n\n\n\n
\n

Program Evaluation Standards del
\nJoint Committee on Standards for Educational Evaluation (JCSEE)<\/strong><\/p>\n<\/td>\n<\/tr>\n

Los est\u00e1ndares de utilidad<\/strong>Los est\u00e1ndares de utilidad tienen la intenci\u00f3n de aumentar el grado en que las personas involucradas con el programa encuentren un valor a los procesos y productos de la evaluaci\u00f3n para la satisfacci\u00f3n de sus necesidades.<\/td>\n<\/tr>\n
Est\u00e1ndar U1<\/strong>Credibilidad del evaluador<\/strong><\/td>\nLas evaluaciones deben ser realizadas por personas calificadas que establezcan y mantengan la credibilidad en el contexto de la evaluaci\u00f3n.<\/td>\nS\u00ed<\/strong>1.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/td>\n

No<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

Comentarios<\/strong>#1. Persona a cargo est\u00e1 capacitada como evaluador. Pero no trabaja exclusivamente para el programa a distancia.<\/strong><\/p>\n

#2. Persona a cargo est\u00e1 capacitada. Pero no trabaja exclusivamente para el programa a distancia.<\/strong><\/p>\n

#3. No hay una persona a cargo de las evaluaciones institucionales.<\/strong><\/td>\n<\/tr>\n

Est\u00e1ndar U2<\/strong>La atenci\u00f3n a los involucrados<\/strong><\/td>\nLas evaluaciones deben prestar atenci\u00f3n a la gama de individuos y grupos con intereses en el programa y los afectados por la evaluaci\u00f3n.<\/strong><\/td>\nS\u00ed<\/strong>1.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/td>\n

No<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

Comentarios<\/strong>#1. Los formularios son est\u00e1ndar y resultados se comparten, as\u00ed los profesores y la administraci\u00f3n tienen informaci\u00f3n sobre lo que est\u00e1 sucediendo.<\/strong><\/p>\n

#2. La facultad recibe evaluaciones, y existe apoyo para ellos.<\/strong><\/p>\n

#3. La informaci\u00f3n que recogemos es sobre las actividades de los programas en el aula.<\/strong><\/td>\n<\/tr>\n

Est\u00e1ndar U6<\/strong>Procesos y productos con sentido<\/strong><\/td>\nLas evaluaciones deben construir actividades, descripciones y juicios de manera que estimulen a los participantes a redescubrir, reinterpretar o revisar sus entendimientos y comportamientos.<\/strong><\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n1. Los informes se generan cada semestre.<\/strong>2. Anualmente, se realizan evaluaciones. Son hechos por el Vicerrectorado de Ordenaci\u00f3n Acad\u00e9mica y Desarrollo Institucional. Analizado anualmente en las reuniones.<\/strong><\/p>\n

3. Algunos cursos y programas son evaluados para comprobar la calidad y fomentar cambios.<\/strong><\/td>\n<\/tr>\n

U7 oportuna y adecuada comunicaci\u00f3n y presentaci\u00f3n de informes.<\/strong>\u00a0<\/strong><\/td>\nLas evaluaciones deben construir actividades, descripciones y juicios de manera que estimulen a los participantes a redescubrir, reinterpretar o revisar sus concepciones y comportamientos.<\/strong><\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n#1. Los informes se generan cada semestre.<\/strong>#2. Anualmente, se eval\u00faa la evaluaci\u00f3n (metaevaluaci\u00f3n). Lo hace el Vicerrector de Planificaci\u00f3n Acad\u00e9mica y Desarrollo Institucional. El informe se analiza en variadas reuniones.<\/strong><\/p>\n

#3. Algunas secciones\u00a0 y programas son evaluados para comprobar la calidad y fomentar cambios.<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/strong><\/p>\n\n\n\n\n\n\n\n
Normas de viabilidad<\/strong>Las normas de viabilidad son para aumentar la eficacia y eficiencia de la evaluaci\u00f3n.<\/strong><\/td>\n<\/tr>\n
F1 Gerencia de Proyectos<\/strong>\u00a0<\/strong><\/td>\nLas evaluaciones deben utilizar estrategias efectivas de gerencia de proyectos.<\/strong><\/td>\nS\u00ed<\/strong>1.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

No<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

Comentarios<\/strong>#1. La generaci\u00f3n del informe es electr\u00f3nica y se puede producir en cualquier paso en el proceso.<\/strong><\/p>\n

#2. La informaci\u00f3n relativa a las evaluaciones se comunica.<\/strong><\/p>\n

#3. No tiene una oficina de evaluaci\u00f3n.<\/strong><\/td>\n<\/tr>\n

F2 Practical Procedures<\/strong><\/td>\nLos procedimientos de evaluaci\u00f3n deben ser pr\u00e1cticos y responder a las operaciones del programa.<\/strong><\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/td>\n

\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Los datos se recogen electr\u00f3nicamente.<\/strong>#2. Informes se generan anualmente.<\/strong><\/p>\n

#3. La recolecci\u00f3n de datos no es confiable.<\/strong><\/td>\n<\/tr>\n

F3 Viabilidad Contextual<\/strong><\/td>\nLas evaluaciones deben reconocer, controlar y equilibrar los intereses y necesidades culturales y pol\u00edticos de los individuos y los grupos.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

# 1. Los cuestionarios son estandarizados y reflejan las necesidades institucionales.<\/strong># 2. Se proporciona la informaci\u00f3n necesaria. Los grupos focales se organizan seg\u00fan las necesidades.<\/strong><\/p>\n

# 3. No hay una oficina de evaluaci\u00f3n.<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/td>\n<\/tr>\n

F4 Uso de Recursos<\/strong><\/td>\nLas evaluaciones deben utilizar los recursos de forma eficaz y eficiente.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Se han establecido procedimientos, y son b\u00e1sicamente automatizados.<\/strong>#2. Un software especializado se utiliza para fines administrativos y se usa Moodle para los cursos en l\u00ednea.<\/strong><\/p>\n

#3. No hay una oficina de evaluaci\u00f3n.<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/strong><\/p>\n\n\n\n\n\n\n\n\n
Normas de legitimidad<\/strong>Los est\u00e1ndares de legitimidad apoyan lo que es adecuado, legal, correcto y justo en las evaluaciones.<\/strong><\/td>\n<\/tr>\n
P1 Orientaci\u00f3n Receptiva e Inclusiva<\/td>\nLas evaluaciones deben ser sensibles a las partes interesadas y de sus comunidades.<\/td>\nS\u00ed<\/strong>1.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

No<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

Comentarios<\/strong># 1. Los cuestionarios son estandarizados.<\/strong><\/p>\n

# 2. El proceso es sistem\u00e1tico y se lleva a cabo seg\u00fan sea necesario.<\/strong><\/p>\n

# 3. La informaci\u00f3n no se comparte entre todas las unidades.<\/strong><\/td>\n<\/tr>\n

P4 Claridad y Equidad<\/strong><\/td>\nLas evaluaciones deben ser comprensibles y justas para atender bien las necesidades y prop\u00f3sitos de las partes interesadas.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n#1. Los cuestionarios son estandarizados.<\/strong>#2. Se utiliza una variedad de m\u00e9todos.<\/strong><\/p>\n

#3. Es compartida dentro de cada unidad, pero no por otras unidades.<\/strong><\/td>\n<\/tr>\n

P5 Transparencia y Divulgaci\u00f3n<\/strong><\/td>\nLa evaluaci\u00f3n debe proporcionar una descripci\u00f3n completa de los hallazgos, limitaciones, y las conclusiones de todos los interesados, a menos que esto violar\u00eda las obligaciones legales y de propiedad.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n#1. Los informes son proporcionados por \u00edtems, mediante porcentajes y promedios. Directrices generales se utilizan para interpretar los resultados. La facultad y la administraci\u00f3n hacen el an\u00e1lisis.<\/strong>#2. Se proporcionan datos para que se puedan tomar las acciones apropiadas.<\/strong><\/p>\n

#3. Los datos se comparten dentro de cada unidad para su an\u00e1lisis apropiado.<\/strong><\/td>\n<\/tr>\n

P6 Conflictos de Inter\u00e9s<\/strong><\/td>\nLas evaluaciones deben ser abiertas y honestamente identificar y abordar los conflictos de inter\u00e9s (reales o percibidos) que pueden comprometer la evaluaci\u00f3n.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n#1. El conflicto de intereses no es un problema.<\/strong>#2. El conflicto de intereses no es un problema.<\/strong><\/p>\n

#3. El conflicto de intereses no es un problema.<\/strong><\/td>\n<\/tr>\n

P7 Responsabilidad Fiscal<\/strong><\/td>\nLas evaluaciones deben rendir cuenta de todos los recursos utilizados y cumplir s\u00f3lidamente con los procedimientos y procesos fiscales.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n# 1. Las evaluaciones se realizan de acuerdo a las pol\u00edticas institucionales y las limitaciones fiscales.<\/strong># 2. Las evaluaciones se realizan de acuerdo a la planificaci\u00f3n fiscal.<\/strong><\/p>\n

# 3. Las evaluaciones se realizaron de acuerdo a las limitaciones fiscales.<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/strong><\/p>\n\n\n\n\n\n\n\n\n\n\n
Normas de precisi\u00f3n<\/strong>Las normas de precisi\u00f3n aumentan la confiabilidad y la veracidad de las representaciones de la evaluaci\u00f3n, las propuestas y las conclusiones, en especial aquellas que apoyen sus interpretaciones y juicios acerca de la calidad.<\/strong><\/td>\n<\/tr>\n
A1 Conclusiones y Decisiones justificadas<\/strong><\/td>\nConclusiones y decisiones de evaluaci\u00f3n deben ser justificadas expl\u00edcitamente dentro de las culturas y los contextos en los que tienen consecuencias.<\/td>\nS\u00ed<\/strong>1.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

No<\/strong>\u00a0<\/strong><\/td>\nComentarios<\/strong>#1. Se informaron los datos crudos, pero las personas que reciben los datos deben hacer sus propias interpretaciones.<\/strong><\/p>\n

#2. Se informaron los datos crudos, pero las personas que reciben los datos deben hacer sus propias interpretaciones.<\/strong><\/p>\n

#3. Se informaron los datos crudos, pero las personas que reciben los datos deben hacer sus propias interpretaciones.<\/strong><\/td>\n<\/tr>\n

A2 informaci\u00f3n v\u00e1lida<\/strong><\/td>\nInformaci\u00f3n de la evaluaci\u00f3n debe servir a los fines previstos y apoyar interpretaciones v\u00e1lidas.<\/td>\n\u00a0<\/strong><\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Los datos no se interpretan.<\/strong>#2. Los datos no siempre se interpretan.<\/strong><\/p>\n

#3. Los datos no se interpretan.<\/strong><\/td>\n<\/tr>\n

A3 informaci\u00f3n confiable<\/strong><\/td>\nLos procedimientos de evaluaci\u00f3n deber\u00e1n proporcionar informaci\u00f3n suficientemente confiable y consistente para los usos previstos.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Las evaluaciones se han ido perfeccionando a lo largo de los a\u00f1os.<\/strong>#2. Las evaluaciones se llevan a cabo de forma responsable.<\/strong><\/p>\n

#3. Las evaluaciones son tan \u00e1giles como sea posible.<\/strong><\/td>\n<\/tr>\n

A4 Programa expl\u00edcito y contexto descrito<\/strong><\/td>\nLas evaluaciones deben documentar los programas y sus contextos con el detalle y el alcance apropiado para los prop\u00f3sitos de evaluaci\u00f3n.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/td>\n\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Los datos estudiantiles recurrentes se limitan a los cuestionarios.<\/strong>Las evaluaciones de la facultad son m\u00e1s completas cuando son revisadas por un comit\u00e9.<\/strong><\/p>\n

Las licencias e informes de acreditaci\u00f3n contienen datos de otras oficinas.<\/strong><\/p>\n

#2. Hay una necesidad de documentar mejor el contexto de lo que est\u00e1 ocurriendo.<\/strong><\/p>\n

#3. Hay una gran cantidad de datos crudos que deben ser analizados.<\/strong><\/td>\n<\/tr>\n

A6 dise\u00f1os y an\u00e1lisis s\u00f3lidos<\/strong><\/td>\nLas evaluaciones deben emplear dise\u00f1os y an\u00e1lisis t\u00e9cnicamente adecuados, que son apropiados para los fines de la evaluaci\u00f3n.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Los procedimientos son pre-establecidos.<\/strong>#2. Evaluaciones complejas no se hacen de forma rutinaria debido a la falta de recursos humanos.<\/strong><\/p>\n

#3. Una oficina de evaluaci\u00f3n no existe.<\/strong><\/td>\n<\/tr>\n

A7 Razonamiento Evaluativo Expl\u00edcito<\/strong><\/td>\nEl razonamiento empleado en el an\u00e1lisis, con la informaci\u00f3n disponible, que conduce a resultados, interpretaciones, conclusiones y juicios, debe ser claro y completamente documentado.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/td>\n\u00a0<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

#1. Se informaron los datos crudos.<\/strong>Las personas que reciban la informaci\u00f3n deben hacer sus propias interpretaciones.<\/strong><\/p>\n

#2. Hay una necesidad de documentar las acciones y analizarlos con el fin de evidenciar decisiones.<\/strong><\/p>\n

#3. Una oficina de evaluaci\u00f3n no existe.<\/strong><\/td>\n<\/tr>\n

A8 Comunicaci\u00f3n e Informes<\/strong><\/td>\nLas comunicaciones sobre la evaluaci\u00f3n deben tener un alcance adecuado y evitar malentendidos, prejuicios, distorsiones y errores.<\/td>\n1.\u00a0<\/strong>P<\/strong>\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

3.\u00a0<\/strong>P<\/strong><\/td>\n

\u00a0<\/strong><\/td>\n#1. Los informes son lo m\u00e1s objetivo posible, siguiendo las pol\u00edticas institucionales.<\/strong>#2. Los informes se comparten para corregir errores.<\/strong><\/p>\n

#3. Esto ha comenzado.<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/strong><\/p>\n\n\n\n\n
Est\u00e1ndares de Responsabilidad<\/strong>Las normas de responsabilidad fomentan la documentaci\u00f3n adecuada de las evaluaciones y la perspectiva metaevaluativa centrada en la mejora y la rendici\u00f3n de cuentas en los procesos y productos de evaluaci\u00f3n.<\/strong><\/td>\n<\/tr>\n
E1 Documentaci\u00f3n de la Evaluaci\u00f3n<\/strong><\/td>\nLas evaluaciones deben documentar completamente los prop\u00f3sitos negociados y la implantaci\u00f3n de los dise\u00f1os, procedimientos, datos y resultados.<\/td>\nS\u00ed<\/strong>1.\u00a0<\/strong>P<\/strong><\/p>\n

2.\u00a0<\/strong>P<\/strong><\/td>\n

No<\/strong>3.\u00a0<\/strong>P<\/strong><\/td>\nComentarios<\/strong>#1. Evaluaciones actuales tienen un impacto en los procedimientos y la selecci\u00f3n de profesores, pero hay una necesidad de hacer m\u00e1s a trav\u00e9s de las evaluaciones.<\/strong><\/p>\n

#2. Con m\u00e1s recursos, se puede hacer m\u00e1s.<\/strong><\/p>\n

#3. Carecemos de una oficina de evaluaci\u00f3n.<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/strong><\/p>\n

Datos de las entrevistas<\/strong><\/p>\n

Los siguientes datos que se obtuvieron de las preguntas formuladas a los directores de programas:<\/p>\n\n\n\n\n\n\n\n
1. \u00bfPor qu\u00e9 evaluar?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo \u201cse eval\u00faa para medir la eficacia de los servicios educativos que ofrecemos servicios, y por el bien de nuestra toma de decisiones. Esto nos mueve en t\u00e9rminos de reconocer las limitaciones y necesidades, y algunas posiblemente no lo hemos visto a\u00fan. Y nos lleva a algunas acciones que deben mejorar en ese sentido. Pero, b\u00e1sicamente, el prop\u00f3sito fundamental de la evaluaci\u00f3n es para la toma de decisiones\u201d.<\/td>\na. medir desempe\u00f1ob. tomar decisiones<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #2 declar\u00f3 que \u201cNosotros evaluamos como un proceso de formaci\u00f3n, de mejorarnos constantemente. Hacemos muchas cosas y posiblemente no se ha documentado todo lo que hacemos. Debemos demostrar en el camino lo que se necesita y lo que funciona y lo que queremos lograr de acuerdo a los objetivos que tenemos. B\u00e1sicamente probamos en aras de la mejora continua y la toma decisiones\u201d.<\/td>\na. mejorarb. tomar decisiones<\/p>\n

 <\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #3 declar\u00f3 que se eval\u00faan \u201cpara entender lo que los estudiantes est\u00e1n recibiendo del programa. Para entender c\u00f3mo lo que estamos haciendo como instituci\u00f3n. Si los estudiantes no tienen \u00e9xito, tenemos que virar el espejo hacia nosotros mismos y decir que no somos exitosos. Hacernos mejores en lo que hacemos\u201d.<\/td>\na. medir desempe\u00f1ob. mejorar<\/p>\n

 <\/p>\n

 <\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
2. \u00bfC\u00f3mo eval\u00faa usted aqu\u00ed?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo \u201ccuando se pregunta acerca de la manera en que evaluamos, se habla aqu\u00ed en t\u00e9rminos generales. Por ejemplo, hacemos evaluaciones de los profesores y de los programas. Eso lo hacemos. Nosotros evaluamos nuestros servicios, principalmente a trav\u00e9s de encuestas. Evaluamos la facultad a trav\u00e9s de encuestas y las evaluaciones de los programas se hacen a trav\u00e9s de los comit\u00e9s de la facultad, y a trav\u00e9s de un senado acad\u00e9mico. Hay comit\u00e9s que se forman por el senado acad\u00e9mico\u201d.<\/td>\nFacultad por encuestas y comit\u00e9 (en asuntos de asensos, etc)Programas por encuestas y comit\u00e9s<\/p>\n

Servicios por encuestas<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #2 dijo \u201cNo hay un programa oficial con respecto a la evaluaci\u00f3n. Hemos visto en la pr\u00e1ctica, la retroalimentaci\u00f3n de los estudiantes en t\u00e9rminos de c\u00f3mo se cumplen con los objetivos de aprendizaje. Lo hacemos en la marcha. En la marcha hemos buscado retroalimentaci\u00f3n de los estudiantes, seg\u00fan sea necesario, en la medida de que vamos desarrollando programas parciales a distancia. Por ejemplo, hemos creado un grupo focal con metodolog\u00edas cualitativas, cuando nos dimos cuenta de algunas situaciones y la necesidad de mejorar los resultados de un programa. Se encuest\u00f3 a los estudiantes y reconocimos que hicieron demandas muy v\u00e1lidas. Y cumplimos con su petici\u00f3n. Ese es el tipo de evaluaci\u00f3n que tenemos, por ahora. Es para mejorar la satisfacci\u00f3n. Ahora tenemos un nuevo funcionario a cargo de la educaci\u00f3n a distancia que le puede dar m\u00e1s informaci\u00f3n\u201d.<\/td>\nSobre la marcha. <\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 dijo \u201cUtilizamos preguntas constantemente a trav\u00e9s de los cursos para que los estudiantes respondan. Estos se comparan a trav\u00e9s de secciones y el paso del tiempo. En este sentido, el logro del estudiante refleja los logros del programa. Esta informaci\u00f3n nos ayuda a responder\u00e1 preguntas como \u00bfel programa esta actualizada? \u00bfEl programa est\u00e1 alcanzando sus metas? \u00bfLos estudiantes cumplen con sus resultados esperados de forma rutinaria?<\/td>\nEncuestas<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
3. \u00bfQui\u00e9nes son sus actores, en el proceso de evaluar?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo “Todo depende de los tres niveles de los que hablamos. Los que eval\u00faan el servicio suelen ser los estudiantes y ellos son nuestros principales grupos de inter\u00e9s en este sentido. En cuanto a la facultad, a ellos se involucra, porque ellos son los que lo hacen. Hay dos tipos de evaluaci\u00f3n, los estudiantes que eval\u00faen la facultad y hay comit\u00e9s de pares que se forman para evaluar la facultad. Podr\u00eda ser por diferentes motivos, tales como ascensos en rango, cargo, etc. En cuanto al tercer nivel, de los programas, es general, porque all\u00ed, todas las \u00e1reas est\u00e1n involucradas. A nivel curricular y en la determinaci\u00f3n de qu\u00e9 cursos deben ser verificados, la administraci\u00f3n tambi\u00e9n se involucra. Se inicia en los comit\u00e9s del nivel inferior y luego pasa a un nivel superior”.<\/td>\nEstudiantes, facultad y administraci\u00f3n<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n n #2 dijo “Los grupos de inter\u00e9s son los estudiantes, la administraci\u00f3n y la Junta Directiva. Tenemos que informar a esa Junta, a trav\u00e9s de la presidencia, pero en ocasiones tambi\u00e9n nos han pedido que se les informe directamente y lo que hacemos. Esto es muy importante para nosotros. Los profesores han estado, sin duda, en este proceso. No compramos cursos. Estamos trabajando con la facultad y eso es, en parte, la raz\u00f3n de no tener todos los programas en l\u00ednea todav\u00eda. A\u00fan estamos adiestrando a nuestros profesores y pudimos ver el progreso desde que empezamos. A trav\u00e9s del adiestramiento hemos mejorado y hemos revisado los dise\u00f1os de los cursos, para que todos se beneficien\u201d.<\/td>\nEstudiantes y administraci\u00f3n<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 dijo “Todo el mundo: los miembros del Consejo, los miembros de la junta asesora, profesores, administradores, estudiantes”.<\/td>\nEstudiantes, facultad y administraci\u00f3n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
4. \u00bfQui\u00e9n proporciona los datos?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo “Las personas de que te habl\u00e9: estudiantes, profesores, informes de comit\u00e9s y resoluciones formuladas por el Senado Acad\u00e9mico”.<\/td>\nEstudiantes, facultad y comit\u00e9s<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #2 se concentr\u00f3 en los aspectos administrativos: “La persona que hace la investigaci\u00f3n. Las investigaciones se llevan a cabo desde la Oficina de Planificaci\u00f3n y desde all\u00ed se proveen datos. El Vicepresidente tiene sus propias investigaciones y comparte sus resultados. Una oficina a nivel central hace llegar la informaci\u00f3n a las personas interesadas, incluyendo el presidente y el consejo de administraci\u00f3n. En esta l\u00ednea de comando siempre hay mucha preocupaci\u00f3n con el intercambio de los datos y se ha proporcionado los medios para hacerlo. Los avances tecnol\u00f3gicos para compartir datos aqu\u00ed est\u00e1n limitados porque nuestros ingresos se basan en la matr\u00edcula. Carecemos de ayuda federal o de propuestas millonarias para llevar a cabo estos gastos, y son costosos. Usted compra algo hoy y ma\u00f1ana ya es obsoleto. Por lo tanto, estamos en una misi\u00f3n de desarrollar algunas propuestas para que podamos mejorar el programa de educaci\u00f3n a distancia”.<\/td>\nLa Oficina de Planificaci\u00f3n<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 declar\u00f3 “La facultad es b\u00e1sicamente quien proporciona los datos, utilizando r\u00fabrica para las evaluaciones. Esos datos no se integran al resto de la organizaci\u00f3n”.<\/td>\nFacultad<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
5. \u00bfQu\u00e9 instrumentos utiliza para recopilar datos.<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 expresa la situaci\u00f3n en los siguientes t\u00e9rminos: “Es b\u00e1sicamente, a trav\u00e9s de cuestionarios, y casi siempre de una manera cuantitativa. En cuanto a los programas, las evaluaciones\u00a0 son m\u00e1s cualitativos, ya que son informes descriptivos en t\u00e9rminos de las acciones que tienen que ser tomadas a trav\u00e9s de un programa. Sin embargo, hay determinadas evaluaciones, m\u00e1s informales y esos son lo que llamamos recomendaciones “boca a boca”. En otras palabras, cuando los estudiantes presentan algo para nosotros, es una especie de evaluaci\u00f3n, no formal, casi como una realizada con un instrumento, pero forman parte de las evaluaciones que tomamos en cuenta, y tomamos decisiones sobre esto tambi\u00e9n. Son percepciones expresadas por los estudiantes de manera informal”.<\/td>\nCuestionarios y di\u00e1logos informales<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #2 indica que “b\u00e1sicamente utilizamos grupos focales y cuestionarios de satisfacci\u00f3n de los estudiantes”.<\/td>\nGrupos focales y cuestionarios de satisfacci\u00f3n<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 indica que utilizan asignaciones estandarizadas como el instrumento para recopilar datos. El representante dijo que “Hay tareas estandarizadas en cada curso, para la evaluaci\u00f3n de lo que pasa en el sal\u00f3n. Los programas ser\u00e1n evaluados en alg\u00fan momento. Esto se desarrollar\u00e1 a medida que avanzamos a trav\u00e9s del proceso de acreditaci\u00f3n particular que buscamos. Sin embargo, la evaluaci\u00f3n no es s\u00f3lo para satisfacer el proceso de acreditaci\u00f3n. Hay un componente de mejoramiento por s\u00ed mismo que es central. Deben ser inseparables, porque eso es lo que quieren ver de nosotros. Estamos desarrollando ciclos de retroalimentaci\u00f3n para demostrar c\u00f3mo estamos aprendiendo y como tratamos de ser mejor”.<\/td>\nUna lista de cotejo estandarizada para evaluar asignaciones<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
6. \u00bfC\u00f3mo se informan los datos?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 inform\u00f3 que “usamos los instrumentos institucionales, como las evaluaciones del profesorado. Tambi\u00e9n usamos las evaluaciones de satisfacci\u00f3n. Se recogen datos y se presentan a las \u00e1reas afectadas. Si se trata de una oficina en particular, porque estamos evaluando los servicios, le presentamos los datos a esa oficina. Las evaluaciones del profesorado se presentan a los directores acad\u00e9micos y a los decanos”.<\/td>\nInformes estandarizadas.<\/td>\n<\/tr>\n
Sin embargo, el representante de la Instituci\u00f3n #2 dijo “los informes informales se realizan constantemente. Tenemos una publicaci\u00f3n que se edita regularmente, es un reporte institucional. Comenz\u00f3 como un libro institucional de datos. Pero se convert\u00f3 en un reporte institucional. Tiene una secci\u00f3n que informa cu\u00e1ntos cursos y cu\u00e1ntos profesores est\u00e1n ofreciendo esos cursos. Informa tambi\u00e9n el n\u00famero de estudiantes que participa en los cursos a distancia. Ha habido un cambio dr\u00e1stico. Primero fueron pocos alumnos y ahora tenemos cinco veces esa cantidad. Es la manera de que el estudiante prefiere. Se trata de una publicaci\u00f3n que hacemos y lo recibe la comunidad acad\u00e9mica. Nosotros lo publicaremos en la web. Queremos que sea del dominio p\u00fablico. Tenemos dos p\u00e1ginas dedicadas a eso. Ya sabemos que s\u00f3lo tenemos que a\u00f1adir las especialidades”.<\/td>\nInformes que se publican en la Internet<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 inform\u00f3 que sus “informes son orales”.<\/td>\nInformes son informales<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
7. \u00bfExiste un modelo declarado que gu\u00eda la\u00a0 metodolog\u00eda de su evaluaci\u00f3n?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo: No, no tenemos modelos oficiales como los que en la literatura, no. Tenemos instrumentos con pautas particulares ya definidas, con las evaluaciones de profesores, por ejemplo. Son espec\u00edficas y estandarizadas. Los datos se recogen aqu\u00ed en el campus y aqu\u00ed permanecen. A menos que estemos hablando de promociones y otras situaciones en las que hay que apoyar o validar las recomendaciones”.<\/td>\nNo hay uno<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n n #2 indic\u00f3 “S\u00ed, se utiliza el modelo de Alexander Hastings, pre-test y post-test, el valor a\u00f1adido”.<\/td>\nHay uno<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 declar\u00f3: “No he visto un modelo declarado aqu\u00ed”.<\/td>\nNo hay uno<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
8. \u00bfExiste una declaraci\u00f3n o documento que explica el proceso de evaluaci\u00f3n?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo “El modelo metodol\u00f3gico se puede encontrar en el\u00a0Manual de Facultad<\/em>\u00a0y el\u00a0Plan Estrat\u00e9gico<\/em>. Estos son los documentos oficiales que nos obliga a hacer evaluaciones.<\/td>\nEn dos documentos, elManual de Facultad<\/em>\u00a0y elPlan Estrat\u00e9gico<\/em><\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #2 declar\u00f3 que “No tenemos un documento completo, pero tenemos una publicaci\u00f3n que sale regularmente sobre el tema de assessment. Este documento no est\u00e1 dirigido completamente a los cursos de educaci\u00f3n a distancia, sino a todos los cursos, a distancia y cara a cara. Ese es nuestro documento de evaluaci\u00f3n acad\u00e9mica”.<\/td>\nEn una publicaci\u00f3n regular dedicado al tema de assessment<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 declar\u00f3 que “no hay un documento que explica el componente de evaluaci\u00f3n, pero hay uno que se desarroll\u00f3 como un componente de nuestra acreditaci\u00f3n anterior. Se llama el\u00a0Plan de Efectividad Institucional<\/em>. Y tambi\u00e9n se present\u00f3 como parte del proceso de acreditaci\u00f3n. El proceso de acreditaci\u00f3n nos empuj\u00f3 a mirar el documento y revisarlo para examinar cursos cada x n\u00famero de meses, para ver que estamos haciendo y para encontrar maneras de hacer correcciones. Esto nos mantiene honestos”.<\/td>\nEn el\u00a0Plan de Efectividad Institucional<\/em><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
9. \u00bfTienes preguntas escritas que gu\u00edan el proceso de evaluaci\u00f3n?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 declar\u00f3: “La mayor parte de nuestra informaci\u00f3n acerca de los estudiantes que se obtiene a partir de encuestas de satisfacci\u00f3n. Se obtienen de formas est\u00e1ndar y administradas en un tiempo est\u00e1ndar. Las evaluaciones del profesorado tambi\u00e9n est\u00e1n estandarizados”.<\/td>\nNo<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #2 declar\u00f3 que “Organizamos grupos focales y se presentan algunas preguntas\u201d.<\/td>\nOcasionalmente, cuando hacemos grupos focales<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 declar\u00f3 que “no hay evaluaciones de los programas que tengan preguntas o respuestas concretas a la vista. La mayor parte de lo que tenemos son r\u00fabricas que eval\u00faan las tareas en los cursos”.<\/td>\nNo<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n\n\n\n\n\n\n\n
10. \u00bfTienen criterios declarados y por escrito que gu\u00edan el proceso de recolecci\u00f3n de datos?<\/em><\/td>\n<\/tr>\n
\n

Respuestas<\/p>\n<\/td>\n

\n

Categor\u00edas<\/p>\n<\/td>\n<\/tr>\n

El representante de la Instituci\u00f3n #1 dijo “algunos criterios son espec\u00edficos a los cursos y otros est\u00e1n relacionados a la facultad. Sin embargo, de alguna manera, el programa de educaci\u00f3n a distancia ha afectado a todo el campus en la administraci\u00f3n de esos instrumentos. En el pasado, la administraci\u00f3n de los instrumentos era cara-a-cara. Entregamos una hoja de papel y el estudiante respond\u00eda. O lo envi\u00e1bamos por correo, depend\u00eda de la persona. Ahora tenemos un sistema electr\u00f3nico. Este sistema funciona dentro de nuestra plataforma para la educaci\u00f3n en l\u00ednea. Todas las evaluaciones se est\u00e1n ejecutando por este sistema. Se env\u00edan por v\u00eda electr\u00f3nica, con independencia de la naturaleza del curso”.<\/td>\nSi, porque las encuestas son estandarizadas<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #2 dijo “Nos aseguramos de que los datos que tenemos muestren a las agencias de acreditaci\u00f3n lo que estamos haciendo. Es un asunto pr\u00e1ctico, pero tenemos que saber algunas cosas que van m\u00e1s all\u00e1 de la acreditaci\u00f3n. Una vez m\u00e1s, nos encontramos ganando experiencias con los programas de educaci\u00f3n a distancia, que queremos que sean de buena calidad, que el alumno aprenda y que sean rentables. Esto es lo que nos gu\u00eda, y nos dejamos guiar por las agencias de acreditaci\u00f3n, que buscan calidad. Usamos sus criterios, y nos aseguramos de que los incorporamos. Utilizamos los criterios de acreditaci\u00f3n y criterios de licenciamiento. Y vamos a las conferencias. Y utilizamos las investigaciones doctorales sobre la educaci\u00f3n a distancia para mirarnos y utilizamos los resultados como retroalimentaci\u00f3n para actualizarnos. Se trata de un desarrollo continuo”.<\/td>\nSe usan los criterios de las agencias acreditadoras.<\/td>\n<\/tr>\n
El representante de la Instituci\u00f3n #3 declar\u00f3 que “tenemos criterios para examinar las tareas espec\u00edficas de unos cursos espec\u00edficos”.<\/td>\nHay en la lista de cotejo para evaluar asignaciones.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u00a0<\/span><\/p>\n

Discusi\u00f3n<\/span><\/strong><\/p>\n

Seg\u00fan lo explicado previamente, este estudio no evalu\u00f3 directamente la calidad del aprendizaje y la ense\u00f1anza que se encuentra en las instituciones. M\u00e1s bien, concentr\u00f3 en buscar los modelos, los m\u00e9todos y los criterios utilizados en el proceso de evaluaci\u00f3n. Buscamos estos tres elementos porque sabemos que esto ayuda a determinar la calidad de los datos que se recogen y se analizan. Entendemos que con mejores datos y un buen an\u00e1lisis se puede evaluar mejor la calidad de los programas a distancia, y obviamente, con mejores evaluaciones se puede mejorar la calidad del aprendizaje y la ense\u00f1anza.<\/span><\/p>\n

Es importante entender el contexto del estudio: Todas instituciones examinadas son acreditadas. Es decir, si acreditaci\u00f3n significa un reconocimiento por parte de una organizaci\u00f3n que verifica calidad, estas universidades est\u00e1n certificadas como instituciones de calidad. Naturalmente, uno de los criterios de calidad que se considera en los procesos de acreditaci\u00f3n es su proceso de evaluaci\u00f3n.<\/span><\/p>\n

Eso nos lleva a reflexionar sobre los procesos de evaluaci\u00f3n que se llevan a cabo en los programas a distancia en Puerto Rico. Se ha visto que aunque son parte de las innovaciones institucionales, no est\u00e1n recibiendo un tratamiento especial en cuanto a las evaluaciones institucionales. Los programas a distancia se est\u00e1n evaluando con los mismos modelos, metodolog\u00edas y criterios que los dem\u00e1s programas institucionales, a pesar de la necesidad de saber si est\u00e1n implantando correctamente, dentro de los par\u00e1metros institucionales.<\/span><\/p>\n

Otro elemento interesantes que se observa es que los procesos de evaluaci\u00f3n no son uniformes en el pa\u00eds. Unos programas recogen m\u00e1s datos que otros, y por ende, tienen capacidades diferenciadas en sus posibilidades de profundizar en los an\u00e1lisis institucionales.<\/span><\/p>\n

Quiz\u00e1s el elemento m\u00e1s importante a observar es la naturaleza de los datos que se recogen en las instituciones para determinar la calidad del aprendizaje de los estudiantes. Se ha notado que las encuestas de satisfacci\u00f3n dominan en las instituciones. Otro dato que se usa para determinar el aprendizaje es la distribuci\u00f3n de notas de los estudiantes. Curiosamente, estas dos fuentes son reconocidas como los menos confiables para determinar dominio. En primer lugar, satisfacci\u00f3n y aprendizaje no necesariamente correlacionan. Es posible contestar que se sinti\u00f3 insatisfecho con un curso, aunque aprendi\u00f3 mucho. En segundo lugar, las notas y el aprendizaje tampoco tienen que correlacionar. Uno puedo obtener una buena nota en un curso aunque no aprendi\u00f3 nada, o uno puede obtener una mala nota aunque haya aprendido mucho.<\/span><\/p>\n

Se not\u00f3 una ausencia de uno de los m\u00e9todos m\u00e1s confiables para determinar aprendizaje: la evaluaci\u00f3n de productos relacionados a las competencias. Solamente una instituci\u00f3n evaluaba sistem\u00e1ticamente los trabajos asignados en los cursos.<\/span><\/p>\n

En s\u00edntesis, los datos recogidos en este metaevaluaci\u00f3n han demostrado que los programas de educaci\u00f3n a distancia son desiguales en la calidad de los datos que se recogen y en lo que se puede analizar.<\/span><\/p>\n

En cuanto a la primera pregunta de investigaci\u00f3n que gui\u00f3 este estudio (\u00bfQu\u00e9 son las caracter\u00edsticas de modelos exitosos de evaluaci\u00f3n de, criterios de evaluaci\u00f3n y la metodolog\u00eda que sean apropiados para los programas de de educaci\u00f3n a distancia?) La revisi\u00f3n de la literatura revel\u00f3 que hay muchos modelos, metodolog\u00edas y criterios que puedan ser apropiados para la educaci\u00f3n a distancia. Esto se debe a que muchos de los modelos, metodolog\u00edas y criterios son lo suficientemente gen\u00e9rico como para atender la educaci\u00f3n presencial y la educaci\u00f3n a distancia.<\/span><\/p>\n

Esto implica que diferentes modelos pueden utilizarse para evaluar la educaci\u00f3n a distancia aunque guardan una similitud muy marcada a la evaluaci\u00f3n de la educaci\u00f3n presencial. Esto nos lleva a la pregunta, \u00bfes realmente diferente la evaluaci\u00f3n de la educaci\u00f3n a distancia a la educaci\u00f3n presencial? La metaevaluaci\u00f3n de los modelos indica que en esencia, no hay una diferencia marcada.<\/span><\/p>\n

Lo importante es que los modelos, metodolog\u00edas y criterios se ajusten a las particularidades. Por ejemplo, ambas modalidades pueden tener criterios relacionadas a la\u00a0infraestructura<\/em>. La diferencia es que los programas presenciales tienen que evaluar su infraestructura relacionada a las facilidades f\u00edsicas, mientras los programas a distancia tienen que evaluar su infraestructura relacionada a sus servidores y plataformas. En otro ejemplo, ambas modalidades tienen que evaluar si su facultad est\u00e1\u00a0debidamente preparada<\/em>. Los programas presenciales pueden evaluar aspectos relacionadas a manejo de grupos mientras los programas a distancia pueden evaluar aspectos relacionados al manejo de tecnolog\u00edas.<\/span><\/p>\n

Lo importante es que se \u201cproporcionen hallazgos y conclusiones s\u00f3lidos, que las pr\u00e1cticas de evaluaci\u00f3n contin\u00faen mejorando, y que las instituciones puedan administrar sistemas de evaluaci\u00f3n eficientes, eficaces y \u00e9ticos ” (Stufflebeam y Shinkfield, 2,007, p 649). Ellos contin\u00faan diciendo que debe ser:<\/span><\/p>\n

un proceso de delinear, obtener y aplicar informaci\u00f3n descriptiva y juiciosa con criterios pertinentes -incluyendo la utilidad, la razonabilidad, el decoro, la exactitud, la sistematicidad, la ejecuci\u00f3n competente, la integridad, la respetuosidad, y la responsabilidad social – con el fin para guiar a la evaluaci\u00f3n y la reportar sus puntos fuertes y debilidades (p. 685).<\/span><\/p>\n

Independiente del modelo de evaluaci\u00f3n, el examen y el uso de los est\u00e1ndares de la JCSEE (2011) demostraron que debe tener autoridad y confiabilidad. Tambi\u00e9n demostr\u00f3 que la evaluaci\u00f3n debe buscar, de forma sistem\u00e1tica, su utilidad con caracter\u00edsticas de razonabilidad, decoro y exactitud. Siendo estos los criterios claves para un modelo excelente de evaluaci\u00f3n.<\/span><\/p>\n

Es necesario tomar nota de que los est\u00e1ndares de la JCSEE no son los \u00fanicos que se pueden utilizar para evaluar un programa de la educaci\u00f3n a distancia. El problema es que muchos programas en Puerto Rico (y en otros lugares) est\u00e1n llevando a cabo las pr\u00e1cticas de evaluaci\u00f3n sin una comprensi\u00f3n clara de la necesidad de tener alg\u00fan est\u00e1ndar de evaluaci\u00f3n. Aunque los programas a distancia est\u00e1n expuestos a los est\u00e1ndares de calidad a trav\u00e9s de las normas de acreditaci\u00f3n, la mayor\u00eda no son expuestos a los est\u00e1ndares de una evaluaci\u00f3n profesional.<\/span><\/p>\n

En cuanto a la segunda pregunta de investigaci\u00f3n que gui\u00f3 el estudio (\u00bfCu\u00e1les son las modelos de evaluaci\u00f3n de, criterios de evaluaci\u00f3n y la metodolog\u00eda que se utilizan en los programas de educaci\u00f3n a distancia en Puerto Rico?), La evidencia demostr\u00f3 que no hay modelo dominante referente a los criterios o metodolog\u00eda. Lo que la evidencia demostr\u00f3 es que existe un continuo que cubre una amplitud de posibilidades. Pero tambi\u00e9n se not\u00f3 una tendencia era hacia la recolecci\u00f3n de datos tipo encuestas de satisfacci\u00f3n. S\u00f3lo una instituci\u00f3n recog\u00eda datos relacionados a los productos de aprendizaje (asignaciones), pero esos datos no se recog\u00edan en todos los cursos, ni se recog\u00edan de forma longitudinal para cada estudiante.<\/span><\/p>\n

Esta metaevaluaci\u00f3n indica que existen programas de educaci\u00f3n a distancia en Puerto Rico que no han desarrollado planes abarcadores para recopilar datos triangulados que sean capaces de analizar la efectividad de los programas de estas. En todos los casos, la evidencia indica que no se puede confirmar si se lleva a cabo un aprendizaje de alta calidad.<\/span><\/p>\n

\u00a0<\/span><\/strong><\/p>\n

Recomendaciones para investigaciones futuras<\/span><\/strong><\/p>\n

El presente estudio revel\u00f3 la existencia de un continuo de los modelos de evaluaci\u00f3n, metodolog\u00eda, y criterios de evaluaci\u00f3n que se utilizan en los programas de educaci\u00f3n a distancia en Puerto Rico. Este continuo refleja la gama de posibilidades para evaluar la calidad del aprendizaje y la ense\u00f1anza. Es decir, algunas instituciones tendr\u00e1n menos y otros tendr\u00e1n m\u00e1s posibilidades de analizar la cantidad de datos que manejan. Se necesita m\u00e1s investigaci\u00f3n para correlacionar los tipos de evaluaci\u00f3n con la calidad del aprendizaje.<\/span><\/p>\n

Los resultados de este estudio tambi\u00e9n demostraron que diferentes instituciones dan un peso diferente en la recogida de datos y el proceso de an\u00e1lisis. Hay que examinar m\u00e1s sobre las razones por estas diferencias.<\/span><\/p>\n

Los estudios de caso tambi\u00e9n deben llevarse a cabo para investigar la din\u00e1mica institucional que explican las decisiones tomadas en las instituciones. Obviamente, los modelos de evaluaci\u00f3n, la metodolog\u00eda y los criterios de evaluaci\u00f3n no surgieron de la nada. Las personas presentan y los desarrollaron por una raz\u00f3n. El qui\u00e9n, por qu\u00e9 y c\u00f3mo de cada instituci\u00f3n debe explorarse.<\/span><\/p>\n

Las investigaciones futuras deber\u00edan llevarse a cabo para examinar si la continuidad de los modelos, la metodolog\u00eda y los criterios de evaluaci\u00f3n que se encuentran en Puerto Rico tambi\u00e9n se encuentran en otros pa\u00edses. \u00bfHabr\u00e1 resultados similares en otros pa\u00edses?<\/span><\/p>\n

\u00a0<\/span><\/strong><\/p>\n

\u00a0<\/strong><\/p>\n

\u00a0<\/span><\/strong><\/p>\n

Referencias<\/span><\/strong><\/p>\n

American Association for HIgher Education. (1996).\u00a09 Principles of good practice for assessing student learning<\/em>. Retrieved on December 28, 2010 at http:\/\/www.academicprograms.calpoly.edu\/pdfs\/assess\/nine_principles_good_practice.pdf<\/span><\/p>\n

Bloom M. (2003).\u00a0Developing a balanced scorecard approach to measure the performance of your E-Learning initiatives<\/em>. Presentation at the Learning and Development Conference:\u00a0 Maximizing the Business Value of E-Learning. The Old Mill Inn, Toronto, Canada. . Retrieved on January 17, 2011 at http:\/\/www.conferenceboard.ca\/libraries\/educ_public\/elearning_presentation.sflb<\/span><\/p>\n

Bourne, J, & Moore, J. C. (2003).\u00a0Elements of quality online education: practice and direction<\/em>. Needham, MA: Sloan Consortium. Retrieved on March 10, 2011 at http:\/\/sloanconsortium.org\/publications\/books\/eqoe4summary.pdf<\/span><\/p>\n

Challenger, J. A. (2010).\u00a0Embracing today’s global economy<\/em>. CBS Interative Business Network. Retrieved on Abril 22, 2011 at http:\/\/findarticles.com\/p\/articles\/mi_m1272\/is_2724_134\/ai_n15380391\/<\/span><\/p>\n

Chapman, B., & Henderson, R. (2010). E-learning quality assurance: a perspective of business teacher educators and distance learning coordinators.\u00a0Delta Pi Epsilon Journal<\/em>,\u00a052<\/em>(1), 16-31. Retrieved from Education Full Text database.<\/span><\/p>\n

Christensen, C. M. & Eyring, H. J. (2011).\u00a0The innovative university: changing the DNA of higher education from the inside out.<\/em>\u00a0San Francisco: Jossey-Bass.<\/span><\/p>\n

Council for Higher Education Accreditation. (2002).\u00a0Accreditation and Assuring Quality in Distance Education<\/em>.\u00a0Retrieved on February 9, 2011 at http:\/\/www.chea.org\/Research\/Accred-Distance-5-9-02.pdf<\/span><\/p>\n

Council of Regional Accrediting Commissions standards. (2002).\u00a0Best Practices for Electronically Offered Degrees and Certificate Programs<\/em>.\u00a0Retrieved on February 6, 2011 at http:\/\/www.ncahlc.org\/download\/Best_Pract_DEd.pdf<\/span><\/p>\n

Fraenkel, J. R. & Wallen, N. E. (2010).\u00a0How to design and evaluate research in education<\/em>\u00a0(7th ed.). Boston: McGraw-Hill.<\/p>\n

Gellman-Danley, B. (1997). Who Sets the Standards? Accreditation and Distance Learning.\u00a0New Directions for Community Colleges<\/em>,\u00a01997<\/em>(99), 73. Retrieved from Professional Development Collection database.<\/span><\/p>\n

Joint Committee on Standards for Educational Evaluation (2011).\u00a0The program evaluation standards<\/em>. (3rd Edition). Thousand Oaks, CA: Sage Publications.<\/span><\/p>\n

Little, B. (2009). Quality Assurance for Online Nursing Courses.\u00a0Journal of Nursing Education<\/em>,\u00a048<\/em>(7), 381-7.<\/span><\/p>\n

Lockee, B. B., Burton, J. K. & Potter, K. R. (2010).\u00a0Examining standards for distance education systems<\/em>. Proceedings of the 11th International Conference on Education Research. http:\/\/www.aect.org\/publications\/whitepapers\/2010\/ICER1.pdf<\/span><\/p>\n

Magno, C. (2009). A Metaevaluation study on the assessment of teacher performance in an assessment center in the Philippines.\u00a0The International Journal of Educational and Psychological Assessment<\/em>. 3(1). 75-93.<\/span><\/p>\n

Mel\u00e9ndez, J., Castro, A., S\u00e1nchez, J., Vantaiatto, A. & Betancourt, C. (2007). Nueva t\u00e9cnica te\u00f3rica: La educaci\u00f3n a distancia como una innovaci\u00f3n. In Mena, M. (Compiladora).\u00a0Construyendo la nueva agenda de la educaci\u00f3n a distancia.<\/em>\u00a0(pp. 309-328). Buenos Aires: La Cruj\u00eda Ediciones.<\/span><\/p>\n

Moore, J. C. (2005).\u00a0The Sloan Consortium Quality Framework and The Five Pillars<\/em>. The Sloan Consortium. Retrieved from http:\/\/sloanconsortium.org\/publications\/books\/qualityframework.pdf.<\/span><\/p>\n

Moore, M. & Kearsley, G. (1996).\u00a0Distance education: A systems view<\/em>. Belmont, CA: Wadsworth.<\/span><\/p>\n

Palloff, R. & Pratt, K. (2009).\u00a0Assessing the online learner: resources and strategies for faculty<\/em>. San Francisco: Josset-Bass.<\/span><\/p>\n

Puerto Rico. Departamento de Desarrollo Econ\u00f3mico y Comercio. (2009).\u00a0Modelo estrat\u00e9gico para una nueva econom\u00eda. Crecimiento, competitividad, empleos<\/em>. Retrieved on March 3, 2011 from http:\/\/www.app.gobierno.pr\/wp-content\/uploads\/2010\/05\/ Modelo_Estrat%C3%A9gico _para_Nueva_Economia.pdf<\/span><\/p>\n

Puerto Rico. House of Representatives. (13 de octubre de 2010). P de la C 2923. Retrieved on February 24, 2011 from http:\/\/www.camaraderepresentantes.org\/files\/pdf\/%7BCBD681B2-88F2-4A3C-AFD8-828D96EDACE1%7D.doc<\/span><\/p>\n

Quality on the Line: Benchmarks for Success in Internet-Based Distance Education<\/em>. (April, 2000). Institute for Higher Education Policy (IHEP). Retrieved from http:\/\/www.ihep.org\/assets\/files\/\/publications\/MR\/QualityOnTheLine.pdf.<\/span><\/p>\n

Scriven, M. (2011).\u00a0Evaluating evaluations: a meta-evaluation checklist<\/em>. Retrieved on May 15, 2011 at http:\/\/michaelscriven.info\/images\/EvaluatingEvals-Checklist.pdf.<\/span><\/p>\n

Shelton, K. (2011). A review of paradigms for evaluating the quality of online education programs.\u00a0Online Journal of Distance Learning Administration<\/em>, 4(1). Retrieved on May 2, 2011 from http:\/\/www.westga.edu\/~distance\/ojdla\/spring141\/shelton141.pdf<\/span><\/p>\n

Strother, J. (2002). An assessment of the effectiveness of e-learning in corporate training programs.\u00a0International Review of Research in Open and Distance Learning<\/em>, 3(1).<\/span><\/p>\n

Sorensen, C. (1997). Localizing National Standards for Evaluation of Distance Education: An Example from a Multistate Project.\u00a0New Directions for Community Colleges<\/em>,\u00a01997<\/em>(99), 53. Retrieved on November 22, 2010 from Professional Development Collection database.<\/span><\/p>\n

Tremblay, K., Lalancette, D. & Roseveare, D. (2012). Assessment of higher education learning outcomes. Feasibility study report. Volume 1-design and implementation. Retrieved on December 3, 2012 at http:\/\/www.oecd.org\/edu\/skills-beyond-school\/AHELOFSReportVolume1.pdf<\/span><\/p>\n

United Kingdom. Department for Business, Innovation and Skills. (2011).\u00a0Higher education: students at the heart of the system<\/em>. London. Retrieved on June 29 from http:\/\/c561635.r35.cf2.rackcdn.com\/11-944-WP-students-at-heart.pdf.<\/span><\/p>\n

United States. Department of Education, Office of Educational Technology. (2013). Expanding evidence approaches for learning in a digital world.\u00a0 Retrieved on February 11, 2013 at http:\/\/www.ed.gov\/edblogs\/technology\/files\/2013\/02\/Expanding-Evidence-Approaches.pdf<\/span><\/p>\n

United States. Department of Education, Office of Innovation and Improvement. (2008).\u00a0Evaluating Online Learning: Challenges and Strategies for Success<\/em>, Washington, D.C. Retrieved on January 21, 2011 from http:\/\/www.ed.gov\/admins\/lead\/academic\/evalonline.<\/span><\/p>\n

Wang, Q. (2006). Quality Assurance – Best Practices for Assessing Online Programs.\u00a0International Journal on E-Learning<\/em>. 5(2), 265-274.<\/span><\/p>\n

Zhao, F. (2003). Enhancing the quality of online higher education through measurement.\u00a0Quality Assurance in Education<\/em>, 11(4). 214-221.<\/span><\/p>\n

Zhao, Y., Lei, J., Lai, B. Y. C. & Tan, H. S. (2005). What Makes the Difference? A Practical Analysis of Research on the Effectiveness of Distance Education.\u00a0Teachers College Record<\/em>, 107(8).<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

By: Dr. Juan Mel\u00e9ndez Full Professor University of Puerto Rico, R\u00edo Piedras Campus Consultant, Ana G. M\u00e9ndez University System, Virtual Campus \u00a0 \u00a0 \u00a0 Introducci\u00f3n El mundo ha cambiado y con ella la necesidad de cambiar la forma en que educamos a nuestros ciudadanos. Las escuelas y universidades no puedan funcionar de la misma manera […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[15,35,3,20,4],"tags":[],"class_list":["post-254","post","type-post","status-publish","format-standard","hentry","category-authors","category-dr-juan-melendez","category-fall-issue-november-2013","category-spanish","category-volume-iv"],"_links":{"self":[{"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/posts\/254","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/comments?post=254"}],"version-history":[{"count":2,"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/posts\/254\/revisions"}],"predecessor-version":[{"id":434,"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/posts\/254\/revisions\/434"}],"wp:attachment":[{"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/media?parent=254"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/categories?post=254"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/hets.org\/ejournal\/wp-json\/wp\/v2\/tags?post=254"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}