Evaluación del Nivel de Satisfacción de la Gestión de un Programa de Aprendizaje a Distancia Aplicando el Modelo CIPP: Caso del Programa de Administración de Sistemas de Oficina de una Universidad Privada de Puerto Rico

Por: Dra. Omayra Caraballo Pagán
Universidad Interamericana de Puerto Rico – Recinto de Ponce

 

 

Evaluación del Nivel de Satisfacción de la Gestión de un Programa de Aprendizaje a Distancia Aplicando el Modelo CIPP: Caso del Programa de Administración de Sistemas de Oficina de una Universidad Privada de Puerto Rico

 

Resumen

La evaluación, como instrumento pedagógico, diagnostica y provee dirección para tomar las decisiones curriculares y de gestión educativa adecuadas entre las comunidades universitarias, además es una herramienta de vital importancia para determinar la efectividad de sus programas. Durante el año académico 2009-2010 se realizó la evaluación de un programa de aprendizaje a distancia, con aproximadamente 20 años bajo la modalidad presencial, implantado en agosto de 2006 bajo la modalidad a distancia y con un total combinado de aproximadamente 409 estudiantes-presencial y a distancia.

Para conducir esta evaluación se utilizó el Modelo de Toma de Decisiones CIPP y la base teórica de Bates sobre la gestión del cambio tecnológico. El estudio permitió una identificación de un nuevo perfil estudiantil que demanda una educación universitaria cada vez más flexible y variada. Refleja la necesidad de referir a una facultad hacia el uso de nuevas destrezas y conocimientos para asumir nuevos roles ante estas tecnologías. Crea la necesidad de considerar los procesos de evaluación como un elemento prioritario en los planes estratégicos universitarios. Resalta la importancia de continuar con el fortalecimiento de las distintas estructuras de apoyo – académico, administrativo y tecnológico. Apoya la hipótesis de que la educación a distancia es el futuro de la educación superior en Puerto Rico y que en esa dirección, será fundamental reinventar la universidad de estos tiempos.

 

Palabras claves: Program Evaluation, Higher Education, Distance Education, Models, Administrative Secretaries     

 

 

Introducción

 

La evaluación institucional y educativa son procesos muy importantes, especialmente si se realizan en instituciones universitarias que desean el desarrollo exitoso de sus programas. La evaluación, como instrumento pedagógico, diagnostica y provee dirección para tomar las decisiones curriculares y de gestión educativa adecuadas entre las comunidades universitarias, además es una herramienta de vital importancia para determinar la efectividad de sus programas.

 

En las organizaciones educativas se observa que los programas académicos contextualizan la visión, la misión y los objetivos de la instituciones de manera coherente, formando  una estructura que permita el desarrollo y la formación del estudiante, el personal administrativo y docente que labora en éstas (González, 2006). Igualmente, se reconoce en el aprendizaje un componente crítico para el éxito de sus gestión, por lo que, según Huertas (s.f.), las nuevas estructuras organizacionales tienen ante sí el reto de apoyar un buen aprendizaje y sus respectivas evaluaciones.

 

Partiendo de estas apreciaciones generales se dirigió este estudio a la evaluación de un programa de aprendizaje a distancia en una institución de educación superior de la región sur de Puerto Rico. Esta contaba con una matrícula aproximada de 6.200 estudiantes, de los cuales 812 son estudiantes a distancia y 2.442 toman algún curso bajo esta modalidad educativa.

Revisión de literatura

La revisión de literatura reveló que este programa se inició en el 1995 e incluyó un plan de implantación y evaluación de tres años. Se estima que el programa comenzó con la iniciativa de una profesora, quien al buscar resolver el problema de la escasa matrícula en sus cursos de especialidad y establecer un nicho en su disciplina, se aventuró a trabajar cursos bajo esta modalidad (Torres, 2007).

El problema que atendió el estudio es el de la evaluación del nivel de satisfacción de la gestión del Programa de Aprendizaje a Distancia de Administración de Sistemas de Oficina de una institución de educación superior de la región sur de Puerto Rico. El mismo tenía 20 años bajo la modalidad presencial, en agosto de 2006 se implantó bajo la modalidad a distancia y contaba con un total combinado de aproximadamente 409 estudiantes-presencial y a distancia.

La investigación realizada reflejó que no hay evidencias documentales de evaluación sobre este programa. En consecuencia, resultó importante estudiar la efectividad de su implantación y su desarrollo posterior, así como identificar sus áreas y necesidades actuales con el propósito de mejorar su gestión y fortalecer la modalidad a distancia en la institución.

Referentes de la Institución Objeto de Estudio

La pertinencia o utilización de los procesos de evaluación en el sistema educativo, así como las discrepancias, se fundamentaron en una variedad de aspectos que le son imputados a la evaluación (Montero, 2004). Ésta se estableció como una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos.

Torres (2007) destacó que los programas de aprendizaje a distancia en el sistema educativo en Puerto Rico son una modalidad relativamente reciente. Esto significa que podrían presentarse inconvenientes para utilizarse como alternativa educativa, entre estas se pueden mencionar; resistencia al cambio entre los estudiantes y miembros de la facultad. Sin embargo, este autor planteó que en el país existen pocos estudios relacionados con el tema de la educación a distancia que demuestren este tipo de indicadores u otros.

 

La falta de estudios de evaluación en la educación a distancia en Puerto Rico no ha permitido referentes para crear nuevos programas adecuados a la realidad institucional que los exige, al igual que a las necesidades del desarrollo de recursos humanos necesarios al país. Por el contrario, ha provocado que instituciones, por ejemplo como la  objeto de este estudio, establezcan políticas institucionales particulares, a través de su Junta de Síndicos. Políticas, que de acuerdo a los documentos recopilados, aprueban y establecen entre otros aspectos, que la modalidad de estudios a distancia se movió hacia la transformación en sus procesos de enseñanza-aprendizaje. De la misma forma, desarrollaron nuevos enfoques educativos con la integración de la tecnología y la incorporación al programa de aprendizaje a distancia. 

 

Del mismo modo, se estableció que cada unidad académica debe desarrollar un proceso continuo de evaluación y validación de la calidad académica de las actividades de aprendizaje implantadas. Sin embargo, Torres (2007) acentúa que, aún cuando existe una gran cantidad de documentos institucionales, éstos no proveen suficiente información sobre el programa de evaluación de la educación a distancia.

 

Para tener una idea más clara hacia dónde se dirige la institución estudiada se puede mencionar que, en su visión se destaca que la institución busca proyectarse como el centro de educación a distancia por excelencia en el Caribe e Hispanoamérica. Igualmente, en su misión se establece que para la preparación de profesionales no se tomará en cuenta las barreras de tiempo y espacio. Además, en sus metas, entre otros aspectos, se menciona el promover una educación integral que se encamine a la utilización eficaz de los avances tecnológicos y, por último, se señalan las políticas institucionales que guiarán los programas a distancia a implantarse.

 

Descripción del programa objeto de estudio. El Programa objeto de este estudio responde a la necesidad de satisfacer la demanda del mercado por profesionales de apoyo administrativo con dominio en el manejo de sistemas electrónicos, conocimientos, técnicas, procedimientos y destrezas requeridas para desempeñarse exitosamente en la oficina. Este Programa ofrece el trasfondo cultural y los conocimientos fundamentales de la administración de oficinas que permiten al profesional de apoyo administrativo participar efectivamente en la toma de decisiones, el análisis de datos, el manejo y procesamiento de la información, la comunicación verbal y escrita y el establecimiento de relaciones interpersonales efectivas.

 

Para el caso que ocupa este estudio se entiende que el desarrollo de una oferta académica bajo la modalidad de aprendizaje a distancia requiere de una estructura más compleja que la representada por la formación tradicional (Mir, Reparaz & Sobrino, 2003). En su inicio, esta modalidad fue desarrollada con la intención de  proveer alternativas de estudio a estudiantes que por su lejanía geográfica no podían llegar a los centros universitarios (Volery & Lord, 2000). Sin embargo, a pesar del aumento en la oferta académica de esta modalidad, la evaluación de la misma no va en igual dirección a su progreso (Torres, 2007).

Ahora bien, la educación a distancia debe verse dentro de un contexto determinado y, por supuesto, el aprendizaje que ella genera, según se explica a continuación.

La Educación a Distancia, su Contexto y Definición de Aprendizaje

La educación a distancia se visualiza como un concepto nuevo por muchos educadores (Simonson, Smaldino, Albright & Zvacek, 2006). No obstante, este concepto posee una historia aproximada de 160 años.

 

Peters (2003) escribió que las universidades virtuales utilizan nuevos medios tecnológicos con los cuales pueden completar el proceso de enseñanza-aprendizaje a través de un sistema integrado. Mientras que Rovai, Ponton y Baker (2008) coincidieron al resaltar que cada vez más hay estudiantes con compromisos laborales, sociales y familiares que usan este sistema, con una clara tendencia a aumentar.

 

Las computadoras representaron otra etapa en el desarrollo de la educación a distancia. En esta dirección, Ackermann y Hartman (2002), como se cita en Simonson et al. (2006), destacaron que acentuaron que este medio ha permitido la conexión al Internet mediante redes de personas a través del mundo. Estos autores destacaron que, en Estados Unidos, la American Open University, Nova Southeastern University y la University of Phoenix son reconocidas como líderes en proveer educación a distancia. Igualmente, la British Open University, FernUniversität of Germany y la University of Twente in The Netherlands se reconocen como líderes en Europa. Hoy día, existen muchas universidades del mundo, inclusive en Puerto Rico, que ofrecen cursos y/o programas académicos totalmente a distancia.

 

Por otra parte, las universidades a distancia han asumido un rol significativo en impulsar la modalidad a distancia. Las nuevas demandas educativas ejercieron presión en ampliar la oferta académica a adultos con interés de estudiar pero con unas necesidades particulares (Rovai et al., 2008). Esto provocó que las universidades evolucionaran y crearan o modificaran sus servicios para atender estudiantes con un nuevo perfil, lo que provocó el surgimiento de las universidades virtuales (Álvarez, 2005). Esta tendencia queda validada por el Departamento de Educación de Estados Unidos (Gilbert, 2001), al señalar que para el 1999 el 90% de los colegios y las universidades que ofrecieron cursos a distancia matricularon más de 10,000 estudiantes. Mientras, Rovai et al. (2008), agregaron que durante el 2005, aproximadamente 3.2 millones de estudiantes tomaron al menos un curso en línea, lo cual refleja un aumento en relación al año anterior, en el que se matricularon 2.3 millones de estudiantes.

 

Necesariamente, el desarrollo tecnológico es irreversible, por lo que, podría afirmarse que la educación a distancia ha estado y seguirá sujeta a la evolución continua que experimenten los medios tecnológicos (Mir et al., 2003).

 

Por último, Vilaseca y Castillo (2003), como se cita en Álvarez (2005),  resaltaron la importancia que tiene actualmente la educación a distancia al configurar una nueva forma de distribución de la educación. Esto, inaugurando una serie de transformaciones necesarias en el ámbito de los recursos pedagógicos y tecnológicos asociados al proceso de desarrollo de la actividad educativa.

 

Esta autora manifestó que el aprendizaje a distancia debe verse como una oportunidad de impartir enseñanza a aquellos que tienen necesidades particulares. Por lo tanto, es responsabilidad de todas las instituciones velar que sus ofrecimientos estén  acordes con las expectativas de las personas a quienes van dirigidas, de modo que estas instituciones puedan tomar en consideración los recursos y limitaciones de los receptores de esa educación.

Modelo de Evaluación: CIPP

Existen varios modelos que pueden ser utilizados en la evaluación de los programas. Estos tienen como propósito los siguientes aspectos: “seguimiento, identificación de problemas, desarrollo de programas pilotos para mejorar la eficacia, identificación de diferencias por población y la determinación de relevancia de los programas” (Jason, 2008, p. 4). Dentro de los modelos revisados en la literatura la Figura 1 destaca los siguientes (Fitzpatrick et al., 2004):

Figura 1: Modelos de Evaluación

 

Luego de estudiar estos modelos se llegó a la conclusión que, de acuerdo a la aportación que se esperaba brindar, el modelo más adecuado era el de Daniel Stufflebeam (2007). El mismo hace énfasis en el criterio que maneja la toma de decisiones. Este énfasis tiene como interés que los resultados de la investigación sirvan referencia para la toma de decisiones institucionales, luego de una evaluación continua del programa a distancia mencionado. En esta dirección, Rovai et al. (2008) aseguraron que este modelo se puede utilizar evaluaciones formativas y sumativas.

El modelo CIPP de Daniel Stufflebeam fue seleccionado para la evaluación del programa por su pertinencia y facilidad de adaptación a los programas de educación a distancia (Miguel, Rodríguez, Benhamu & Miguel, 2005).

 

Si se considera por ejemplo la evaluación del  programa estudiado, el propósito de utilizar el Modelo CIPP, orientado a la toma de decisiones (Fitzpatrick et al., 2004), fue el de evaluar la eficiencia de éste en relación a las metas que se plantearon originalmente. Asimismo, comparar si los objetivos que se trazaron inicialmente fueron logrados, confirmar, por otro lado, si los recursos que se plasmaron como necesarios son los existentes o cuán distantes están de las necesidades actuales, y validar si el costo-efectivo calculado fue el adecuado. Igualmente, analizar el efecto en el reclutamiento/retención/deserción de los estudiantes en Puerto Rico o si hoy es necesario establecer cambios.

 

Por otro lado, cabe destacar que las instituciones de educación superior de Puerto Rico se nutren de fondos federales. En esta dirección, en la Ley de Educación Superior del 2008 (Middle States Association, 2010) se ha considerado un aumento en el marco regulador para la rendición de cuentas (accountability) por parte del Congreso y del Departamento de Educación de Estados Unidos para las instituciones educativas y las agencias acreditadoras. Esta rendición de cuentas exige que se evidencie el uso de los fondos en contraste con el logro de los usuarios del sistema educativo, en este caso los estudiantes, e incluye el impacto de los programas a distancia.

 

El uso de este modelo de evaluación permitió aportar una retroalimentación que sirvió para apoyar el requerimiento que hace el Departamento de Educación de Estados Unidos, así como les permitirá mejorar los programas y, por consiguiente, la sociedad la cual atienden. Esta retroalimentación contempla cómo replantear los inicios del programa, desarrollo, función y logros; áreas que forman parte del modelo seleccionado.

 

En resumen, con la aplicación del Modelo CIPP, se evaluó la pertinencia del programa y sus contenidos en relación a las exigencias educativas y laborales del sector de oficina. Igualmente, el comportamiento de la facultad, su congruencia o incongruencia con lo establecido y realizado, los recursos disponibles para implantar el programa, el rendimiento estudiantil e  institucional, y los resultados esperados en comparación a lo logrado.

 

La Tabla 1, describe las preguntas que se incluyen en cada fase de este modelo, con las cuales se dirigió la evaluación de este programa.

Tabla 1 Descripción del Modelo CIPP

Fase Descripción
Contexto Provee información sobre todo aquello que rodea al programa: ¿Qué tiene? ¿Cómo está estipulado el programa? ¿Cuáles son las necesidades educativas de los estudiantes?
Insumo ¿Cuáles son los recursos que hacen que el programa trabaje? Las estrategias, actividades y procedimientos desarrollados, ¿están alineados al programa?
Proceso Determina si el programa funciona. ¿Cómo es la función del programa?

¿Hasta qué punto el programa se desarrolla cómo se había planificado?

Producto ¿Cuáles son los logros obtenidos? ¿Cuál es el valor del programa? ¿Cuáles son los resultados medibles? ¿Cuál es su relación con las metas y objetivos del programa?

Nota. De “Evaluation, theory, models, & applications”, por D. L. Stufflebeam y A. J. Shinkfield, 2007, p. 32.

Conjuntamente con la aplicación de este modelo, se evaluaron los aspectos relacionados al cambio tecnológico que debieron ocurrir en el programa o la institución donde éste tiene su desarrollo.

Gestión del Cambio Tecnológico de Bates

La revisión de literatura y la lectura de algunos aspectos de las bases teóricas adecuadas y utilizadas para apoyar el análisis de esta evaluación, incluyó:

  1.       El estudio independiente de Wedemeyer y Moore (Schlosser & Simonson, 2009) en el que el aprendizaje es autodirigido, lo que exige cierta autonomía del aprendiz.
  2.       La andragogía de Knowles (Schunk, 2008), la cual representa una disciplina que busca suplir la educación y el aprendizaje del adulto.
  3.      La industrialización de la enseñanza de Peters (2003), la que expone que la educación a distancia transformó las estructuras organizacionales de las instituciones  educativas con un incremento de la automatización (Simonson et al., 2006).
  4.      El cambio tecnológico en Bates (2000), en el que se evalúa el impacto de la integración de nuevas tecnologías.
  5.      El conectivismo de Siemens (2005, 2004), que hace énfasis a la era digital (Ferreyra & Pedrazzi, 2007).
  6.      La equivalencia en Simonson, Schlosser y Hanson (1999), la que destaca la igualdad de experiencias de aprendizaje en la educación a distancia en comparación con la educación en el salón de clases.

Luego de esta revisión, se determinó seleccionar como apoyo a la base teórica del estudio algunos criterios presentados por Bates. Éstos acogen los criterios teóricos que se pueden utilizar para gestionar el cambio tecnológico en las instituciones o centros universitarios, en atención a los siguientes aspectos: acceso y flexibilidad, costos, perfil de la enseñanza y el aprendizaje, interactividad y respeto por el usuario, organización, novedad y rapidez (resumidos en el acrónimo ACCIONAR).

Bates (2000) expuso que es preciso atender rápidamente los valores esenciales de la academia. Así también, que para tener éxito en la puesta en práctica de nuevas tecnologías, las estrategias de planificación y gestión requieren un cambio de cultura. Esto, al tomar en consideración que la nuevas tecnologías juegan un papel fundamental en el mundo actual, por lo que las instituciones educativas tienen la necesidad de encontrar nuevas formas de responder a la creciente demanda de una enseñanza permanente (p. 56).

 

Asimismo, esta referencia teórica se utilizó para evaluar el proceso de planificación estratégica flexible y continua, requerido en la adopción e implantación de la educación a distancia. De los aspectos mencionados por Bates (2000), se tomó en consideración si el uso de las nuevas tecnologías puede significar un mejoramiento en la eficacia de los costos, al permitir llegar a nuevos estudiantes y alcanzar unos resultados de aprendizaje de mayor calidad con bajos costos.

 

Igualmente se comparó, entre otras variables, el poder adquisitivo de los estudiantes en relación con el costo de los métodos de la enseñanza tradicional. Además, se consideró la infraestructura tecnológica disponible para atender las necesidades administrativas y académicas. Esto, al reconocer que es esencial la inversión en infraestructura tecnológica que influye tanto en las prioridades académicas, como en las administrativas.

 

En resumen, de acuerdo a los criterios teóricos de Bates (2000) acerca de la gestión del cambio tecnológico en los centros universitarios, se observó, en particular, cómo la institución objeto de este estudio ha asumido lo que se refiere a:  “a) la necesidad de hacer más con menos, b) las necesidades de aprendizaje cambiantes de la sociedad, y c) el impacto de las nuevas tecnologías en la enseñanza y el aprendizaje” (p. 26). Planteó que los resultados que se obtengan podrán medir varias áreas. Éstas áreas se pueden dividir en el acceso del estudiante al sistema, el análisis de costo-beneficio del programa, la relación entre las diferentes aplicaciones de la tecnología y los diferentes resultados de aprendizaje, al equilibrio entre la docencia directa y la basada en la tecnología.

Ahora bien, para finalizar vale la pena hacer mención a la relación que se presenta  entre los aspectos teóricos de Bates, arriba mencionados, con el modelo CIPP, especialmente en atención al contexto, proceso, insumo y producto de los programas tecnológicos y a distancia.

Relación Conceptual del Modelo CIPP y el Cambio Tecnológico de Bates

En términos generales, según Henckell (2007), “las evaluaciones de la educación a distancia facilitan la información necesaria para apoyar a los programas de educación a distancia en el cumplimiento de las necesidades de los estudiantes” (p. 25). Además, contribuyen a que continúen considerándose como un medio alternativo de entrega educativa a diferentes sectores de la población por parte de las instituciones de educación superior.

 

La combinación del Modelo CIPP y el criterio teórico sobre el cambio tecnológico de Bates (2000) articuló de una manera profunda la evaluación. Ambos complementaron y dirigieron una evaluación más coherente en vías de lograr un análisis apropiado del programa objeto de estudio. Muchos de los modelos y conceptos teóricos presentados se ajustaban a la educación a distancia. Sin embargo, el modelo y concepto teórico seleccionado apuntaron a una idoneidad y combinación muy dirigida al programa estudiado. Esto, al recordar que dicho programa se distingue por la falta de evaluaciones anteriores, una implantación de varios años y la particularidad de que éste posee cursos que a nivel mundial tradicionalmente han sido ofrecidos de forma presencial.

 

De manera que, al tomar en consideración el marco teórico descrito en la revisión de literatura, se resalta la importancia de  la evaluación del programa a distancia de Administración de Sistemas de Oficina al utilizar el Modelo CIPP y la gestión del cambio tecnológico.

Al efecto, la combinación entre el Modelo CIPP y el cambio tecnológico de Bates permitieron evaluar la pertinencia del programa y sus contenidos en relación a las exigencias educativas y laborales del sector de oficina. Esto hizo posible la identificación de las fortalezas y debilidades del programa, a través de la evaluación, de modo tal que pudieran hacerse recomendaciones que permitieran tomar las decisiones necesarias para mejorar la gestión académica y administrativa en el mismo, proveyendo, a su vez,  las guías necesarias para lograr que sus actividades a distancia sean exitosas.

Implantación a Distancia de los Programas de Administración de Sistemas de Oficina

López (2007), docente de un programa de Sistemas de Oficina en Puerto Rico, señaló que la profesión del asistente administrativo sufre unos cambios vertiginosos en este momento histórico debido a la explosión de la tecnología, al igual que por los cambios en la manera de hacer negocios. Igualmente resaltó que este profesional “necesita posicionarse en la administración, de manera que pueda responder adecuada y eficientemente a estas nuevas destrezas y conocimientos que la organización del Siglo 21 requiere del asistente administrativo o del futuro administrador o gerente de oficina” (p. 3). Y agregó que “esta trayectoria inexorable exige un profesional que responda a la globalización, al que se le provea una ventaja competitiva a través de un programa de estudios que se reinvente y se atempere a las demandas educativas y empresariales del nuevo siglo” (p. 10).

 

La sociedad se encuentra en una época donde la economía y la fuerza laboral se encuentran digitalizada, virtualizada y la automatización en la producción de bienes se observa en muchas áreas. Dados estos escenarios, cada trabajo que se conoce actualmente será afectado. Y el desarrollo profesional de egresados, según López (2007), demandará un cambio curricular y un cambio en las estrategias y métodos de enseñanza. 

 

Conforme a esto y parafraseando a Huertas (2006), las instituciones de educación superior tienen ante sí el reto de reenfocar sus ofrecimientos y servicios, al tener como una de sus prioridades la internacionalización no simplemente de sus servicios, sino de su currículo. En este sentido, esta autora, resaltó que el programa de Sistemas de Oficina debe responder a estas demandas sociales, tecnológicas y políticas que implican realizar cambios o reinventar sus ofrecimientos.

 

Huertas (s.f.), igualmente, puntualizó que en “los programas de Sistemas de Oficina en Puerto Rico, todavía no se investiga la percepción del departamento y de los estudiantes que se encuentran matriculados en este programa acerca de su implantación a través de la educación a distancia” (p. 7). También destacó que:

 

No se puede perder de perspectiva que en la medida que los estudiantes y profesores estén satisfechos con su participación en la toma de decisiones sobre los ofrecimientos académicos que tienen las universidades, aceptarán más positivamente los cambios e innovaciones en el currículo. Esto a su vez redundará en el ofrecimiento de un programa de alta calidad académica, con posibilidades de expansión y la utilización efectiva de los recursos económicos. (p. 7)

 

Esta misma autora destacó la percepción de la implantación de un programa a distancia en Administración de Sistemas de Oficina. Ésta dividió su estudio en las áreas de infraestructura, servicios, currículo y clientela a la que atiende. Como resultado señaló que además del apoyo de la tecnología, una universidad necesita establecer una infraestructura administrativa que apoye las necesidades especiales de los estudiantes y la facultad involucrada en el programa.

 

En consecuencia, y en concordancia con lo planteado por Hayes (1997), esta autora expuso que para establecer una política de implantación de un programa de educación a distancia hay que considerar la percepción de los afectados, quienes darán un significado genuino en el proceso de planificación. Puntualizó, de igual manera, que la National Business Education Association (1999) consideró que el avalúo de un programa de educación a distancia debe contemplar el sistema utilizado, las competencias del aprendiz, los estándares de los cursos y la efectividad del docente.

 

Sherry y Morse (1995) apoyaron el hallazgo de Huertas (s.f.) al resaltar la importancia de realizar una evaluación de las necesidades de todos los actores (facultad, administradores u otras personas que estén involucradas en el programa a distancia). Esta autora señaló que en la Facultad de Sistemas de Oficina es necesario considerar estos planteamientos a la hora de escoger un sistema de educación a distancia como un sistema de enseñanza y, recordó que no todos los cursos ni todos los estudiantes se benefician necesariamente de estos programas. Por estas razones, también destacó que es importante determinar qué conocimientos y destrezas pueden adquirirse efectivamente a través de este sistema, cómo la educación en sistemas de oficina puede estimular a los estudiantes a desarrollar las competencias que necesitan, qué cursos son apropiados para enseñar en este sistema y cómo se establece un balance entre la eficiencia económica y la efectividad del aprendizaje en un ambiente a distancia. Esto por considerar que tradicionalmente, los cursos de este programa han sido ofrecidos de forma presencial.

 

Cónsono con estos últimos planteamientos, Bates (2000) puntualizó que el proceso de cambio no finaliza con la mera implantación de un programa, por bueno que éste pueda ser. Una vez se han implantado los cambios, la organización deberá evaluarlos para determinar si se han logrado los objetivos que se pretendían. A tenor con lo planteado por Bates, Duart y Argüelles (s.f.), sugieren volver la mirada hacia el servicio y hacia el participante, y tratar de encontrar soluciones a sus necesidades, en lugar de perderse en planificaciones redactadas para ser aprobadas en consejos asesores de las universidades. Este servicio será posible cuando se asuma como política oficial la evaluación de los programas educativos.

Tendencias en la Evaluación de los Programas a Distancia

El estudio de las tendencias en la evaluación de los programas a distancia es importante para no descontextualizar los hallazgos sobre el particular, así como mantenerse actualizado ante las nuevas expectativas que suponen el desarrollo tecnológico y su impacto sobre estos programas. Igualmente, estudiar este asunto permite objetivar cualquier evaluación.

 

Silvio (2006) expresó que en el 1999, la educación virtual y a distancia ocupaba alrededor de un 6% de la población estudiantil en la región de América Latina, mientras en el 2004, no avanzó mucho más que un 10%. Ante esto, este autor se preguntó por qué una innovación tan prometedora y portadora de bienestar y futuro de una mejor calidad de vida ha evolucionado tan lentamente. No obstante, ante las posibles respuestas que puedan darse al respecto, éste agregó que hay que reconocer “la existencia de una tendencia hacia la evaluación de la calidad de los programas a distancia y el desarrollo de sistemas de acreditación de éstos, los cuales prometen un mejor futuro para esta modalidad” (p. 6).

 

En relación a la evaluación de los programas a distancia, los escasos recursos y los déficits presupuestarios han presentando muchos desafíos entre los directivos y administradores para que estos mantengan sus programas (Fitzpatrick et al., 2004). Cada administrador de un programa necesita conocer cuán bien trabajan las diferentes partes del mismo; sus recursos, administración e inversión, entre otras cosas, para proceder a evaluar la gestión.

 

De manera que, según expresaron Fitzpatrick et al, (2004) “el propósito de la evaluación es emitir un juicio acerca del valor de lo que vaya a ser evaluado” (p.10). El propósito central del acto evaluativo es determinar el mérito o valor de algo. En la misma dirección, Mark, Henry y Julnes (1999), como se cita en  Fitzpatrick et al. (2004), articularon cuatro diferentes propósitos de la evaluación, a saber: “1) evaluación del mérito o el valor, 2) descuido y conformidad, 3) programa y mejoramiento de la organización y, 4) desarrollo del conocimiento” (p. 11).

 

Para el caso especifico de la evaluación de programas a distancia que nos ocupa, y parafraseando a Silvio (2006), la última medida de su calidad es el aprendizaje logrado por quienes utilizan sus recursos. Este autor destacó que la evaluación del sistema, su infraestructura y recursos se realizan con el fin de inferir la capacidad del sistema para producir un aprendizaje significativo con el objetivo de mejorar la calidad de vida de quienes aprenden. En esta dirección, acentúo que pueden evaluarse los programas, proyectos y actividades de la educación a distancia con diversos criterios que contienen indicadores acerca del grado en el que el programa se ajusta a las normas de calidad en varios aspectos significativos para su desempeño como programa.

 

No obstante, Silvio (2006, p. 5),  afirmó que “la evaluación es sólo un aspecto relativamente estático del problema; lo importante es asegurar, mantener y mejorar continuamente la calidad de la educación a distancia, y que para ello debe realizarse una buena gestión”. Además, precisó que,  “la base de una buena gestión de la calidad de la educación a distancia en la educación superior es, sin duda, un sistema eficiente de evaluación de su calidad”.

 

En la misma dirección, Briceño (2005) planteó que la discusión de los procesos de evaluación de la gestión académica en las instituciones que ofrecen estudios a distancia requieren de una reflexión crítica debido al reto que enfrentan éstas en cuanto a su visión, misión y paradigma educativo. También, por sus requerimientos para garantizar la calidad, el grado de aceptación y credibilidad social.

 

Igualmente, este autor hizo énfasis en que existe una necesidad por asegurar la calidad de los programas de educación a distancia. Asimismo, se refirió a varias organizaciones, entre ellas: The Commission on Higher EducationThe Institute for Higher Education Policy y el Centro Virtual para el Desarrollo de Estándares de Calidad para la Educación Superior a Distancia en América Latina y el Caribe, las cuales desarrollaron un sistema de estándares de calidad para orientar a las instituciones en el desarrollo de sus políticas, prácticas y procedimientos que les garantizaran la calidad de la instrucción y de los servicios que ofrecen. Esto, de forma tal que puedan a su vez, mejorar y administrar con éxito el desarrollo de los programas de educación a distancia con niveles de excelencia y de acreditación.

 

Además de la evaluación de la calidad en las instituciones de educación a distancia, igualmente en programas como el que nos correspondió investigar, se encuentra la necesidad de evaluar y medir los aprendizajes adquiridos por los estudiantes. Esta evaluación y medición de aprendizaje tiene que considerar muchos aspectos, entre otros, tecnológicos, pedagógicos, instruccionales, de modo que se estudien todos los efectos de éstos en los procesos de aprendizaje.

 

Bates (2000), como investigador en la gestión del cambio tecnológico, señaló la existencia de varios elementos en la evaluación en la educación a distancia, los cuales deben ser considerados para garantizar la calidad en sus procesos de enseñanza y el aprendizaje.

 

Al respecto se mencionan los siguientes elementos (Bates, 2000, pp. 90-91):

  1.  “Valor del contenido para atender la demanda o necesidad de conocimiento.
  2. Uso apropiado de recursos y de producción de materiales de enseñanza.
  3. Diseño instruccional adecuado que facilite la conexión entre el alumno y los materiales de aprendizaje.
  4. Disponibilidad y accesibilidad de los materiales para accederlos fácilmente.
  5. Apoyo técnico para que el estudiante pueda utilizar los recursos de la plataforma educativa (facilidad en la navegación e interacción de estudiante-estudiante y estudiante-docente).”

 

Otro autor, Macksoud (2008), en una conferencia sobre las nuevas tendencias en acreditación y calidad en la educación, señaló que “las instituciones deben medir el aprendizaje de los estudiantes de manera cabal y demostrar que tienen procesos instituidos para evaluar y mejorar los resultados del aprendizaje y la efectividad institucional de forma continua” (pp. 6-7). Además, destacó que existe la tendencia de establecer una cultura de assessment y evidencia como fundamento al mejoramiento continuo del aprendizaje.

 

En relación a este tipo de evaluación de los aprendizajes, este autor resaltó que es necesario otorgar un mayor énfasis en autoestudios que analicen de forma sistemática y longitudinal los procesos existentes (e.g. planificación estratégica, evaluación de programas y gerencia de servicios a estudiantes). De esta forma, se facilitaría el proceso formativo para identificar áreas que mejoren algunos aspectos del aprendizaje, en lugar de presentar informes limitados en un momento dado.

 

Asimismo, este autor argumentó que hasta hace poco los estándares de acreditación ligados a la evaluación se enfatizaban principalmente “en los recursos y procesos: oferta académica, calificaciones de la facultad, instalaciones, servicios” (p. 6). Más aún, no se consideraba si las instituciones lograban resultados acordes con su misión. Además, destacó que los nuevos estándares de la Middle States Association (MSA),  agencia que evalúa y acredita a las instituciones educativas de Puerto Rico y adscrita a la Commission on Higher Education of  U.S.A., requieren que las universidades se ocupen de evidenciar productos o resultados educativos.

 

En este sentido, el Consejo Nacional de Evaluación y Acreditación (CONEA) de Ecuador, inspirado en las recomendaciones de la UNESCO (2002), enfatizó en evaluar la calidad de los programas de educación a distancia y expuso la falta de una normativa que regule el funcionamiento de estos programas (Bastidas y Rosero, 2008). CONEA destacó que hay que incrementar la experiencia en la autoevaluación por parte de las instituciones de educación superior y la complejidad de ésta por los constantes cambios tecnológicos.

 

Ahora bien, en relación a la situación de la educación a distancia y su calidad en Puerto Rico, se puede decir que ha aumentado el número de instituciones extranjeras con ofrecimientos de estudios a distancia. Sin embargo, muchas de éstas no poseen una infraestructura y se desconoce cómo y quiénes las acreditan. En este sentido, “existe una preocupación por la calidad de la educación en línea ante la proliferación a una velocidad sorprendente de instituciones en línea y de educación a distancia” (Korniejczuk, 2003, p. 35).

 

Korniejczuk (2003) manifestó que la práctica de la acreditación institucional fue, es y seguirá presente como un elemento de control de calidad importante. De igual forma, agregó que:

 

En la medida en que se establezcan estándares nacionales e internacionales que regulen la educación superior ofrecida a distancia a través de la Internet, se garantizará en gran medida una oferta de calidad que podrá competir sanamente con los productos tradicionales de la educación presencial, lo que validará los estándares indicados anteriormente. (p. 48)

 

En este sentido, el Consejo de Educación Superior de Puerto Rico (2004) planteó en un Seminario Regional sobre el Diagnóstico de la Educación Superior, invitado por el Instituto Internacional de Educación Superior para la América Latina y el Caribe, que la educación a distancia en el país ha gozado de un crecimiento vertiginoso, continuo y diversificado. Asimismo, que existe una tendencia marcada hacia el uso de la educación a distancia como una herramienta instruccional y complementaria a las experiencias educativas presenciales. Sin embargo, esta organización planteó que, aún cuando se han establecido políticas para la autorización de programas extranjeros, hace falta fortalecer y promover una nueva cultura de investigación en la que la evaluación permanente y colaborativa juegue un rol cada vez más importante.

 

Es referirse, como bien expuso Ferreiro (2002), a que la educación a distancia no debe reducirse a la integración de la tecnología, sino que debe hacerse un buen uso de ésta para que se logren los resultados esperados y que se justifique plenamente la inversión realizada. De modo que, conforme la implantación de programas a distancia continúe en aumento debido a que la población estudiantil tiene demandas y necesidades particulares, será necesario considerar la percepción de los estudiantes y profesores ante estos cambios (Huertas, s.f.).

 

En este sentido, interesó resaltar en esta investigación lo referido a la satisfacción, el reclutamiento, la retención y la deserción estudiantil del programa objeto de este estudioEn esta dirección, los resultados de Merena (2006) en su estudio de disertación doctoral acerca de la satisfacción de los estudiantes reflejaron que ésta aumenta la motivación y que este incremento provee resultados más altos en las tasas de éxito. En sus observaciones señaló que si las instituciones se enfocan en las actividades, métodos y estrategias que redunden en mayor satisfacción en los estudiantes, la presunción será que habrá un crecimiento en el éxito del estudiante, lo que propiciara un aumento en las tasas de retención.

 

Según este estudio de Merena (2006), la interacción con el instructor, la calidad de los materiales del curso, el mejoramiento de los métodos de evaluación, los métodos de entrega y las disciplinas, son factores que inciden en la satisfacción del estudiante y el éxito en el entorno de la educación a distancia. Mientras, Towles, Ellis & Spencer (1993) mencionaron que la interacción estudiante-docente es un factor que afecta la retención en los programas de educación a distancia. En esta misma dirección mencionaron que para Tinto (1975), quien se ha caracterizado por realizar estudios e investigaciones acerca de la deserción/retención estudiantil, la integración académica y social de los estudiantes, es un aspecto determinante en la permanencia de éstos para completar su meta académica. Igualmente, estos autores indicaron que este aspecto se corrobora en un estudio de Garrison (1987), quien relaciona el sentimiento de los estudiantes de aislamiento social y académico con la deserción en la educación a distancia.

 

En esta dirección, Belton (1994) (como se cita en Huertas, s.f.) realizó un estudio sobre la interacción entre profesores y estudiantes en programas de educación a distancia, y concluyó que la frecuencia con la que éstos interactúan y con la que se ofrece la retroalimentación está directamente relacionada con la retención de los estudiantes en los programas.

 

No obstante, en el reclutamiento, Henckell (2007) subrayó que entre los aspectos de los programas de educación a distancia que preocupan se incluye la forma de dirigir los esfuerzos de mercadeo de los mismos, esfuerzos que se verán reflejados en el reclutamiento de estudiantes.

 

Finalmente, se interesa enfatizar que los diferentes aspectos antes descritos, forman parte de lo que se ha denominado como las tendencias en la evaluación y sus aplicaciones en la educación a distancia. Aspectos seguidos para la construcción de explicaciones posteriores acerca de las mejores guías en los procesos de evaluación y desarrollo del objeto estudiado.

Preguntas de Investigación

Con el propósito de evaluar el nivel de satisfacción de la gestión de un programa de aprendizaje a distancia de Administración de Sistemas de Oficina en Puerto Rico, con la aplicación un modelo de evaluación sobre la gestión, administración y uso de las tecnologías de un programa de formación a distancia en Administración de Sistemas de Oficina, se redactaron las preguntas de investigación que se muestran en la Figura 2.

 

 Figura 2. Preguntas de Investigación

Metodología

Diseño de la Investigación

Esta investigación fue mixta y de carácter no experimental con un diseño transeccional o transversal descriptivo. Esto permitió manejar los enfoques cualitativo y cuantitativo. Para ambos enfoques se emplearon “procesos cuidadosos, sistemáticos y empíricos para generar conocimiento” (Hernández, Fernández y Baptista, 2006, p. 62), según se muestra en la Figura 3.


Figura 3: Cuestionario

 

Se utilizó como instrumento un cuestionario tipo encuesta para recopilar la información empírica del programa bajo estudio. Sus resultados fueron útiles para el análisis y la evaluación posterior. La investigación, por sus características, incluyó un tipo de muestreo no probabilístico, casual (Hernández et al., 2006), que tomó en cuenta a los estudiantes y al personal que interviene en el programa objeto de estudio.

 

Esta investigación incluyó preliminarmente la a) selección de la institución a evaluarse, b) redacción de una carta de consentimiento,  c) recopilación de datos, d) tabulación o descripción y análisis de los datos, y  e) emisión de juicios valorativos que permitieran ofrecer recomendaciones dirigidas para la toma de decisiones al utilizar el Modelo de Stufflebeam, conocido como CIPP. De este modelo se utilizaron sus cuatros fases con sus respectivos componentes a evaluar: contexto, insumo, proceso y producto.

 

En relación a los factores considerados para medir el nivel de satisfacción en la gestión del cambio tecnológico, cónsono con Bates (2000), se utilizó lo que corresponde a los conceptos de acceso y flexibilidad, costos, aspectos de enseñanza y aprendizaje, interactividad y respeto por el usuario, organización, novedad y rapidez.

 

Participantes y Delimitación en la Investigación

 

Participantes. El estudio consideró a los estudiantes y colaboradores del Programa de Administración de Sistemas de Oficina de un sistema universitario privado de la región sur de Puerto Rico. Para propósitos de este trabajo la población estuvo representada por 409 estudiantes y 23 colaboradores.

 

La muestra no probabilística o muestra dirigida, la cual supone un procedimiento de selección informal (Hernández et al., 2006) fueron 188 estudiantes matriculados en algún curso en línea durante el semestre de enero a mayo de 2010, lo que representa una tasa de respuesta de un 46% y un nivel de precisión entre un 5% y 6% (Agricultural Education and Communication Department, 2009); y 16 colaboradores (personal administrativo y facultad) del programa, lo que representa una tasa de respuesta de un 70%.

 

Representación demográfica de los participantes. Para efectos de representar los datos demográficos de la muestra véase la Figura 4.


Figura 4: Perfil Demográfico

 

Acuerdo con los participantes. Éstos participaron voluntariamente de la investigación y se le garantizó su anonimato. Fueron orientados y protegidos puesto que la investigación estuvo regida por los más estrictos códigos de ética (McMillan y Schumacher, 2007).

 

Cabe destacar que a los participantes no se les ofreció incentivo ni beneficio alguno por su participación. La evaluación con estos sujetos de estudio se realizó dentro de un marco de confianza y respeto. Durante el estudio, se mantuvo un proceso que siguió las normas establecidas por la Asociación Americana de Psicólogos (APA), la Junta de Revisión Institucional (IRB) y Collaborative Institutional Training Initiative (CITI) Program, tanto de Nova Southeastern Universitycomo de la institución bajo estudio.

 

Delimitaciones. El sistema universitario al cual pertenece el programa, cuenta con más de 10 unidades académicas y una oficina de Administración Central. Sin embargo, para propósitos de este estudio se consideró solamente una de las unidades académicas, ya que ésta representa una de las unidades con mayor incursión en la educación a distancia.

 

Por otra parte, no se consideraron otras instituciones en Puerto Rico que están en proceso de implantar el mismo programa en línea. Asimismo, sólo se consideró la evaluación de un programa académico a distancia.

 

Instrumentos para la Recopilación de Datos

 

Se destaca que para recopilar toda la información necesaria y presentar recomendaciones, se diseñó, validó (por un panel de expertos) y se administraron dos instrumentos estilo cuestionario. Estos instrumentos contemplaron las siguientes categorías: contexto, insumo, proceso, producto y la gestión del cambio tecnológico. Para cada una de éstas, se formularon, al menos, 9 preguntas específicas. Además, se contemplaron preguntas sobre los datos demográficos para conocer la población a ser encuestada.  Un total de 41 preguntas para los estudiantes y 36 para los colaboradores fueron la clave para investigar acerca del nivel de satisfacción del programa a evaluar.

 

El diseño de los instrumentos fue de la autoría de la investigadora. En él se contemplaron las cuatro fases del Modelo CIPP y algunos criterios teóricos de Bates sobre el cambio tecnológico. Uno de los instrumentos fue administrado a los estudiantes y el otro, a miembros de la facultad y personal del área de Sistemas de Oficina y del programa en línea.

 

 

Validez. Como parte del proceso de la construcción de estos instrumentos, se tomaron en consideración y se incluyeron las recomendaciones que hicieron los expertos en sus juicios y en la precisión de la validez de contenido de los instrumentos. Asimismo, se tomaron en consideración los resultados de la prueba piloto. Ésta se aplicó a una muestra tomada al azar representada por un 5% de los estudiantes (17 personas) y por un 10% de los colaboradores (4 personas) para determinar si en efecto se midió lo que se deseaba con los reactivos y el instrumento en general (véase Figura 4).

 

Confiabilidad. A éstos se les administró un cuestionario por cada grupo. Para determinar el nivel de confiabilidad de éstos se calculó el Alfa de Cronbach (Hernández et al., 2006), lo que reflejó un .926 % en la prueba piloto. Por su parte, el instrumento final de los estudiantes, similar a la prueba piloto, reflejó un .949% , y el instrumento de los colaboradores reflejó un .805% (véase Figura 4). Por razones de anonimato, no se hizo referencia a los nombres de los cargos ocupados por ellos, ni de sus incumbentes.

 

 

Proceso de análisis e interpretación de la información recopilada.Luego de la revisión y el análisis bibliográfico de los documentos normativos y políticas establecidas de la institución bajo estudio, evaluaciones e informes realizados por otros investigadores, lecturas de revistas profesionales, y la administración de los cuestionarios, se realizó el análisis de los datos empíricos los cuales se reflejan e ilustran en tablas y gráficos estadísticos en el siguiente capítulo. Éstos se realizaron con la utilización del programa estadístico SPSS (Statistical Package for the Social Sciences), mediante los resultados obtenidos por la muestra no probabilística o casual tomada en cuenta. Además, se realizó una descripción estadística donde se caracterizaron e ilustraron los resultados obtenidos al utilizar las medidas de frecuencias de datos, desviación estándar y elaboración de gráficas, entre otros.

 

 

De la información recopilada se hizo una descripción de las características de la institución y el programa objeto de estudio. Igualmente se realizó una correlación bibliográfica de evaluación de programas a distancia y de estudios sobre el área de Administración de Sistemas de Oficina en Puerto Rico.

 

 

Finalmente, se presentan los resultados sobre el objeto de estudio, e interpretan y comparan teórica y estadísticamente los mismos en relación a las expectativas y propósitos de algunos aspectos de la investigación planteada.

 

Limitaciones

 

En la realización de esta investigación, se encontraron algunas limitaciones cruciales para su desarrollo. Inicialmente, la poca disponibilidad de estudios relacionados con la educación a distancia en Puerto Rico. Asimismo, la falta de evaluaciones anteriores que brindaran dirección a la implantación del programa bajo estudio.

 

De igual forma, existió otra limitación en la redacción y validación de las preguntas del instrumento que se diseñó para esta investigación por la falta de experiencia en su diseño. La investigación tenía que asegurar que las preguntas delineadas en el cuestionario contemplaran todas las fases que componen el modelo a utilizarse: Modelo CIPP y algunos criterios de la base teórica de Bates sobre la gestión del cambio tecnológico. Además, que a su vez, las respuestas de los participantes contestaran las preguntas de investigación que contemplaba esta evaluación.

 

A esta limitación, se añade el tipo y tamaño de la institución a investigar y desde cuándo existe el programa a distancia, fueron otros factores que limitaron el estudio. Esto porque aún el número de estudiantes del programa es limitado.

 

Sin embargo, aún con estas posibles limitaciones, se pretendió lograr un enlace entre el programa de educación a distancia de la institución educativa representada y la investigadora y así contar con el apoyo necesario.

 

Discusión y Análisis de los Resultados en Relación con las Preguntas de Investigación

 

Esta investigación mixta de carácter no experimental con un diseño transeccional o transversal descriptivo tuvo como participantes a los estudiantes y colaboradores de un programa a distancia de Administración de Sistemas de Oficina, anteriormente descrito. La representación de la población se muestra en la Figura 5.

 
Figura 5. Representación de la Población

La aplicación de un modelo de evaluación sobre la gestión, administración y uso de las tecnologías de un programa de formación a distancia en Administración de Sistemas de Oficina permitió la redacción de las siguientes preguntas de investigación:

Pregunta de investigación #1. ¿Cuál es el porcentaje del nivel de satisfacción de sus usuarios en los procesos de enseñanza, aprendizaje y utilidad institucional?

Para contestar esta pregunta se discutieron varias premisas que expresaron opiniones relacionadas mayormente a las etapas de insumo (qué hace que trabaje), proceso (cómo funciona) y producto (logros obtenidos) del Modelo CIPP. Además, contempló el marco teórico sobre cambio tecnológico de Bates (2002), según se muestra en Figura 6.

 Figura 6: Relación del Marco Teórico con la Pregunta de Investigación 1

 

La Figura 7 demuestra los datos más significativos reflejados en las respuestas de los participantes a esta pregunta de investigación.

 
Figura 7. Respuestas más Significativas para la Pregunta de Investigación 1

Pregunta de investigación #2. ¿Cuál es el nivel de congruencia entre la filosofía, misión, metas y objetivos del programa a distancia de Administración de Sistemas de Oficina con los porcentajes de satisfacción de los usuarios del sistema en el proceso de reclutamiento y la retención estudiantil?

Para contestar esta pregunta se discutieron varias premisas que expresaron opiniones relacionadas mayormente a las etapas de contexto (estipulación del programa),  insumo (qué hace que trabaje) y proceso (cómo funciona) del Modelo CIPP y algunos criterios sobre el cambio tecnológico de Bates (2002), según se muestra en la Figura 8.

 

 Figura 8: Relación del Marco Teórico con la Pregunta de Investigación 2

 Igualmente, la Figura 9 demuestra los datos más significativos reflejados en las respuestas de los participantes a esta pregunta de investigación.

 

Figura 9: Respuestas más Significativas para la Pregunta de Investigación 2

Pregunta de investigación #3. ¿Cuál es la percepción de los estudiantes, administradores, personal docente y directivos del programa de educación a distancia de Administración de Sistemas de Oficina, en cuanto a su pertinencia y viabilidad, instalaciones adecuadas, racionalización de recursos y proyección institucional?

Para contestar esta pregunta se discutieron varias premisas que expresaron opiniones relacionadas en su mayoría a las etapas de insumo (qué hace que trabaje), proceso (cómo funciona) y producto (logros obtenidos) del Modelo CIPP, según se muestra en la Figura 10.

Figura 10: Relación del Marco Teórico con la Pregunta de Investigación 3

Finalmente, la Figura 11 demuestra los datos más significativos reflejados en las respuestas de los participantes a esta pregunta de investigación.

Figura 11: Respuestas más Significativas para la Pregunta de Investigación 3

Estos hallazgos apoyan también la postura de Sherry y Morse (1995) sobre la importancia de realizar una evaluación de las necesidades de todos los actores (facultad, administradores u otras personas que estén involucradas en el programa a distancia) para de esta forma continuar con un alto nivel de satisfacción entre los usuarios del programa.

 

Conclusiones

Según se muestra en la Figura 12, en relación al Modelo CIPP de Stufflebeam y la base teórica de Bates se puede concluir que:

Figura 12: Utilización del Modelo CIPP y la Base Teórica de Bates

En conclusión, los elementos de mayor consideración en esta evaluación comprendieron:

  1. Una de las bases fundamentales para la calidad de un programa de aprendizaje a distancia y un alto de nivel de satisfacción en los participantes debe incluir un sistema eficiente de evaluación de sus programas.
  2. El desarrollo profesional del egresado de un programa a distancia será el resultado de estrategias y métodos de enseñanza atemperados a esta modalidad, así como a una selección apropiada de la facultad y de los recursos disponibles.
  3. La retroalimentación adecuada es un elemento fundamental en el desarrollo de nuevos conocimientos y en el nivel de retención estudiantil en los cursos a distancia.
  4. El programa bajo estudio evidenció un alto nivel de congruencia con la filosofía, visión, misión y metas de la institución bajo estudio.
  5. El programa a distancia representa alternativas de estudio viables para el reclutamiento y la retención de estudiantes con un nuevo perfil universitario que de otra manera no serían atendidos.
  6. La implantación adecuada de un programa a distancia requiere el desarrollo de planes y prioridades que garanticen la atención a las exigencias académicas, administrativas y estudiantiles. Este plan debe asegurar la asignación y distribución de recursos humanos, fiscales y tecnológicos apropiados para estas nuevas modalidades educativas.
  7. Los servicios de apoyo (académico, tecnológico y estudiantiles), así como la estructura organizativa que brinda la institución al programa a distancia representa un valor añadido a la experiencia educativa de los estudiantes.

 

Por último, el estudio confirma la importancia de considerar la evaluación de todos los actores que forman parte en la implantación de un programa de educación a distancia. Todo esto requerirá que las instituciones educativas redirijan sus esfuerzos en estrategias que redunden en una mayor satisfacción entre los estudiantes. También, la utilización de enfoques administrativos que integren y adapten las estructuras existentes a las nuevas modalidades de estudio. Esto brindará un mayor incremento en el éxito institucional y por consiguiente una mayor tasa de retención estudiantil.

Implicaciones de los Resultados

Esta investigación representa el primer estudio sobre la evaluación de un programa a distancia que se lleva a cabo en la institución donde se realizó el estudio. Los hallazgos del mismo serán útiles para promover la utilización de distintas herramientas de evaluación para los programas académicos, presenciales o a distancia. Asimismo, permitirá a la institución continuar con el trabajo y mejoramiento de su plan de evaluación para la educación a distancia.  

Por otro lado, el modelo utilizado fue la base para la construcción de los dos instrumentos utilizados en el estudio y podrán ser utilizados en la evaluación de otros programas en línea.

Además, el estudio ha permitido la identificación de un nuevo y exigente perfil estudiantil que demanda una educación universitaria cada vez más flexible y variada. Refleja la necesidad de identificar una facultad con nuevas destrezas y conocimientos para asumir nuevos roles ante las tecnologías.

 Crea la necesidad de considerar los procesos de evaluación como un elemento prioritario en sus planes estratégicos tanto de sus unidades académicas como del sistema universitario central, resaltando la importancia de continuar con el fortalecimiento de las distintas estructuras de apoyo – académico, administrativo y tecnológico.

Así mismo, demuestra la necesidad de mantener una cultura de capacitación y adiestramiento continuo para todos los componentes universitarios, apoyando la hipótesis de que la educación a distancia es el futuro de la educación superior en Puerto Rico y que en esa dirección, será fundamental reinventar la universidad de estos tiempos.

Finalmente, en el caso de los estudiantes, la aplicación de programas de evaluación en sus cursos a distancia le garantizan una mayor satisfacción y calidad en  los procesos de enseñanza, aprendizaje y utilidad institucional. También, promueven una percepción favorable hacia los programas a distancia en relación a sus recursos, reclutamiento y retención estudiantil.

Limitaciones

Algunas limitaciones incluyeron, por ejemplo, la tasa de respuesta, la que representó el 46%. Esto requirió la necesidad de realizar un gran esfuerzo y seguimiento para lograr que la muestra fuera significativa. Al mismo tiempo, la investigadora tuvo que depurar exhaustivamente la lista de estudiantes matriculados en los cursos, ya que el número total de estudiantes en los cursos era en conteo repetido (el mismo estudiante matriculado en varios cursos). Además, no todos los estudiantes eran del programa objeto de estudio, algunos tomaban el curso como electivo y otros como parte de su especialidad. Por lo que, hubo que depurar una lista de 659 estudiantes para que finalmente se contara con 409 estudiantes, el número oficial de estudiantes bonafides para el estudio.

Recomendaciones

             A continuación se presentan algunas recomendaciones para la institución objeto de este estudio:

  1. Incluir un plan de adiestramiento en el manejo de estrategias de enseñanza efectivas para dar énfasis en la comunicación e interacción en los cursos a distancia.
  2. Asegurar la selección de profesores conocedores de estrategias efectivas en el aprendizaje a distancia.
  3. Realizar estudios de viabilidad dentro de la población estudiantil que forme parte de los programas presenciales que vayan a convertirse en programas a distancia.
  4. Continuar con el fortalecimiento de la estructura organizacional del programa, de forma tal que pueda asumir la atención de servicio que requiere la población de este y otras programas a distancia.
  5. Evaluar otro programa a distancia que posea la institución bajo estudio y así poder comparar los hallazgos con esta investigación e identificar planes de acción efectivos.
  6. Realizar un estudio comparativo sobre facultad con o sin experiencia/adiestramiento previo en la educación a distancia para determinar futuros planes de capacitación.
  7. Evaluar el mismo programa con la utilización de otros modelos teóricos para seleccionar el que más se atempere a la institución.
  8. Evaluar programas con una estructura administrativa y tecnológica distintas a la de la institución objeto de estudio para conocer el impacto de otras posibles variables.
  9. Considerar como variable adicional la evaluación de los centros de apoyo tecnológico que posee la institución bajo estudio, los cuales están fuera de sus instalaciones.
  10. Proponer estudios similares con la aplicación de este modelo en otras instituciones del país (públicas o privadas), incluyendo instituciones con estructuras completamente virtuales.

Referencias

Ackermann, E. & Hartman, K. (2002). Learning to use the Internet. Wilsonville, OR: Franklin, Beedle & Associates, Inc.

Agricultural Education and Communication Department. (2009). Determining sample size. Florida Cooperative Extension Service, Institute of Food and Agricultural Sciences, University of Florida. [Publicación original en noviembre/1992 y revisado en abril/2009]. Recuperado el 29 de marzo de 2010, de http://edis.ifas.ufl.edu/pd006#TABLE_1

Álvarez, J. (2005). Estudio cualitativo del nivel de receptividad y percepción de la alta gerencia universitaria sobre la implantación de un modelo de universidad virtual. Disertación doctoral no publicada, Pontificia Universidad Católica de Puerto Rico, Ponce, P.R.

Aslanian, C. & Green G. N. (2009, April). Marketing to adult students. Distance Education Report.

Bastidas, A. & Rosero, R. (2008, abril). El aseguramiento de la calidad de los programas de educación a distancia y virtual desde la perspectiva del CONEA. Revista Cognición, (13).

Bates, A. W. (2000). Cómo gestionar el cambio tecnológico: Estrategias para los responsables de centros universitarios(1a. ed.). España: Editorial Gedisa, S. A.

Bates, T., Duart, J. M. & Argüelles, J. M. (sin fecha). Gestión del cambio: E-learning como estrategia. Universitat Oberta de Catalunya.

Belton, B. (1994). A pilot study of interactions between teachers and senior students at the Brisbane School of Distance Education. Australia, Queensland: International Conference Held by the Rural Education Research and Development Centre. (No. de servicio de reproducción de documentos ERIC ED 390 611).

Briceño, M. (2005). Evaluando la evaluación en la educación a distancia. Universitas 2000, 29(3-4), pp.15-35. Recuperado el 4 de marzo de 2009, de http://www2.scielo.org.ve/scielo.php?script=sci_arttext&pid=S1315-41192005000200002&lng=pt&nrm=iso

Consejo de Educación Superior de Puerto Rico. (2004). La educación superior en Puerto Rico. Observatorio de la educación superior de América Latina y el Caribe. Recuperado el 23 de mayo de 2009, de http://www.universia.pr/pdf/unescogestion/LaEducacionSuperiorEnPuertoRico.pdf

Draves, W. A. (2002). Teaching online. River Falls, Wisconsin: LERN Books.

Ferreiro, R. (2002). Una revolución en la educación: Los nuevos ambientes de aprendizaje. En: La distancia nos acerca: 3er Congreso internacional de educación y formación virtual. Recuperado el 11 de diciembre de 2008, de http://uvtol.tol.itesm.mx/Webpage/ppt/Nuevos%20ambientes%20de%20aprendizaje.doc

Ferreyra, H. y Pedrazzi, G. (2007). Teorías y enfoques psicoeducativas del aprendizaje: Aportes conceptuales básicos.Buenos Aires, Argentina: Ediciones Novedades Educativas.

Fitzpatrick, J., Sanders, J. & Worthen, B. (2004). Program evaluation: Alternative approaches and practical guidelines(3rd ed.). Boston: Allyn & Bacon.

Friedman, T. L. (2005). The world is flat. New York: Farrar, Strauss & Giroux.

Garrison, D. R. (1987). Researching dropout in distance education. Distance Education8(1), pp. 95-101.

Gilbert, S. D. (2001). How to be a successful online student. New York, NY: McGraw Hill.

González, O. (2006). Evaluación del programa de ciencia en la escuela X utilizando el modelo CIPP. Ponce, P.R. Pontificia Universidad Católica de Puerto Rico.

Hayes, K. (1997). The Meaning of Policy for Distance Delivery in Higher Education. Competition-Connection-Collaboration. Madison, Wisconsin, EE. UU. En: Annual Conference on Distance Teaching and Learning. (No. de servicio de reproducción de documentos ERIC ED 413 870).

Henckell, M. (2007). Evaluating distance education: The student perspective. Disertación doctoral publicada, University of Missouri, Columbia. (No. de servicio de reproducción de documentos de Proquest 3322700).

Hernández, R., Fernández-Collado, C. y Baptista P. (2006). Metodología de la investigación (4a. ed.). México, D.F.: McGraw-Hill/Interamericana Editores.

Huertas, M. (2006). Perspectiva internacional del administrador de oficinas. Serie de documentos de trabajo, (2). Recuperado el 1 de agosto de 2008, de http://cicia.uprrp.edu/Papers/Vol2.pdf

Huertas, M. (s.f.). Percepción de los estudiantes y de la facultad del bachillerato en Administración de Sistemas de Oficina sobre un programa de educación a distancia. Serie de documentos de trabajo, (2). Recuperado el 1 de agosto de 2008, de http://cicia.uprrp.edu/Papers/Vol2.pdf

Jason, M. H. (2008). Evaluating programs to increase student achievement (2nd ed.). Thousand Oaks, California: Corwin Press, Inc.

Korniejczuk, V. A. (2003). La acreditación de la educación superior presencial y a distancia en Estados Unidos y  México. [Versión electrónica].  Revista de Educación a Distancia. Recuperado el 11 de septiembre de 2007, de http://www.um.es/ead/red/7/acredit.pdf

López, M. (2007). El asistente administrativo y/o gerente administrativo del siglo 21 desde la perspectiva del patrono.Recuperado el 1 de agosto de 2008, de http://cicia.uprrp.edu/Papers/Vol2.pdf

Macksoud, S. (2008, marzo). Nuevas tendencias en acreditación y calidad en la educación. En: Hacia una agenda para la calidad en la educación de la Asociación Puertorriqueña de Aprendizaje a Distancia, Río Piedras, Puerto Rico.

Mark, M. M., Henry, G. T. & Julnes, G. (1999). Toward an integrative framework for evaluation practice. American Journal of Evaluation20(2), pp. 177-198.

McMillan, J. H. & Schumacher, S. (2007). Investigación educativa (5a ed.). Madrid, España: Pearson Education, S. A.

Méndez, P. (2004). El trabajo pedagógico colaborativo en la educación superior, mediado por herramientas tecnológicas. Recuperado el 1 de agosto de 2009, de http://pedromendez.net/links/links.htm

Merena. P. S. (2006). Increasing retention in online distance education courses. Disertación doctoral publicada, University of Delaware. (No. de servicio de reproducción de documentos de Proquest 32211128).

Middle States Association. (2010). The Higher Education Opportunity Act of 2008: Distance education, substantive change, monitoring growth, and transfer of Credit. Recuperado el 6 de mayo de 2010, de http://www.msche.org/publications/Distance-Education-and-the-Higher-Education-Opportunity-Act.doc

Miguel, V., Rodríguez, J., Benhamu, S. & Miguel, W. (2005). Sistema de gestión enlace: Un modelo para el desarrollo de procesos de capacitación basados en Internet. Revista Comportamiento. 7(1). Recuperado el 5 de agosto de 2007, http://www.comportamiento.dsm.usb.ve/revista/vol_7_1/art_%205.pdf

Mir, J. I., Reparaz, C. & Sobrino, A. (2003). La formación en Internet. Barcelona, España: Ariel.

Montero Rojas, E. (2004). Marco conceptual para la evaluación de programas de salud. Población y salud en Mesoamérica, 1(2). Recuperado el 5 de agosto de 2007, de http://ccp.ucr.ac.cr/revista/volumenes/1/1-2/1-2-6/1-2-6.pdf

National Business Education Association. (1999). This we believe about distance learning in Business Education.Business Education Forum, 54(1), pp. 26-27.

Peters, O. (2003). Learning with new media in distance education. En M. G. Moore & W. G. Anderson (Eds.), Handbook of distance education (pp. 87-112). Mahwah, NJ: Lawrence Erlbaum Associates.

Rovai, A. P., Ponton, M. K. & Baker, J. D. (2008). Distance learning in higher education: A programmatic approach to planning, design, instruction, evaluation, and accreditation. New York, NY: Teachers College Press.

Schlosser, L. A. & Simonson, M. (2009). Distance education: Definition and glossary of terms (3rd ed.). Charlotte, NC: Information Age Publishing.

Schunk, D. H. (2008). Learning theories: An educational perspective (5th ed.). Upper Saddle River, NJ: Pearson.

Scriven, M. (1991). Evaluation thesaurus (4th ed.). Thousand Oaks, CA: Sage.

Sherry, L. & Morse, R. (1995). An assessment of training needs in the use of distance education for instruction. [Versión electrónica]. International Journal of Educational Telecommunications, 1(1), pp. 5-22.

Siemens, G. (2004). Conectivismo: Una teoría del aprendizaje para la era digital – qué es y qué lo hace tan especial.Recuperado el 26 de junio de 2009, de http://www.masternewmedia.org/es/2008/10/21/conectivismo_una_teoria_del_aprendizaje_para_la.htm

Siemens, G. (2005). Connectivism: A learning theory for the digital age. Recuperado el 18 de marzo de 2008, de http://www.elearnspace.org/Articles/connectivism.htm

Silvio, J. (2006). Hacia una educación virtual de calidad, pero con equidad y pertinencia. Revista de Universidad y Sociedad del Conocimiento, 3(1). Recuperado el 16 de marzo de 2007, de http://www.uoc.edu/rusc/3/1/dt/esp/silvio.pdf

Simonson, M., Schlosser, C. & Hanson, D. (1999). Theory and Distance Education: A New Discussion. The American Journal of Distance Education, 13(1). Recuperado el 6 de abril de 2008, de http://www.c3l.uni-oldenburg.de/cde/found/simons99.htm

Simonson, M., Smaldino, S., Albright, M. & Zvacek, S. (2006). Teaching and learning at a distance: Foundations of distance education (3rd ed.). Upper Saddle River, NJ: Prentice Hall.

Stufflebeam, D. L. & Shinkfield, A. J. (2007). Evaluation, theory, models, & applications. San Francisco, CA: Jossey-Bass.

Tinto, V. (1975). Dropout from higher education: A theoretical synthesis of recent research. Review of Educational Research45(1), 89-125.

Torres, M. (2007). Educación a distancia: Experiencia de un Recinto. Investigación no publicada, Universidad de Puerto Rico, Río Piedras, Puerto Rico.

Towles, D. E., Ellis, J. R. & Spencer, J. (1993). Student persistence in a distance education program: The effect of faculty-iniated contact. En: Annual Forum of the Association for Institutional Research, Chicago, IL. (No. de servicio de producción de documentos ERIC ED 360 931).

UNESCO. (2002). Aprendizaje abierto y a distancia: Consideraciones sobre tendencias, políticas y estrategias.Recuperado el 10 de julio de 2008, de http://unesdoc.unesco.org/images/0012/001284/128463s.pdf

UNESCO-IIEP. (2007). Herramientas para la gestión de proyectos educativos con TIC. Recuperado el 15 de enero de 2009, de http://unesdoc.unesco.org/images/0015/001580/158068s.pdf

Vilaseca, J. y Castillo, D. (2003). Análisis económico del e-learning en las universidades. Documento presentado en: I Seminario Internacional de la Cátedra UNESCO de e-learning de la UOC “Liderar la universidad en la sociedad del conocimiento” celebrado en Barcelona.

Volery, T. & Lord. D. (2000). Critical success factors in online education. International Journal of Educational Management14(5) (pp. 216-223). Recuperado el 18 de abril de 2007, de la base de datos Emerald.

Trackback from your site.

Leave a comment