Best Practices: Using Popular Media for Active Learning: Engaging Students Outside of the Classroom

By: Prof. Jillian Abbott, MFA
Queensborough Community College (CUNY)

 

 

 

Best Practices: Using Popular Media for Active Learning: Engaging Students Outside of the Classroom

 

Abstract: Creating engaging, interactive, online learning models may be a good first step to improving classroom success and possibly student learning outcomes. One way this can be achieved is by using SoftChalk, an educational software program that allows teachers to create user-friendly interactive lessons delivered via any standard web browser. The lesson discussed in this paper, “Eminem is Not Afraid,” engages students by recreating the experience of surfing the internet while guiding them through the stages of researching and writing a paper in a Freshman English composition class.

Community, Practice, and Domain Behaviors, and the Moderator Influence of Information Technology among global Communities of Practice: A Meta-Analysis

By: Prof. Jacqueline Saldaña, MBA, CALLA, DM-ABD
Ana G. Méndez University System- Florida Campus

 

 

 

          

Community, Practice, and Domain Behaviors, and the Moderator Influence of Information Technology among global Communities of Practice: A Meta-Analysis

Abstract

 

The theory of Communities of Practice (CoPs) emerged in the middle 1990s through the work of Etienne Wenger and other contemporary authors (Wenger, 2004; Wenger, McDermott, & Snyder, 2002; Wenger & Snyder, 2000). Domain, practice, and community are the main dimensions of CoPs, each with a set of defined behavioral dynamics that allow communities of learners to develop continued growth and sustainability. Professional associations and educational institutions are using online CoPs to engage industry and academia in contributing with innovative solutions to everyday problems. The knowledge management theory has defined groups that meet to produce knowledge solutions in response to common interests as invisible colleges, epistemic communities, learning communities, and CoPs.  A meta-analysis of 84 research designs dated from 2000 to 2011, and representing 18 geographic areas in more than 20 industries, demonstrated that professional CoPs manifest distinctive behaviors in all CoP structural dimensions as described by Wenger et al. (2002). Reflective collaboration (e.g., community), sense of common purpose (e.g., practice), and innovation, creativity, and solutions to everyday problems (e.g., domain) are the behaviors present with more frequency among global CoPs. The moderator role of information technology for collaboration and knowledge creation is evident in the observed CoP behaviors and dynamics of this meta-analysis. The use of technologies to promote CoPs creates new challenges for organizations, which will be providing more technological services and support to the diverse CoPs’ memberships.

            Key terms: Communities of Practice, knowledge management, information technology

 

Introduction

            The theory of Communities of Practice (CoPs) emerged in the middle 1990s through the work of Etienne Wenger and other contemporary authors (Wenger, 2004; Wenger, McDermott, & Snyder, 2002; Wenger & Snyder, 2000). Wenger (2000) coined the communities of practice term to explain how professional groups seek common solutions for organizational innovation. The definition of CoP, according to Wenger (et al., 2002), is “…groups of people who share a concern, a set of problems, or a passion about a topic, and who deepen their knowledge and expertise in this area by interacting on an ongoing basis” (p. 4). Wenger (2000) used observations from technical clubs in motor companies to explain how practitioners self-organize to practice continuous learning through collegial relationships (Mintzberg, 2003) or the standardization of professional skills. Domain, practice, and community are the main dimensions of CoPs, each with a set of defined behavioral dynamics that allow communities of learners to develop continued growth and sustainability. Community, practice, and domain are the structural dimensions of CoPs (Wenger, 2004; Wenger et al., 2002; Wenger & Snyder, 2000).

            Professional associations and educational institutions are using CoPs to engage professionals and students alike to contribute with innovative solutions to everyday problems. The advent of Web 2.0 technologies provide contemporary CoPs with expanded opportunities for global collaboration and innovation. CoPs present ideal conditions for group innovation because they usually possess culturally diverse participants, interdependent collaborative networks, and opportunities for shared leadership and participation, all elements of high-performing teams (West, 2009).  Challenges emerge in relation to dynamics of institutionalization (Wenger et al., 2002) or the alignment of community goals to organizational objectives. The social structure of CoPs loses part of its organic nature when organizations try to legitimize the role of CoPs through policies or guidelines.

            Within the context of more formal networks, institutionalization (Wenger et al., 2002), information technology (IT) (Moreno, 2001), and managerial support (Siebert, Mills, & Tuff, 2009) constitute additional variables with influence over CoPs’ social structures.   Most professional CoPs use IT platforms to facilitate distance communication. New technologies such as the Internet are interactive in nature, contributing to exchanging roles, developing mutual discourse, and facilitating flexible communication that overcomes spatial and geographical distance (Everett & Allbritton, 1995). Positive experiences with technologies influence the way community participants develop shared meaning and common language (Hawk, Zheng, & Zmud, 1999). Technologies have shown to enable knowledge sharing and serve as repository of knowledge and vehicle for effective dissemination of new practices (Abdullah, Sahibudin, Alias, & Selamat, 2005; Griffith, & Sawyer, 2006; Hew & Hara, 2007). A meta-analysis of 84 research designs dated from 2000 to 2011, and representing 18 geographic areas in more than 20 industries (see Appendix A), demonstrated that professional CoPs manifest all of the behavioral dimensions described by Wenger et al. (2002).

Theoretical Background

            Theories about groups of individuals who meet to produce solutions and knowledge in response to common interests, problems, and passions exist before Wenger et al., (Wenger, 2004; Wenger, McDermott, & Snyder, 2002; Wenger & Snyder, 2000) proposed the theory of CoPs. Scholars tried to define communities of practitioners as invisible colleges (Price & Beaver, 1966; Crane, 1972), epistemic communities (Adler and Haas, 1992), and learning communities (Marshall & Peters, 1985). Theoretical frames one each of these concepts share characteristics that Wenger identified as part of the social structures of CoPs.

Invisible Colleges

            Price (1966) and Crane (1971) theorized about groups of scholars and researchers collaborating through informal communication channels to share specific interests and goals usually related to scientific advancement. Price (1966) suggested the idea of invisible colleges as organizational strategy to produce and steward organizational knowledge.  Invisible colleges relate directly with groups of intellectuals in the 16th century Europe sharing scientific knowledge to address common concerns, and which became a platform for the foundation of the Royal Society of the United Kingdom. Price conducted bibliometric studies to prove that groups of practitioners with similar interests develop naturally tendency to collaborate through social interaction; an activity that influences group cognitive intelligence (Goel, Johnson, Junglas, & Ives, 2010). Members in invisible colleges organize by choice of specialty and direct activities to specific community goals within conditions of closeness, communication, and dissemination of ideas (Casey & McMillan, 2008).

            Invisible colleges’ theories (Price & Beaver, 1966; Crane, 1971) show parallelisms with Wenger’s CoP concept (2004). Both invisible colleges and CoPs can trace part of their theory ideas of (a) social diffusion of knowledge (Crane, 1972; Khun, 1996) and Schon’s (1989) reflective practices theories. Invisible colleges, like CoPs, exhibit social networks, centered leadership, peripheral groups of collaborators, and connectedness that overcomes geographic and spatial segregation (Zuccala, 2005). Invisible colleges emerge during critical times in which the need for immediate expertise is necessary to advance science or to share resources to overcome mutual challenges, although they can acquire certain visibility when they get organized (Zuccala, 2005).

Epistemic Communities

            Adler and Hass (1992) defined epistemic communities that emerge independently from governmental spheres and have direct influence on policy-making. Epistemic communities are professional networks composed of subject matter experts (SMEs) with competence over specific domains (Adler & Haas). Epistemic communities share normative beliefs, value-based social dynamics, analysis to solve problems, shared notions of validity of knowledge, shared practice domain, and a set of common practices. Epistemic communities comprise of members developing professional identity, sharing knowledge, networking, and mentoring younger professionals. Epistemic communities follow a social exchange of three distinctive activities, (a) assessment of uncertainty, (b) interpretation of the conditions, (c) and institutionalization of new practices (Adler & Haas).

            Adler and Haas (1992) reported that a classic example of epistemic community is the first group of experts that raised concern about the polluting quality of chlorofluoro-carbons (CFCs) after 1972. Observations form an ecological epistemic community alerted about the damage of CFS’ over ozone and its future effect in global warming. Efforts culminated in the 1989 Basel Convention, resulting in worldwide commitment to reduce CFCs. Most countries have enacted public policy to protect the environment from the dangers of CFC (e.g., United States Clear Air Act of 1990). Adler and Haas associated the role of epistemic communities to policy innovation and dissemination of new practices. Dunlop (2009) clarified that learners in epistemic communities seek knowledge from multiple derivations to build solutions at their own pace. Epistemic communities negotiate knowledge, perception of risks, and procedural lawfulness (Stauffacher & Moser, 2010).

Learning Communities

            A learning community is a group of individuals who share a common practice and develop a right understanding in the appropriate context to learn from each other (Brower, 2003). Senge (as in Namjaidee, Manmart, Apichatwallop, & Peerasit, 2010) defined that members of a learning community possess five characteristics, (a) mental models, (b) shared vision, (c) personal mastery, (d) collective learning, and (e) system thinking. Senge, among other instructors at the Massachusetts Institute of Technology, promoted the learning community model as a way to create knowledge sharing organizations (Senge, 1993; Koffman & Senge, 1991). Senge (1993) described the process of a learning community, first, as a shared vision that emerges from numerous places but last guides a learning vision. This shared vision drives thinking, acting, and sustaining dialogue to integrate diverse viewpoints. When members of a community build this shared vision, they develop a sense of empowerment that enables good decisions through the design of learning processes.

            Senge (1993) adjudicated the origin of knowledge-sharing organizations to the work of Japanese firms with total quality management (TQM) systems, especially those related to thinking and acting at many levels, a learning collaborative style among high technology companies in Japan. In these, the increased integration of thinking and acting promoted an evolution in quality management evidenced by the works of Nonaka and Nishiguchi (2001) about knowledge creation in the organization and the way companies help channel workers’ tacit knowledge into explicit or formal knowledge. For these Japanese thinkers, knowledge is not simply a cognitive construct but expertise inseparable from the pragmatism of action.

                        Learning communities have evolved into powerful creative networks successful in companies such as Toyota and in the work with high-politics situations, such as the leaders of the Guatemala Guerilla (Arthur, Day, Jaworski, Jung, Nonaka, Scharmer et al., 2002). Learning organizations create a space of innovation similar to the Japanese concept of Ba, a shared context that arises from interactions and relationships (Nonaka & Nishiguchi, 2001).  Learning communities see knowledge as an organizational element that cannot be managed (Scharmer, 2007). Learning communities operate under the assumptions of the (a) behavioral level of reality, (b) the behavioral level of social reality, and (c) the deep tacit level of knowledge. Theorists call this last one the “blind spot” (Arthur, et al., 2002, Scharmer, 2007), or a deeper space from which a systems of individuals can create new paradigms.

CoP Emergent Theory

            Theory of CoPs has foundation on Jean Lave’s ideas of situated learning (1991). Situated learning proposed that organizational knowledge happens in circumstances of social interaction, in which the cognitive abilities of participants interrelate with group social structure, environmental context, and previous knowledge of participants (Goel, Johnson, Junglas, & Blake, 2010). Dynamics of situated learning involve practitioners, activities, cognition, meaning, knowing, and learning.  Communities of practitioners bring a pre-existent socially and culturally structured world that becomes an analytical process of learning. Shared learning activities promote identity based on skills and expertise of participants.

            Situatedness refers to the interaction of situation, agent, and cultural context (Rohlfing, Rehm, & Goecke, 2003). Lave (1991) proposed that learning is a process of interpretive view, in which individuals negotiate meaning, language becomes a social activity (as opposed of simply the medium to transmit ideas), and personal interests appeal to cognition. Situatedness is not a physical location, but a relationship of individuals and their environment, which, in turn, influences those individuals’ process of learning and developing. Lave (1991) recommended the study of situated learning as a way to master apprenticeship among communities of practitioners.

            Brown & Duguid (1998) developed theories on CoPs deriving interpretation from Orr’s ethnography of copier repair technicians. Julian Orr (as in Budery, 1998) proposed that individuals from a same profession, such as communities of technicians, share characteristics inherent to their craft. This sameness provides cohesion to occupational communities. Through observation and interviews to equipment technicians in Xerox Corporation, Orr declared in 1996 (as in Budery) that technicians become work cultures in which individuals share similar interests and values. Participants in work communities can transcend their organizational settings and establish links with practitioners from other organizations.

                        Industries related to knowledge markets such as engineering, technology, advanced electronics, computer software, biotechnology, and health care are using the power of professional collaboration as a knowledge management strategy with the objective of developing competitive advantage through the creation and transfer of knowledge. Organizations that understand and promote learning structures in which professional groups co-create through the natural environment of networking develop learning loops, continual innovation, and quick adoption of practices (Stuart, 1995, 2006). Wenger et al., (Wenger, 2004; Wenger, McDermott, & Snyder, 2002; Wenger & Snyder, 2000) proposed a social structure based on three main components of domain, practice, and community.

                        Wenger and Lave (1991) challenged organizations with the concept that acquiring knowledge is more than the accumulation of factual information. Knowledge is an epistemic experience in which personal preferences and organizational situatedness have a defining influence during the learning process. Organizational members with same interests, expertise, and craft become members of a community, develop collective culture, and participate in the acquisition, production, and dissemination of knowledge (Contu & Willmot, 2003). This process happens within the context of knowledge activities, shared practice, and cultural expression such as activities, stories, and artifacts. Observations with different CoPs or apprenticeships such the Yucatan midwives, US Navy, Alcoholics Anonymous, and other trade workers (e.g., tailors, meat-cutters) drove these first theories on communities of practice.

            Lave and Wender(1991) theorized the concept of legitimate peripheral participation or circumstances of mutual participation. As community participants increase their expertise, they increase their participation on central activities. Wenger et al., (2004) coined the term legitimate peripheral participation to explain relationships of apprentices and masters, different levels of expertise, and the development through time of cultural artifacts and identities that emerge from socio-practices inside a community of practitioners. Peripheral participation reflects community participants’ trajectories of learning, identity, social forms, and relationships of power (Lawless, 2008). Peripherality is a movement throughout a community from low to high expertise and from discrete to more intensive participation as opposed to a central location.  Although CoPs represent multiple opportunities for participation, most members of CoPs remain passive participants, as observers and users of practices but without producing knowledge (Wenger et al., 2002). A lesser amount of members are active and involved directly to opportunities to conform epistemic realities.

CoP Literature Meta-Analysis (2000-2011)

            A meta-analysis of 84 research designs dated from 2000 to 2011, and representing 18 geographic areas in more than 20 industries (see Appendix A), demonstrated that professional CoPs manifest all of the behavioral dimensions described by Wenger et al. (2002). The areas represented in the meta-analysis with more frequency were the United States (35.7%), United Kingdom (17.9%), multinational companies (11.9%), and Canada (6%). Industries in the emergent CoP research with more frequency were education (39.3%), technology (17.9%), consulting firms (7.1%), and health care (4.8%).

            Using as base the core and peripheral groups diagram described by Wenger et al. (2002, p. 57), figure one incorporates the elements of domain, practice, and community in relation to CoP structural dimensions and external forces observed during this meta-analysis. Emergent literature demonstrated the force that technology and institutionalization exercise over CoP behavioral dynamics. After this analysis, researcher obtained a deeper insight into what are specific behaviors and characteristic manifest as part of the development of professional CoPs in contemporary organizations, specifically in the dimensions of community, practice, domain, and the moderator role of IT.

 

Figure 1: CoP Social Structure Observed from Meta-Analysis

 

 

Discussion of Results

            Results of a CoP emergent literature meta-analysis (2000-2010) evidenced the manifestation of the three elements identified by Wenger (2000) as main components of a CoP by the presence of behaviors and expressions in the three categories of community, practice, and domain (see Figure 2). Information technology manifested as an enabler for community participation.

Figure 2: CoP Meta-Analysis Outcomes

Community Behaviors

 

CoPs are loose and informal structures; self-managed groups related by collegiality and lack of business purpose even if organizations purposely establish these communities. The emergence of today’s global markets propitiates geographically dispersed communities, in which technology acquires special significance. Most contemporary CoP members share Websites, communicate regularly by e-mail, or use teleconferences to communicate. As CoPs increase membership, subgroups, and peripheral groups emerge and strong local identities emerge (Wenger et al., 2002). The community component represents the roles and activities a CoP performs regularly. The element of community serve as the social learning structure in which members build relationships, bring their individual perspectives, and help each other to solve problems. Is in the community that members embed roles and activities, legitimizing the role of the CoP through specific outputs and overlap with other fields.

D

uring the analysis of 84 research designs, CoP members operating under real-life circumstances produced five main community activities (see Table 1): (a) reflective collaboration (19%), (b) professional networking (16.9%), (c) mutual engagement and connectivity (12.2%), (d) long-term relationships (9.2%), and (e) embedded communication paths (7%). Additional community behaviors observed with less frequency were group autonomy, existence of peripheral and informal groups, and peer-to-peer collaboration (5.6% each), self-organization (4.2%), teamwork (3.5%), face-to-face contact (2.8%), and improved communication, low conflict, participation, and reduced silos effect (2.1% each).

 Table 1: CoP Community Behaviors (2010-2011)

From these community behaviors, reflective collaboration was the community behavior repeated with more frequency during the study of CoPs’ main components (see Figure 3).

Reflective collaboration manifested with more frequency in the fields of education (58.7%) and consulting firms (11.8%), appearing mostly in the United Kingdom (33%), the United States (28.7%), and multinational companies (14.4%) (see Appendix B).

 

Figure 3: Community Behaviors Frequency (2010-2011)

 

 

Reflective Collaboration. Open source interactive systems’ CoPs  have adopted reflective collaborative approaches to explore how software developers perceive usability problems, process constraints, identify difficulties to process innovation (Bach & Carroll, 2010), and attain collective growth knowledge (Lee & Cole, 2003) within the open source culture. Work experiences within open source practitioners demonstrated that CoPs could use reflective collaboration as tool to expand the scope of domain, establish a better framework to guide social capital, and understand decisions that involve power structure analysis.

            Blanton and Stylianou (2009), on the other hand, found that reflective collaboration develops a stronger culture of professional development because practitioners had the opportunity to reflect routinely about how to use practice, artifacts, and discipline content. Reflective collaboration challenged educators to shift to an inward mental status, connect deeper with problems and solutions (Blanton & Stylianou, 2009), improve their practice and expertise (Kisiel, 2010; Wright, 2007), improve their use of available technologies (Murugaiah, Azman, (Ya’acob, & Thang, 2010), make new cognitive connections (Vavasseur & MacGregor, 2008), and learn informally and experientially (Viskovic, 2006).

            Focus group interviews among music and art CoPs demonstrated that participants could both reflect and articulate experiences to find pluralistic viewpoints and facilitate social interaction that results in opportunities for innovation (Dabback, 2010). Reflective collaboration provides opportunity to develop a deeper insight about the different perspectives conforming traditional and novel practices. Moreover, practitioners can use reflective collaboration to develop awareness of CoP dimensions (e.g., negotiated enterprise, mutual engagement, shared repertoire) and development lifecycle (Carey, Smith, &Martin, 2009). Collective reflection supports also decision-making skills necessary to develop practices and policies to support shared enterprise. Leadership decision-making paradigms such as the Vroom-Yetton or the normative decision-making model (Nahavandi, 2009) address the importance of involving followership in the prescription of solutions as opposed to following a traditional unilateral leadership approach.

Practice Behaviors

            Practice represents working models, practices, and professional culture (Wenger et al., 2002). Practice organizes knowledge in a way understandable by community members, creating joint enterprise, stories, professional behaviors, and working methods. Nicholls (2006) stated that explicit and implicit knowledge lack value unless practitioners of a field develop shared methods to deliver such knowledge. The emergent literature of CoPs demonstrated that sense of common purpose and negotiated enterprise are main expressions of contemporary communities of learners (see Table 6). Wenger et al., (2002) described how practitioners develop an increased sense of “craft intimacy” (p. 122). Members from a same community of professionals share commonalities that increase their sense of belonging and develop feelings of common ground.

            The analysis of 84 research designs reported that CoP members operating under real-life circumstances produced five main practice activities (see Table 2): (a) sense of common purpose (14.3%), (b) negotiated enterprise (13.2%), (c) shared stories (13.2%), (d) professional identity (12%), and (e) production of cultural artifacts (11%). Other CoP practice behaviors present in less frequencies (see Figure 5) are artifacts (11%), shared stories (10%), organizational policies (8%), embedded cultural identification and professional roles (6% each), egalitarian culture and shared repertoire (4% each), culture transfer (3%), and cultural sensitivity (2%).

 

Table 2: CoP Practice Behaviors (2010-2011)

From these practice behaviors, sense of common purpose was the community behavior repeated with more frequency during the study of CoPs’ structural dimensions (see Figure 4).

Sense of common purpose manifested with more frequency in the fields of education (58.7%) and consulting firms (11.8%), appearing mostly in the United States (35.3%), and Australia, New Zealand, Spain, and United Kingdom with equal distribution of averages (11.7 each) (see Appendix C).

 Figure 4: Practice Behaviors Frequency (2010-2011)

 

Sense of Common Purpose. Among other authors, Price (2005) stated that sense of common purpose is the element of cohesion within CoP members who share understanding about a practice or subject matter field. Sense of common purpose in organizational structures provides workers with common meaning and familiarity necessary to increase participation and accountability (Adkins, Bartczak, Griffin, &  Downey, 2010; Topousis, Murphy, & Holm, 2008). Allen (as cited in Bowen, 2010) emphasized that common purpose is an essential step for CoPs to emerge organically (Bowen, 2010). Studies with Six Sigma leaders demonstrated that groups could understand and fulfill expectations of effectiveness when members could articulate rationally their common goals, increasing their ability to share knowledge (Bowen, 2010). 

            CoP members developed deep sense of common identity by combining their personal, social, or professional concerns (Buckley & Du Toit, 2009) and through their mutual passion for a field of knowledge or professional enterprise (Hayes & Fitzgerald, 2009; McElya, 2011). Members of studied CoPs indicated that belonging to a community of practitioners nurtured among them feelings of belonging and made them “part of a family” that decides to remain in collaboration for long time (Hayes & Fitzgerald). Educators who worked together for extended periods created a purposeful integration of members and community elements (Linehan, 2010; Wright, 2007) and felt more innovative and productive even if they operate with limited resources (Price, 2005), and regardless of participants’ gender (Tomcsik, 2010).

            Sense of common purpose increased feelings of accountability among CoP members, facilitating shared practice (De Palma & Teague, 2008). The willingness to work as part of the group became a driving sentiment from which members derived fulfillment and comfort (Tomcsik, 2010). De Palma and Teague recommended keeping dialogue alive as activity essential for CoP sustainability. Members of educational CoPs used dialogue to utter community affirmations reflecting the values and principles of those specific groups (Linehan, 2010) and to overcome the barriers of cultural distance (Yu et al., 2009). Simultaneously, participation, cooperation, and decision-making abilities decreased when common sense of purpose declined in professional CoPs, diminishing as well the quality of outcomes (Gausdal, 2008).

             To maintain renovated common sense of purpose, CoP core members should consider that the vision of the community is a prevailing context in which CoP members become increasingly engaged in accomplishing collective goals. Members of the No Child Left Behind program used vision statements to create coherent work frames within complex educational systems (Linehan, 2010). A CoP with a well-aligned vision cultivate stronger relationships that contribute to expand knowledge sharing in different settings, build membership pride (McElya, 2011), and encourage collaborative learning (Mobanagan & Columbaro).

            CoP members with increased commitment to the common purpose of the community become usually part of the core or central group (e.g., champions) that produces the majority of the work for the benefit of less active and peripheral groups within a same community (O’Kane). In this environment, knowledge transfer flows better between different active and peripheral groups and manifests in the patterns of mentoring relationships, peer-to-peer guidance, and collaboration that satisfies the cognitive needs of participants (Tomcsik, 2010; Vega & Quijano, 2010).  

 

Domain

            Domain, or area of expertise, deals with the CoP dimension related to structural ability to safeguard knowledge. Domain represents a topic, a work specialization, an industry, or a subject matter that matters a group of professionals. Groups of experts operating within socio-technical structures construct epistemic realities from logic, linguistics, contexts, and knowledge (Noriko, 2006). CoPs seem to be fertile ground for creative solutions and innovation (see Table 3).

Table 3: CoP Domain Behaviors (2010-2011)

 

Contemporary scholars of knowledge management (Nonaka & Nishiguchi, 2001) demonstrated that the creation knowledge structures are important to achieve innovation and competitive advantage through examples of global multinational enterprises that achieved efficient knowledge creation, overcoming challenges related to cross-border communication within geographically dispersed memberships. Evolved CoPs showed similar practice phases during their lifecycle development (see Figure 5), including situated learning (14.5%), information technology as enabler for knowledge sharing (10.1%), knowledge dissemination (7.7%), knowledge management processes (6.8%), best practices (6.3%), building new skills (5.8%), structured goals, and activities (5.3%), flexibility to learn and change (3.9%), facilitators and training (2.9%), and managerial support (2.4%). Creativity, innovation, and knowledge creation manifested with higher statistical relevance in the fields of education (39.8%) and technology (17.2%). The outcomes of domain over creativity, innovation, and knowledge creation were evident in the United States (30.4%), the United Kingdom (17.6%), and South Africa (13.3%) (see Appendix D).

Figure 5: Domain Behaviors and Characteristics Frequency (2010-2011)

 

CoPs exist as ancillary structures within organizations sustained by volunteer participation. Different levels of participation represent different positions of power but CoPs should be a representation of egalitarian cultures (Yan & Assimakopoulos, 2006). Wenger et al. (2000) warned that the dimension of domain could induce to defective CoPs when individuals demonstrate the legitimacy of the community through exclusivity and arrogance (Wenger et al., 2000). Communities of practitioners can avoid this detrimental pattern of behavior by establishing strategic perspective and values, linking community activities to organizational goals, offering inspiring vision, practicing shared leadership in decision-making, exposing members to divergent perspectives, and making members accountable for community’s reputation.

            Creative Solutions, Innovation, and Knowledge Creation.  Existing literature demonstrated abundant examples of how CoPs are fertile ground for creative solutions, innovation, and knowledge creation in numerous industries. CoP structures pose with the advantage of a collaborative learning environment in which inventors and end-users join to create, prototype, and test technical innovations (Abdullah, Sahibuasdin, Alias, & Selamat, 2005; Lavoue & George, 2010). The Linux kernel case study is an example of how a group of practitioners can create new products and test their effectiveness. Thousands of volunteers geographically dispersed developed and tested a high-quality software operating system within a community-based progressive knowledge creation network driven by peer-to-peer critic and error-trial efforts (Lavoue & George, 2010). CoPs allowed professional service firms to analyze new practices, identify critical generative elements, combine learning pathways to networks, and promote knowledge-based organizations (Anand, Gardner, & Morris, 2007; Jawitz, 2009). These innovative structures can offer a unique viewpoint regarding professional advancement in which participants can leverage inquiry and expertise (Ash, Brown, Kluger-Bell, & Hunter, 2009; Dabback, 2010) whereas breaking old practice paradigms to learn new practices (Bosa, 2008).

            Organized CoPs can promote change in bureaucratic environments such as public health care by promoting entrepreneurial impetus and channeling it into modern tools, radical change, and refined techniques (Bosa, 2008; Elmualim & Govender, 2008). Empirical evidence from longitudinal studies in different industries (from call center organizations to complex innovation working environments) demonstrated that professional CoPs supported the identification of best practices and creative solutions to everyday problems, enabling an environment of innovation and competitiveness (Corso, Giacobbe, & Martini, A., 2009) for private and public organizations alike (Gambarotto & Cammozzo, 2010). Goldstein and Butler (2010) concluded that CoP structures promote stakeholder-based cooperative models, equipping governmental agencies with more diversified collaborative planning tools.  This is only possible within a work frame of open communication and participation. CoP structures in modern organizations challenge managerial enterprise to build organizations adept to nurture innovative perspective, positive attitude, and triple loop-learning (Gambarotto & Cammozzo, 2010).

            Members in CoP structures establish learning experience boundaries using the principles of constructivism and hands-on training approaches, effective models for professional training (Hodgkinson-Williams, Slay, & Siebörger, 2008). Monaghan (2007) and O’Kane. Paine, & King, (2008) dwelled on how CoPs provide real-time context from multiple perspectives to expand learning experiences. CoP structures are effective to link knowledge with practice because members engage systematically in cooperation while sharing a repertoire of working methods that they can use cooperatively to innovate (Iverson & McPhee, 2008) in real life. This working environment has proven to be successful for members of a regulated field (such as special education) in establishing practice standards, policies, and change (Linehan, 2010). Nevertheless, these collaborative networks seem to work better among individuals who come from the same culture, field of professional expertise, or similar thinking processes (Lee & Cole, 2003). South African countries are using the concept of CoPs to promote collaborative learning in local communities through higher education efforts (Buckley & DuToit, 2009; Hodgkinson-Williams et al., 2008; Jawitz, 2009).  

            Members of CoPs develop epistemic parameters that maintain collective meaning. Knowledge creation, creative solutions, and innovation happen in contexts of rich information and membership connectivity, all of which enhances knowledge capabilities (O’Kane et al., 2008). This means that organizations must design working environments recognizing the social aspect of knowledge creation in which members define knowledge strategy, link strategy with operational programs, leverage the different dimensions of CoPs, and give careful attention to organizational context. The challenge of modern management is to create these organizational structures free from the intervention of policymakers (Thompson, 2005), avoiding the constraints of traditional structures while maintaining production control.

Information Technology as Enabler of Domain

            The study of CoP emergent literature demonstrated that the third most important element of domain is the role of information technology (IT) in enabling learning environments (see Table 11), after innovative solutions for everyday problems and situated learning. Technology capacitated CoPs to track concept maps, document activities, and created visual language inherent to a content discipline (Akoumianakis, 2009). CoP archives of presentations, best practice case studies, and shared tools function as repositories for content knowledge and proved to be critical in knowledge stewardship (Guldberg & Mackness, 2009). IT bestows collaborative learning because it caters to groups of practitioners multiple communication outlets (e.g., chat rooms, wiki-spaces, blogs), especially useful for knowledge creation amidst groups of practitioners geographically dispersed such the armed forces (Adkins et al., 2010) and multinational companies (Anand et al., 2007). However, research (Akkerman, Petter, & De Laat, 2008; Kasper, Mühlbacher, & Müller, 2008) revealed that some CoP members need face-to-face meetings to reinvigorate enthusiasm. CoP members in multiple industries and countries enhanced their abilities to create knowledge with support of IT tools and communication outlets, with more relevance in the fields of education (35%), technology (17.2%), and more preeminence in the United States (39.5%) and multinational companies (17.2%) (see Appendix E).

            Organizations from numerous industries design their own software to support CoP activities (Akoumianakis, 2009) or explore alternative technologies such as interactive digital television (De Melo, Santos, Ferreira, & Dantas, 2010) as communication platforms. Akoumianakis (2009) alerted that technology offers plethora of communication methods to intensify connectivity among members including instant messengers, virtual worlds, online games, multi-user domains, screening-sharing capabilities, and specific domain languages. Other virtual communication platforms are Web 2.0, Web crossing, and video conferencing technologies (Sarirete & Chikh, 2010).  Technology creates a new order of CoP artifacts entitled to satisfy the needs for creation among different groups. Mastering these technology tools contributed to increased participation (Clark, 2010) and self-efficacy (Clark, 2010; Murugaiah, 2010) among virtual CoP members. Corso et al. (2009) defined virtual tools as main motivators to maintain connectivity that boost membership participation, involvement, and commitment. Scarso, Bolisani, & Salvador (2009) denominated the technological dimension as one of the four pillars of CoPs, along with the organizational, cognitive, and economic dimensions.

            The use of technologies test the capabilities of organizations interested in establishing CoPs because community stakeholders will need from augmented, customized, and cost-effective technical support to maintain continual negotiated enterprise (Goldstein & Butler, 2010; Mizintseva & Gerbina, 2009). Guldberg and Mackness (2009) indicated how organizations involved in supporting CoPs could monitor members’ participation to understand performance and offer variety of virtual environments. Hew and Hara (2007) studied electronic mailing lists to understand how literacy teachers shared knowledge through virtual communication, types of knowledge, and knowledge flow, discovering that lack of knowledge about technologies and competing communication outlets are main barriers to sustained participation. Mork et al. (2008) found that ability of community participants to access equipment and support are characteristics of successful cross-disciplinary practices. Early adopters of CoP technologies in teacher communities showed more ability to build online networks of professional learning whereas requiring support that is more technical over time (Riverin & Stacey, 2007).

            Technology expands the capabilities of practitioners for which some school systems have made mandatory for teachers to have free access to Internet, technology tools, and communication technology training (Riverin & Stacey, 2007). The online delivery of professional CoPs is convenient because it allows immediate access to other members, professional expertise, and advice, and cost-effective communication platforms (Vavasseur & MacGregor, 2008).  However, the use of technologies supports practice but not the formation of CoP identity (Noriko, 2007). Vavasseur and MacGregor (2008) alerted organizations working with CoPs should not confuse professional identity with the building of technical skills. Findings of Norika research reflected that IT itself is not conducive to knowledge creation unless the elements of socialization, negotiated enterprise, and professional identity are present. Beyond modern IT systems, surveyed CoP members seek primarily for professional advancement, expertise, collegiality, and innovation opportunities. 

Conclusion

            Wenger (2000) proposed a CoP theory similar to previous gremial groups, such as invisible colleges, epistemic communities, and learning communities. Invisible colleges are groups of scholars and researchers channeling their specific interests and goals into industry advancement, rooted on the 16th century scientific movement in Europe. In modern management, Price (1966) continued this line of thought with studies about practitioners collaborating to industry advancement through social interaction. Crane (1972) produced a book about the capacity of invisible colleges to diffuse knowledge. Kuhn’s ideas (1996) about knowledge diffusion are well known in the scientific world, with practitioners identifying anomalies that led to scientific innovation. Invisible colleges share with CoPs some fundamental characteristics, such as core leadership, peripheral groups, and connectedness that overcome geographic and time zone barriers. The development of contemporary CoP (Wenger, 2004; Wenger et al., 2002; Wenger & Snyder, 2000) theory relate the existence of CoPs with developmental stages similar to those present in the traditional life cycle paradigms (e.g., inception, high-growth, and maturity.

            Epistemic communities are networks of professionals who possess specific domains and influence policy-making (Adler & Haas, 1992). Members of epistemic communities share professional beliefs and values related to domain competence. Epistemic communities take interest in the betterment of industry and society, promoting the institutionalization of new practices. Professional participants in epistemic communities aim to identify sources and methods to produce and manage knowledge. Like-minded professionals share common characteristics as they master similar practices and possess similar mental models, vision, and system thinking. Senge (1999) associated learning communities to Japanese total quality management (TQM) philosophies (i.e. Toyota), which attempted to transform organizations into collaborative learning spaces to capitalize on workers’ tacit knowledge. Members of learning communities bring with themselves intuition and elements from epistemic understandings and personal experience. Contemporary leadership theories (Cashman, 1998; Scharmer, 2007) recommend intuition and personal mastery as nonconventional strategies to promote innovation.

            Wenger et al., (2002) brought the concept of CoP to the attention of modern industries as learning and social structures able to steward knowledge. Theories of situated learning (Lave, 1991) inspired Wenger’s vision of CoPs, in which organizations acknowledge that learning happens within a social context and from previous working experiences. The 1990s saw also a proliferation of CoP research in the works of Orr (as in Budery, 1998), and Brown and Duguid (1998). Research with technical groups demonstrated that situation and culture influence cohesion among practitioners. Cultural context provides to the members of the community a common ground for enterprise negotiation, social interaction, and common language and artifacts. As members of the CoP collaborate and communicate, a semantic environment evolves and promotes among members creative ideas to common problems. Wenger recommended organizations to exploit the capabilities of CoPs as if these are innovation assets. Knowledge is an epistemic experience and workers learn and produce better when the organizational culture supports a social learning environment.

             A fundamental characteristic of CoPs is the distribution of participant groups. At the core of the community, a smaller group of champions initiate activity whereas peripheral groups and passive participants demonstrate less participation but benefit from new ideas and knowledge. Regularly, level of expertise is the trigger to participation. CoPs rely on the experience of more knowledgeable members to direct activities. In general, members of the CoP develop professional identity and sense of common purpose. Wenger et al. (2002) defined the basic elements of the CoP as community, practice, and domain. A meta-analysis of 84 research designs dated from 2000 to 2010 and representing 18 different countries in more than 20 industries demonstrated that professional CoPs manifest a specific order of behaviors and characteristics in the dimensions of community, practice, domain, and IT as enabler of collaboration.

            In the dimension of community, the behavior observed with more frequency was reflective collaboration. Reflective collaboration is an effective strategy for innovation because it expands the mental capabilities of workers who can identify constraints and opportunities. Practitioners who reflect regularly about procedures and artifacts improve expertise, make new cognitive connections, and learn experientially.

            In the dimension of practice, the behavior observed with more frequency was sense of common purpose. Sense of common purpose represents a space of craft intimacy; in which practitioners share common meaning and familiarity and professional identity. Studies reported that sense of common purpose is necessary to build self-organization, values of accountability, motivation, and self-fulfillment. Elements such as vision, leadership, and clear expectations and goals contribute to solidify sense of common purpose.

            In the dimension of domain, the behavioral characteristic observed with more frequency was the existence of creative solutions, innovation, and knowledge creation. CoPs demonstrated to be fertile ground for identification of problems, ideation of new processes, prototyping tools and methods, and validation of practice results. Case studies such as those related to open-source software (e.g., Linux) are examples of how CoPs can achieve technical innovation through collaborative trial-error approaches. Organized CoPs members could produce innovation in private and public organizational environments. The principles of constructivism and hands-on learning common within CoPs are similar to those related to real-time context to expand practice perspective.

             It was evident during the literature meta-analysis the role of IT in the maturity and expanded capacities of contemporary CoPs. IT enables the domain element because it serves as repository of emergent knowledge, tracking device for progress, and multi-outlet communication media. Professional organizations design unique software and communication platforms to support the work of specific groups of practitioners. Technology intensifies connectivity among CoP members, although parallel research indicated that face-to-face interaction reinvigorates the enthusiasm of CoP members. The use of technologies to promote CoPs creates new challenges for organizations, which will be providing more IT services and support to the different CoPs’ memberships.

 

            References

Abdullah, R., Sahibudin, S., Alias, R. A., & Selamat, M. H.  (2005, September 1). Applying knowledge management system with agent technology to support decision making in collaborative learning environment.Journal of American Academy of Business, 7(1), 1-10.

Adkins, R., Bartczak, S. E., Griffin, K., &  Downey, J. P. (2010). Improving military competitiveness by enabling successful communities of practice: Lessons learned over 10 years with Air Force knowledge now. Competition Forum, 8(1), 44-55.

Adler, E. & Haas, P. M. (1992, Winter). Conclusion: epistemic communities, world order, and the creation of a reflective research program. International Organization, 46(1), 367-391.

Akkerman, S., Petter, C., &  De Laat, M. (2008). Organizing communities-of-practice: facilitating emergence.Journal of Workplace Learning, 20(6), 383-399.

Akoumianakis, D. (2009). Practice-oriented toolkits for virtual communities of practice. Demosthenes. Journal of Enterprise Information Management, 22(3), 317-345.

Anand, N., Gardner, H. K., & Morris, T. (2007, April). Knowledge-based innovation: Emergence and Embedding of new practice areas in management consulting firms. Academy of Management Journal, 50(2), 406-428.

Arthur, W. B., Day, J., Jaworski, J., Jung, M. Nonaka, I., Scharmer, C. O., & Senge, P. (2002, April). Illuminating the blind spot. Leader to Leader, 2002(24). 11-14

Ash, D., Brown, C., Kluger-Bell, B., & Hunter, L. (2009, July/August). Creating hybrid communities using inquiry as professional development for college science faculty. Journal of College Science Teaching, 38(6). 68-77.

Bach, P. M., & Carroll, J. M. (2010, December). Characterizing the dynamics of open user experience design: The cases of Firefox and OpenOffice.org. Journal of the Association for Information Systems, 11(12), 902-925.

Blanton, M. L., & Stylianou, D. A. (2009, June). Interpreting a community of practice perspective in discipline-specific professional development in higher education. Innovative Higher Education, 34(2), 79-92. Retrieved from ProQuest Database.

Bosa, I. M. (2008). Innovative doctors in Germany: changes through communities of practice. Journal of Health Organization and Management, 22(5), 465-479. Retrieved from ProQuest Database.

Bowen, A. (2010, September). Factors that influence practitioners trained in Six Sigma principles in the development of a community of practice: A case study (Doctoral Dissertation, Capella University). Dissertation Abtracts International, 71(03). (UMI  3396504

Brower, H. H. (2003, March). On emulating classroom discussion in a distance-delivered OBHR course: Creating an on-line learning community. Academy of Management Learning & Education, 2(1), 22-36.

Brown, J. S. & Duguid, P. (1998, Spring). Organizing Knowledge. California Management Review, 40(3), 90-111.

Buckley, S., Du Toit, A. (2009, March). Sharing knowledge in universities: communities of practice the answer?  Education, Knowledge & Economy, 3(1), 35-44.

Carey, C., Smith, K., & Martin, L. M. (2009). Cross-university enterprise education collaboration as a community of practice. Education & Training, 51(8/9), 696-706.

Casey, D. L. & McMillan, G. S. (2008, October). Identifying the “invisible colleges” of the industrial and labor relations review: A bibliometric approach. Industrial & Labor Relations Review, 62(1), 126-132.

Contu, A., Willmott, H. (2003, May-June). Re-embedding situatedness: The importance of power relations in learning theory. Organization Science, 14(3), 283-296.

Corso, M., Giacobbe, A., & Martini, A. (2009). Designing and managing business communities of practice. Journal of Knowledge Management, 13(3), 73-89.

Crane, D. (1969, June). Social structure in a group of scientists: A test of the invisible college hypothesis.American Sociological Review, 34(3), 335-352.

Crane, D. (1971, Summer). Transnational networks in basic science. International Organization, 25(3), 585-602.

Dabback, W. M. (2010, July). Exploring communities of music in Virginia’s Shenandoah Valley. International Journal of Community Music, 3(2), 213-227. DOI: 10.1386/ijcm.3.2.213_1

De Melo Braga, M., Santos, P. M., Ferreira, M. V. A. S., & Dantas, M. A. R. (2010, August). A model for the application of interactive digital television to communities of practice. International Journal of Advanced Corporate Learning, 3(3), 5-9 DOI: 10.3991/ijac.v3i3.1359

De Palma, R., & Teague, L. (2008, December). A democratic community of practice: Unpicking all those words.Educational Action Research, 16(4), 441-456.

Dunlop, C. A. (2009, June). Policy transfer as learning: Capturing variation in what decision-makers learn from epistemic communities. Policy Studies, 30(3), 289-311.

Elmualim, A. A., & Govender, K. (2008). Communities of practice in UK large contracting firms: Contrasting application and non-utilized merits. Architectural Engineering & Design Management, 2008, 4(4), 149-159.

Gambarotto, F., Cammozzo, A. (2010, August). Dreams of silence: Employee voice and innovation in a public sector community of practice. Innovation: Management, Policy & Practice, 12(2), 166-178.

Gausdal, A. H. (2008, May). Developing regional communities of practice by network reflection: The case of the Norwegian electronics industry. Entrepreneurship & Regional Development, 20(3), 209-235.

Goel, L., Johnson, N. A., Junglas, I., & Ives, B. (2011, September). From space to place: Predicting users’ intentions to return to virtual worlds. MIS Quarterly, 35(3), 749-776.

Goldstein, .B. E., & Butler, W. H. (2010, Spring). Expanding the scope and impact of collaborative planning: Combining multi-stakeholder collaboration and communities of practice in a learning network. Journal of the American Planning Association, 76(2),

Griffith, T., & Sawyer, J. (2006, July). Supporting technologies and 0rganizational practices for the transfer of knowledge in virtual environments. Group Decision & Negotiation, 15(4), 407-423.

Guldberg, K., & Mackness, J. (2009, December). Foundations of communities of practice: enablers and barriers to participation. Journal of Computer Assisted Learning, 25(6), 528-53.

Hayes, K. J., & Fitzgerald, A. (2009, September). Managing occupational boundaries to improve innovation outcomes in industry-research organizations. Journal of Management and Organization, 15(4), 423-438.

Hawk, S., Zheng, W., Zmud, R. (2009). Overcoming knowledge-transfer barriers in infrastructure management outsourcing: Lessons from a case study. MIS Quarterly Executive, 8(3), 123-139.

Hayes, K. J., & Fitzgerald, A. (2009, September). Managing occupational boundaries to improve innovation outcomes in industry-research organizations. Journal of Management and Organization, 15(4), 423-438.

Hew, K., Hara, N. (2007, December). Empirical study of motivators and barriers of teacher online knowledge sharing. Educational Technology Research & Development, 55(6), 573-595.

Hodgkinson-Williams, C., Slay, H., & Siebörger, I. (2008, May). Developing communities of practice within and outside higher education institutions. British Journal of Educational Technology, 39(3), 433-442.

Iverson, J.O. & McPhee, R. D. (2008, May). Communicating knowing through communities of practice: Exploring internal communicative processes and differences among CoPs.  Journal of Applied Communication Research, 36(2), 176-199. DOI: 10.1080/00909880801923738

Jawitz, J. (2009, June). Academic identities and communities of practice in a professional discipline. Teaching in Higher Education, 14(3), 241-251.

Kasper, H., Mühlbacher, J., & Müller, B. (2008, March). Intra-organizational knowledge sharing in MNCs depending on the degree of decentralization and communities of practice. Journal of Global Business & Technology, 4(1), 59-68.

Kisiel, J. F. (2010, January). Exploring a school–aquarium collaboration: An intersection of communities of practice. Science Education, 94(1), 95-121.

Kofman, F. & Senge, Peter M. (1993, Autumn). Communities of commitment: The heart of learningorganizations. Organizational Dynamics, 22(2), 4-23.

Kuhn, T. S. (1996). The Structure of Scientific Revolutions (3rd Ed.). Chicago, US: The University of Chicago Press.

Lave, J. (1991) Situating learning in communities of practice. In Perspectives on Socially Shared Cognition (pp. 63-82). L. B. Resnick, J. M. Levine, & S. D. Stephanie D. (Eds.). Washington, DC, US: American Psychological Association,

Lave, J. & Wenger, E. (199 1). Situated Learning: Legitimate Peripheral Participation. Cambridge: Cambridge University Press.

Lavoue, E., & George, S. (2010, April-June). Supporting the interconnection of communities of practice: the example of TE-Cap 2. (Report). International Journal of Web-Based Learning and Teaching Technologies, 5(2), 37-48.

Lawless, A. (2008, July). Action learning as legitimate peripheral participation. Action Learning: Research & Practice, 5(2), 117-129. DOI: 10.1080/14767330802185632.

Lee, G. K., & Cole, R. E. (2003, November/December. From a firm-based to a community-based model of knowledge creation: The case of the Linux Kernel development. Organization Science, 14(6), 633-649.

Linehan, P. C. (2010). Communities of practice as a technical assistance strategy: A single-case study of state systems change (Doctoral Dissertation, The George Washington University). Dissertation Abstracts International, 71(04), AAT 3397351. (UMI 33973)

McElyea, B. E. (2011, March). Communities of practice: Understanding the factors contributing to enhanced knowledge sharing (Walden University, MN). Dissertation Abstracts International, 71(09). (UMI 3418797)  Retrieved from ProQuest Dissertations & Theses

Marshall, C. C., Shipman III, F. M., McCall, R. J. (1995, Spring)Making large-scale information resources serve communities of practice.  Journal of Management Information Systems11(4), 65-86.

Marshall, J. & Peters, M. (1985, November). Evaluation and education: the Ideal learning community. Policy Sciences, 18 (3), 263-288. Retrieved from EBSCOHost Database

Mintzberg, H. (2003). The professional organization. In H. Mintzberg, J. Lampel, J. B. Quinn, & S. Ghoshal (Eds.).The Strategy Process: Concepts, Contexts, Cases (4th Ed.) (pp. 372-382). Harlow, Essex: Pearson.

Mizintseva, M. F., & Gerbina, T. V. (2009, December). Knowledge management practice: Application in commercial banks (a Review). Scientific and Technical Information Processing, 36(6), 309-318.

Mobanaghan, C. H., & Columbaro, N. L. (2008). Communities of practice and students’ professional development.International Journal of Teaching & Learning in Higher Education, 20(3), 413-424.

Monaghan, C. H. (2007, Spring). Communities of practice: Modeling lifelong learning skills. Journal of Continuing Higher Education, 55(2), 10-16.

Moreno, A. (2001, September). Enhancing knowledge exchange through Communities of Practice at the Inter-American Development Bank. Aslib Proceedings, 53(8), 296-308.

Mørk, B. E., Aanestad, M., Hanseth, O., & Grisot, M. (2008, January/March). Conflicting epistemic cultures and obstacles for learning across communities of practice. Knowledge & Process Management, 15(1), 12-23.

Murugaiah, P., Azman, H., Ya’acob, A., & Thang, S. M. (2010).Blogging in teacher professional development: Its role in building computer-assisted language teaching skills. International Journal of Education & Development using Information & Communication Technology, 6(3), 73-87

Nahavandi, A. (2009). The Art and Science of Leadership (5th Ed.). Upper Saddle, NJ: Pearson.

Namjaidee, S., Manmart, L., Apichatwallop, Y., & Kamnuansilpa, P(2010, December). Pottery communitycharacteristics toward a learning community in Thai context. International Business & Economics Research Journal, 9(12), 12, 77-87.

Nonaka, I., Konno, N., & Toyama, R. (2001). Emergence of “Ba”: A conceptual framework for the continuous and self-transcending process of knowledge creation. In I. Nonaka & T. Nishiguchi (Eds.), Knowledge emergence:  Social, technical, and evolutionary dimensions of knowledge creation (pp. 13-29). Oxford: Oxford University Press.

Nonaka I. & T. Nishiguchi (2001.), Knowledge emergence:  Social, technical, and evolutionary dimensions of knowledge creation (pp. 13-29). Oxford: Oxford University Press.

Noriko, H. (2007, January). Information technology support for communities of practice: How public defenders learn about winning and losing in court. Journal of the American Society for Information Science & Technology, 58(1), 76-87.

O’Kane, M. P., Paine, M. S., & King, B. J. (2008, September). Context, participation and discourse: The role of the communities of practice concept in understanding farmer decision-making.  Journal of Agricultural Education & Extension, 14(3), 187-201Peter, S. (1999, December-November). It’s the learning: The real lesson of the quality movement. Journal for Quality & Participation, 22(6), 34-41.

Price, M. (2005, June). Assessment standards: The role of communities of practice and the scholarship of assessment. Assessment & Evaluation in Higher Education, 30(3), 215-230. Retrieved from EBSCOHost Database.

Price D. J. & Beaver, D. D. (1966, November). Collaboration in an invisible college. The American Psychologist 21(11), 1011-1018.

Riverin, S., & Stacey, E. (2007, November). The evolution on an online community–A case study. Research & Practice in Technology Enhanced Learning, 2(3), 267-297.

Rohlfing, K. J., Rehm, M., & Goecke, K. U. (2003). Situatedness: The interplay between context(s) and situation. Journal of Cognition & Culture, 3(2), 132-156.  DOI: 10.1163/156853703322148516

Sarirete, A., & Chikh, A.  (2010, January-March). A knowledge management process in communities of practice of engineering based on the SECI model for knowledge International. Journal of Web-Based Learning and Teaching Technologies, 5(1), 27-43.

Scharmer, C. O. (2009). Theory U: Leading from the future as it emerges. San Francisco, CA: Berrett-Koehler.

Schon, D. A. (1989). A symposium on Scbön’s Concept of Reflective Practice: Critiques, commentaries, illustrations. Journal of Curriculum & Supervision, 5(1), 6-9.

Senge, P. M. (1993). Transforming the practice of management. Human Resource Development Quarterly, 4(1), 5-32.

Stuart, M. (1993, Spring). Themes from Thymos. Journal of the American Planning Association, 59(2), 147-151.

Thompson, M. (2005, March/April). Structural and Epistemic Parameters in Communities of Practice. Organization Science, 16(2), 151-164.

Tomcsik, R. (2010, November). Does gender matter? Collaborative learning in a virtual corporate community of practice (Doctoral Dissertation, Capella University). Dissertation Abtracts International, 71(05). (UMI 3402255). Retrieved from ProQuest Dissertations.

Topousis, D., Murphy, K., & Holm, J. (2008, April). Bridging the communication gap at NASA: A case study in communities of practice. Proceedings of World Academy of Science: Engineering & Technology, 40, 83-86.

Vavasseur, C. B., & MacGregor, K. (2008, Summer). Extending content-focused professional development through online communities of practice. Journal of Research on Technology in Education, 40(4), 517-538.

Vega, G., & Quijano, A. (2010). Comunidades de práctica y alfabetización informacional  [Communities of practice and information literacy]. Ibersid, 93-103.

Viskovic, A. (2006, November). Becoming a tertiary teacher: Learning in communities of practice. Higher Education Research & Development, 25(4), 323-339.

Wenger, E. (2004). Communities of Practice: Learning, Meaning, and Identity (7th Ed.). Cambridge, UK: Cambridge University Press.

Wenger, E., McDermott, R., & Snyder, W. M. (2002). Cultivating Communities of Practice: A Guide to Managing Knowledge. Boston, MA: Harvard Business Scholl Press.

Wenger, E. C., & Snyder, W. M. (2000, January/February). Communities of practice: The organizational frontier.Harvard Business Review, 78(1), 139-145.

West, R. (2009, June). What is shared? A framework for understanding shared innovation withincommunitiesEducational Technology Research & Development, 57(3), 315-332. DOI: 10.1007/s11423-008-9107-4

Wright, N. (2007). Building literacy communities of practice across subject disciplines in secondary schools.Language & Education: An International Journal, 21(5), 420-433.

Yang, C. L., Wei, S. T. (2010, October). Modeling the performance of CoP in knowledge management. Total Quality Management & Business Excellence, 21(10), 1033-1045. Retrieved from EBSCOHost Database

Zuccala, A. (2006, January). Modeling the invisible college. Journal of the American Society for Information Science & Technology, 57(2): 152-168.

                        

Appendix A: CoP Research Geographic Area and Industry Distribution

 

Appendix B: Reflection Collaboration

Appendix C: Sense of Common Purpose

Appendix D: Creative Solutions, Innovation, and Knowledge Creation

 

Appendix E: IT as Enabler of Knowledge Management

 

Evaluación de Programas de Aprendizaje @ Distancia como Medición de Calidad

Por: Dra. Omayra Caraballo Pagán
Universidad Interamericana de Puerto Rico – Recinto de Ponce

 

 


Evaluación de Programas de Aprendizaje @ Distancia como Medición de Calidad

Resumen

Las instituciones educativas incluyen la evaluación de sus programas como una de las actividades más importantes del quehacer educativo. A pesar de que se considera un proceso arduo, es fundamental si se quiere asegurar la calidad de los servicios que se ofrecen. Ésta se establece como una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos. También, ésta puede ser formativa y sumativa y existen varios modelos para ser utilizados en la misma. Además de la conceptualización en el proceso de evaluar un programa, un investigador debe anticipar los dilemas éticos a los que se puede enfrentar durante su estudio. Finalmente, en la evaluación de programas de aprendizaje @ distancia se señala que la última medida de su calidad es el aprendizaje logrado por quienes utilizan sus recursos.

 

Palabras claves: evaluación de programas, aprendizaje a distancia, modelos de evaluación, calidad.

 

 

Introducción

Los programas académicos contextualizan la visión, misión y objetivos de una institución educativa de manera coherente, formando así una estructura que permita el desarrollo y formación del estudiante, personal administrativo y docente que labora en ésta (Mendoza, como se cita en González, 2006). Coincidiendo con esto, Jason (2008) enfatiza que la evaluación es una herramienta para determinar si la extensión o el currículo del programa son efectivos e, igualmente,  provee dirección para tomar las decisiones en los aspectos que no contribuyan al desempeño exitoso del estudiante.

 

Las instituciones educativas incluyen la evaluación de sus programas como una de las actividades más importantes del quehacer educativo.  A pesar de que se considera un proceso arduo, es fundamental si se quiere asegurar la calidad de los servicios que se ofrecen (González, 2006).  La pertinencia o utilización de los procesos de evaluación en el sistema educativo así como las discrepancias se fundamentan en una variedad de aspectos que le son imputados a la evaluación (Montero, 2004). Ésta se establece como una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos.

 

Por su parte, Fitzpatrick, Sanders & Worthen (2004) presentan la evaluación de programas con el propósito de determinar o fijar el valor, para examinar o juzgar. Mientras, para Stufflebeam y Shinkfield (2007) ésta es la provisión de información a través de medios formales tales como criterios, medidas y estadísticos con el propósito de proveer una base racional para hacer juicios inherentes a las situaciones de decisión.

 

Además de clarificar la definición del concepto de evaluación, también es necesario diferenciar entre evaluación e investigación. Según Fitzpatrick et al. (2004) han surgido muchos métodos de evaluación en la investigación en las Ciencias Sociales. Sin embargo, estos métodos han tenido que diferenciarse entre lo que conceptualmente es investigación y evaluación.

 

Por ejemplo, una de las diferencias entre estos conceptos es asociado al propósito, ya que “la investigación y la evaluación tienen fines distintos.  El propósito principal de la investigación es darle un valor añadido al conocimiento del campo para contribuir en el crecimiento de la teoría. Mientras, la evaluación ayuda emitir un juicio o tomar una decisión” (Fitzpatrick et al., 2004, p. 7). Aún así y a pesar de la aclaratoria anterior, en algunas ocasiones la evaluación y la investigación se interponen. Por tanto, es importante reconocer que la investigación puede añadir conocimiento de las leyes o teorías en una disciplina y la evaluación puede informar y formar nuestros juicios para tomar  decisiones con respecto a un programa.

En esta dirección, la educación a distancia es un medio que ha alcanzado una gran demanda en los últimos años (Allen & Seaman, 2006), por lo que se hace necesario considerar la evaluación de los programas bajo esta modalidad. Esto, porque permite ofrecer una retroalimentación de valor educativo a la gestión y administración que llevan adelante los profesores y el personal a cargo de tomar las decisiones sobre el rol adecuado, y el impacto de la tecnología en un sector de la población estudiantil del programa. Además, proveerá las guías necesarias para lograr su éxito.

 

 

Necesidades, Propósito y Metas de la Evaluación de Programas de Aprendizaje @ Distancia

 

El análisis de la educación a distancia apunta a una estructura más compleja que la representada por la formación tradicional (Mir, Reparaz y Sobrino, 2003). En sus comienzos, esta modalidad fue pensada para proveer alternativas de estudio a estudiantes que por su lejanía geográfica no podían llegar a los centros universitarios (Volery & Lord, 2000). En esta dirección, Vilaseca y Castillo (citados por Álvarez, 2005) manifiestan que el aprendizaje a distancia debe verse como una oportunidad de impartir enseñanza a aquellos que con necesidades particulares. De modo que, es responsabilidad de todas las instituciones asegurarse que sus ofrecimientos satisfagan las expectativas de las personas a quienes van dirigidas, considerando los recursos y limitaciones de los receptores de esa educación.

 

Sin embargo, a pesar del aumento en la oferta académica en esta modalidad, ésta no va a la par con la evaluación de la misma. Constantemente, se habla sobre la pertinencia o utilización de los procesos de evaluación en el sistema educativo y las discrepancias se fundamentan en una variedad de significados que le son imputados a la evaluación. Esto se debe a que la evaluación es una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas e intervenciones, desde su concepción y diseño, hasta su posterior valoración en términos de logros e impactos (Montero, 2004).

 

La evaluación de programas pretende proporcionar la información recopilada como fundamento para la decisión y ejecución de las opciones adecuadas para el mejoramiento de éste. Por otro lado, se podrán identificar las fortalezas y debilidades con el fin de tomar decisiones que conduzcan a la optimización del mismo. Además, proporcionará información que facilite la toma de decisiones con respecto a la implementación de futuros programas.

Determina si los objetivos han sido logrados o no y en qué grado.

Plan de Evaluación e Implementación

 

La evaluación de programas pretende proporcionar la información recopilada como fundamento para la decisión y ejecución de las alternativas adecuadas para el mejoramiento de éste. Igualmente, según se muestra en la Figura 1, podrá (González, 2006; Graf & Albright, 2007):

 Figura 1: Propósito de la Evaluación de Programas

Por otro lado, para conducir una evaluación se determinan ciertos pasos a seguir, como por ejemplo: selección de institución a evaluarse, utilizar un modelo validado o una teoría en la que se base la evaluación (Nichols, J. & Nichols, K., 2005), hoja de consentimiento, recopilación de datos, tabulación, análisis de los datos para detectar fortalezas y debilidades, y por último, emitir juicios valorativos que permitan hacer recomendaciones dirigidas a la toma de decisiones.

Modelos de Evaluación

 

La evaluación de programas puede ser formativa -orientada a la mejora-  y sumativa -centrada en el impacto y los resultados del programa- (Fitzpatrick, et al., 2004). Existen varios modelos que pueden ser utilizados en la evaluación de los programas. Estos modelos tienen como propósito los siguientes aspectos: seguimiento, identificación de problemas, desarrollo de programas pilotos para mejorar eficacia, identificación de diferencias por población y la determinación de relevancia del programa (Jason, 2008).  A continuación se describen algunos de éstos de acuerdo a su enfoque, según se describen en la Figura 2:


Figura 2: Modelos de Evaluación

Fitzpatrick, et al. (2004) presentan las siguientes cinco precauciones a tomar en consideración sobre los diferentes enfoques de evaluación: los enfoques no son modelos ni teorías, es peligroso concentrarse en un modelo en particular de evaluación, no hace sentido hacer un llamado a abandonar el pluralismo y consolidar los enfoques de la evaluación en uno genérico, la selección de un enfoque de evaluación no puede ser en base a un estudio empírico, y las comparaciones negativas sobre algunos enfoques de evaluación pueden causar efectos secundarios negativos. Cada uno de los marcos conceptuales sobre la evaluación ofrece distintas perspectivas que pueden aplicarse a algunas, pero no a todas las situaciones que se estén considerando. Así que, los evaluadores no deberían concentrarse en un enfoque específico de evaluación, sino por una combinación de distintos enfoques que complementen el proceso (Fitzpatrick, et al., 2004).

La selección de un enfoque de evaluación no puede ser en base a un estudio empírico (Fitzpatrick, et al., 2004).

 

Asimismo, es crucial hacer mención al hecho que en la evaluación de programas es posible realizar dos tipos de evaluación: la formativa y la sumativa (Caraballo, 2010). “La evaluación formativa tiene como propósito principal proveer información para el mejoramiento del programa” y, “la evaluación sumativa provee información para tomar decisiones o ayudar a emitir juicios acerca de la adopción, continuación o expansión de un programa” (Fitzpatrick et al., 2004, p. 17). En este sentido, la evaluación del programa puede ser más completa e integral en todos los aspectos que lo conforman.

  

Recopilación de Datos

Es importante determinar el instrumento que se utilizará para recopilar los datos. El evaluador puede utilizar un instrumento existente o de la misma forma, si éste no existe, es necesario desarrollarlo, validarlo y administrarlo a los participantes y así poder recopilar toda la información necesaria para presentar unas recomendaciones confiables.

 

La recopilación de datos de los participantes puede realizarse a través de una encuesta. Ésta permitirá obtener una descripción numérica o descriptiva de las tendencias, actitudes y opiniones de éstos en relación al programa. La encuesta puede ser de diseño tipo transversal (la recopilación de datos se efectuará para un término académico) o longitudinal (implica la existencia de medidas repetidas -más de dos- a lo largo de un seguimiento).

 

Para la administración del instrumento, especialmente en un programa @ distancia, Mertler (2002) recomienda la administración del mismo vía Internet.  Éste destacó las siguientes ventajas: alto grado de respuesta, marco de tiempo corto para recopilar las respuestas, y ahorro en tiempo y costos.

 

Análisis de datos. Además de la revisión y análisis bibliográfico y de la literatura recopilada, es posible presentar el análisis de los datos empíricos recopilados mediante la aplicación de los instrumentos en varios pasos. En primer lugar, mostrar una tabla que refleje el número y por ciento de los sujetos encuestados, comparando los que contestaron versus los que no contestaron. En segundo lugar, demostrar el efecto, si alguno, de los cuestionarios que no se respondieron y la acción a tomar. Indicar si es necesario hacer un segundo intento a través del teléfono y evaluar si los datos de la muestra ya recopilada cambian sustancialmente. En tercer lugar, se incluir un análisis descriptivo de los datos para las variables independientes y dependientes. Por último, mostrar un análisis estadístico de los datos recopilados utilizando algún programa estadístico, como por ejemplo, SPSS.

 

Recomendaciones de la evaluación. Se deben elaborar estrategias que puedan ser utilizadas para mejorar el diseño del programa y los hallazgos deberán ser diseminados a los accionistas (stakeholders) involucrados en el andamiaje del programa a evaluarse, como también a los participantes. Esto confirmará el interés del investigador en que sus ideas o aportaciones sean tomadas en consideración para el mejoramiento del programa implantando las acciones correctivas necesarias.

Principios Éticos a Considerar

Además de la conceptualización en el proceso de evaluar un programa, un investigador debe anticipar unos dilemas éticos a los que se puede enfrentar durante su estudio (Creswell, 2003). La mayoría de las investigaciones involucran seres humanos como participantes en experimentos, encuestas, entrevistas y estudios. Aún cuando se revisan muchos materiales, se involucra a personas, las cuales tienen derechos como sujetos de un estudio. De manera que los estándares éticos deben pretender asegurar que  la evaluación se lleve a cabo legalmente, con ética y en beneficio de los involucrados en ésta y de quienes son afectados por sus resultados (Ramlow, s.f.). Esta autora señala que es importante considerar los siguientes aspectos éticos: orientación al servicio, compromisos formales, derechos humanos, interacciones humanas, valoración completa y justa, divulgación de los hallazgos, conflicto de intereses, y responsabilidad fiscal.

 

Durante el proceso de análisis e interpretación de la información recopilada es necesario garantizar el mantener el nombre de los participantes bajo anonimato.  Se considerarán las reglas de ética, para mantener los archivos como resultado de la investigación y evitar que se utilicen de manera inapropiada. Los mismos se mantendrán entre 5 a 10 años, periodo recomendado por Sieber (citado por Creswell, 2003), y de ser factible, custodiados por personas ajenas al proceso de investigación realizado.

 

Igualmente, al redactar el informe final se tomará en consideración la utilización de las palabras y el lenguaje correcto de modo que no se interprete que se atenta o discrimina por razones de género, raza o grupo étnico, orientación sexual, impedimento o edad (American Psychological Association,2002).

 

Respeto a los derechos de los participantes. Es preciso destacar que la evaluación debe realizarse dentro de un marco de confianza y respeto. Para garantizar el cumplimiento de los requerimientos éticos que conlleva una investigación que involucra individuos y de no exponer a los encuestados a ningún tipo de riesgo,  el instrumento que vaya a ser utilizado en el proceso de investigación debe ser sometido y aprobado por la Junta de Revisión Institucional, conocida por sus siglas IRB (Creswell, 2003; Hernández, Fernández-Collado y Baptista, 2006). Asimismo, estos autores señalan que el investigador está obligado a proteger a los participantes de riesgos, daños y amenazas que pudieran enfrentar ellos y el equipo de investigación.

 

De acuerdo con los Principios éticos y el Código de conducta de la American Psychological Association (2002), los participantes en una investigación tienen los siguientes derechos: estar informados del propósito de la investigación, negarse a participar en el estudio y abandonarlo en cualquier momento y su anonimato debe ser garantizado.

 

En la investigación no tienen cabida el racismo o la discriminación. Todos los participantes, de cualquier género, niveles socioeconómicos y orígenes étnicos son igualmente importantes y merecen el mismo respeto. Asimismo, es necesario ser sensibles a la cultura de los participantes. Por último, los resultados deben reportarse con honestidad (sin importar cuáles hayan sido) y es fundamental reconocer las limitaciones de la investigación y las del investigador (Hernández, et al., 2006).

 

Conclusiones

Es evidente el aumento de liderar instituciones donde el personal interesa recopilar  datos y aprender sobre qué funciona o no en sus programas, para así mejorar las capacidades organizacionales y los servicios prestados (Wholey, Hatry & Newcomer, 2004). Por lo que, se debe incluir en el informe final los siguientes aspectos identificados o investigados: fortalezas, debilidades, retos, oportunidades, recomendaciones y discusión de hallazgos (Graf & Albright, 2007). Del mismo modo, la evaluación debe proveer el análisis de los procesos y las herramientas utilizadas que puedan proporcionar datos válidos, confiables y creíbles, de manera que aclaren dudas sobre la ejecución del mismo y contribuyan en la toma de decisiones futuras (Nichols, J. & Nichols, K., 2005).

 

Finalmente, en la evaluación de programas de aprendizaje @ distancia se señala que la medida última de su calidad es el aprendizaje logrado por quienes utilizan sus recursos; la evaluación del sistema como tal y de su infraestructura y recursos se realiza con el fin de inferir la capacidad del sistema para producir aprendizaje significativo con el objetivo de mejorar la calidad de vida de quienes aprenden (Silvio, 2006). Igualmente importante, este autor acentúo que pueden evaluarse los programas de educación @ distancia con diversos criterios que contienen indicadores acerca del grado en el que el programa se ajusta a las normas de calidad en varios aspectos significativos para su desempeño como programa. En esta dirección, la aplicación de programas de evaluación en programas a distancia garantizan una mayor satisfacción y calidad en  los procesos de enseñanza, aprendizaje y utilidad institucional (Caraballo, 2010). También, promueven una percepción favorable hacia los programas a distancia en relación a sus recursos, reclutamiento y retención estudiantil.

 

 

 

Referencias

Allen, I. E. & Seaman, J. (2006). Making the grade: Online education in the United States. Needham, MA: The Sloan Consortium.

Álvarez Peña, J. (2005). Estudio cualitativo del nivel de receptividad y percepción de la alta gerencia universitaria sobre la implantación de un modelo de universidad virtual. Disertación doctoral no publicada, Pontificia Universidad Católica de Puerto Rico, Ponce, P.R.

American Psychological Association. (2002). Manual de estilo de publicaciones de la American Psychological Association (2da ed.). México, DF. (Trabajo original publicado en 2001).

Caraballo Pagán, O. (2010). Evaluación del Nivel de Satisfacción de la Gestión de un Programa de Aprendizaje a Distancia Aplicando el Modelo CIPP: Caso del Programa de Administración de Sistemas de Oficina de una Universidad Privada de Puerto Rico. Disertación doctoral no publicada, Nova Southeastern University – Fischler School of Education and Human Services, Fort Lauderdale-Davie, FL.

Creswell, J. W. (2003). Writing strategies and ethical considerations. Research design: Qualitative, quantitative, and mixed methods approaches (2nd ed., pp. 3-26). Beverly Hills, CA: Sage.

Fitzpatrick, J., Sanders, J., & Worthen, B. (2004). Evaluation’s basic purpose, uses, and conceptual distinctions. Program evaluation: Alternative approaches and practical guidelines. (3rd ed., pp. 3-29). Boston: Allyn & Bacon.

González Chévere, O. (2006). Evaluación del programa de ciencia en la escuela X utilizando el modelo CIPP. Pontificia Universidad Católica de Puerto Rico, Ponce, P.R.

Graf, D. & Albright, M. (2007). Administración y Evaluación de la Tecnología y la Educación a Distancia. Manual del Curso ITDE 8012/ITDE 8013.Miami. Nova Southeastern University.

Hernández, R., Fernández-Collado, C. y Baptista P. (2006). Metodología de la investigación (4a. ed.). México, D.F.: McGraw-Hill/Interamericana Editores, S.A. de C.V.

Jason, M. H. (2008). Perspectives on program evaluation. Evaluating programs to increase student achievement. (2nd ed., pp. 1-10). Thousand Oaks, California: Corwin Press, Inc.

Mertler, C. (2002). Demonstrating the potential for web-based survey methodology with a case study. American Secondary Education. 30(2). ProQuest Education Journals. (ERIC Document Reproduction Service No. EJ648709). Recuperado el 30 de junio de 2008, de la base de datos ERIC.

Mir, J. I., Reparaz, C. y Sobrino, A. (2003). La formación en Internet. Barcelona, España: Ariel, S.A.

Montero Rojas, E. (2004). Marco conceptual para la evaluación de programas de salud. Población y salud en Mesoamérica. 1(2). Recuperado el 30 de junio de 2008, de http://ccp.ucr.ac.cr/revista
/volumenes/1/1-2/1-2-6/1-2-6.pdf

Nichols, J. & Nichols, K. (2005). A road map for improvement of student learning and support services through assessment. New York: Agathon Press.

Ramlow, M. E. (s.f.) Estándares para la evaluación de programas. Recuperado el 17 de julio de 2008, de http://valle-mexico.pm.org/evins
/estandaresevaluacion.doc.

Silvio, J. (2006). Hacia una educación virtual de calidad, pero con equidad y pertinencia. Revista de Universidad y Sociedad del Conocimiento, 3(1). Recuperado el 16 de marzo de 2007, de http://www.uoc.edu/rusc/3/1/dt
/esp/silvio.pdf

Stufflebeam, D. L. & Shinkfield, A. J. (2007). Evaluation, theory, models, & applications. San Francisco, CA: Jossey-Bass.

Volery, T. & Lord. D. (2000). Critical success factors in online education. International Journal of Educational Management14(5) (pp. 216-223). Recuperado el 18 de julio de 2008 de la base de datos Emerald.

Wholey, J., Hatry, H. P., Newcomer, K. E. (Eds.). (2004). Handbook of practical program evaluation. (2nd. ed.). San Francisco, CA: John Wiley & Sons, Inc.

 

Evaluación del Nivel de Satisfacción de la Gestión de un Programa de Aprendizaje a Distancia Aplicando el Modelo CIPP: Caso del Programa de Administración de Sistemas de Oficina de una Universidad Privada de Puerto Rico

Por: Dra. Omayra Caraballo Pagán
Universidad Interamericana de Puerto Rico – Recinto de Ponce

 

 

Evaluación del Nivel de Satisfacción de la Gestión de un Programa de Aprendizaje a Distancia Aplicando el Modelo CIPP: Caso del Programa de Administración de Sistemas de Oficina de una Universidad Privada de Puerto Rico

 

Resumen

La evaluación, como instrumento pedagógico, diagnostica y provee dirección para tomar las decisiones curriculares y de gestión educativa adecuadas entre las comunidades universitarias, además es una herramienta de vital importancia para determinar la efectividad de sus programas. Durante el año académico 2009-2010 se realizó la evaluación de un programa de aprendizaje a distancia, con aproximadamente 20 años bajo la modalidad presencial, implantado en agosto de 2006 bajo la modalidad a distancia y con un total combinado de aproximadamente 409 estudiantes-presencial y a distancia.

Para conducir esta evaluación se utilizó el Modelo de Toma de Decisiones CIPP y la base teórica de Bates sobre la gestión del cambio tecnológico. El estudio permitió una identificación de un nuevo perfil estudiantil que demanda una educación universitaria cada vez más flexible y variada. Refleja la necesidad de referir a una facultad hacia el uso de nuevas destrezas y conocimientos para asumir nuevos roles ante estas tecnologías. Crea la necesidad de considerar los procesos de evaluación como un elemento prioritario en los planes estratégicos universitarios. Resalta la importancia de continuar con el fortalecimiento de las distintas estructuras de apoyo – académico, administrativo y tecnológico. Apoya la hipótesis de que la educación a distancia es el futuro de la educación superior en Puerto Rico y que en esa dirección, será fundamental reinventar la universidad de estos tiempos.

 

Palabras claves: Program Evaluation, Higher Education, Distance Education, Models, Administrative Secretaries     

 

 

Introducción

 

La evaluación institucional y educativa son procesos muy importantes, especialmente si se realizan en instituciones universitarias que desean el desarrollo exitoso de sus programas. La evaluación, como instrumento pedagógico, diagnostica y provee dirección para tomar las decisiones curriculares y de gestión educativa adecuadas entre las comunidades universitarias, además es una herramienta de vital importancia para determinar la efectividad de sus programas.

 

En las organizaciones educativas se observa que los programas académicos contextualizan la visión, la misión y los objetivos de la instituciones de manera coherente, formando  una estructura que permita el desarrollo y la formación del estudiante, el personal administrativo y docente que labora en éstas (González, 2006). Igualmente, se reconoce en el aprendizaje un componente crítico para el éxito de sus gestión, por lo que, según Huertas (s.f.), las nuevas estructuras organizacionales tienen ante sí el reto de apoyar un buen aprendizaje y sus respectivas evaluaciones.

 

Partiendo de estas apreciaciones generales se dirigió este estudio a la evaluación de un programa de aprendizaje a distancia en una institución de educación superior de la región sur de Puerto Rico. Esta contaba con una matrícula aproximada de 6.200 estudiantes, de los cuales 812 son estudiantes a distancia y 2.442 toman algún curso bajo esta modalidad educativa.

Revisión de literatura

La revisión de literatura reveló que este programa se inició en el 1995 e incluyó un plan de implantación y evaluación de tres años. Se estima que el programa comenzó con la iniciativa de una profesora, quien al buscar resolver el problema de la escasa matrícula en sus cursos de especialidad y establecer un nicho en su disciplina, se aventuró a trabajar cursos bajo esta modalidad (Torres, 2007).

El problema que atendió el estudio es el de la evaluación del nivel de satisfacción de la gestión del Programa de Aprendizaje a Distancia de Administración de Sistemas de Oficina de una institución de educación superior de la región sur de Puerto Rico. El mismo tenía 20 años bajo la modalidad presencial, en agosto de 2006 se implantó bajo la modalidad a distancia y contaba con un total combinado de aproximadamente 409 estudiantes-presencial y a distancia.

La investigación realizada reflejó que no hay evidencias documentales de evaluación sobre este programa. En consecuencia, resultó importante estudiar la efectividad de su implantación y su desarrollo posterior, así como identificar sus áreas y necesidades actuales con el propósito de mejorar su gestión y fortalecer la modalidad a distancia en la institución.

Referentes de la Institución Objeto de Estudio

La pertinencia o utilización de los procesos de evaluación en el sistema educativo, así como las discrepancias, se fundamentaron en una variedad de aspectos que le son imputados a la evaluación (Montero, 2004). Ésta se estableció como una herramienta fundamental para la toma de decisiones en las diferentes fases de ejecución de los programas, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos.

Torres (2007) destacó que los programas de aprendizaje a distancia en el sistema educativo en Puerto Rico son una modalidad relativamente reciente. Esto significa que podrían presentarse inconvenientes para utilizarse como alternativa educativa, entre estas se pueden mencionar; resistencia al cambio entre los estudiantes y miembros de la facultad. Sin embargo, este autor planteó que en el país existen pocos estudios relacionados con el tema de la educación a distancia que demuestren este tipo de indicadores u otros.

 

La falta de estudios de evaluación en la educación a distancia en Puerto Rico no ha permitido referentes para crear nuevos programas adecuados a la realidad institucional que los exige, al igual que a las necesidades del desarrollo de recursos humanos necesarios al país. Por el contrario, ha provocado que instituciones, por ejemplo como la  objeto de este estudio, establezcan políticas institucionales particulares, a través de su Junta de Síndicos. Políticas, que de acuerdo a los documentos recopilados, aprueban y establecen entre otros aspectos, que la modalidad de estudios a distancia se movió hacia la transformación en sus procesos de enseñanza-aprendizaje. De la misma forma, desarrollaron nuevos enfoques educativos con la integración de la tecnología y la incorporación al programa de aprendizaje a distancia. 

 

Del mismo modo, se estableció que cada unidad académica debe desarrollar un proceso continuo de evaluación y validación de la calidad académica de las actividades de aprendizaje implantadas. Sin embargo, Torres (2007) acentúa que, aún cuando existe una gran cantidad de documentos institucionales, éstos no proveen suficiente información sobre el programa de evaluación de la educación a distancia.

 

Para tener una idea más clara hacia dónde se dirige la institución estudiada se puede mencionar que, en su visión se destaca que la institución busca proyectarse como el centro de educación a distancia por excelencia en el Caribe e Hispanoamérica. Igualmente, en su misión se establece que para la preparación de profesionales no se tomará en cuenta las barreras de tiempo y espacio. Además, en sus metas, entre otros aspectos, se menciona el promover una educación integral que se encamine a la utilización eficaz de los avances tecnológicos y, por último, se señalan las políticas institucionales que guiarán los programas a distancia a implantarse.

 

Descripción del programa objeto de estudio. El Programa objeto de este estudio responde a la necesidad de satisfacer la demanda del mercado por profesionales de apoyo administrativo con dominio en el manejo de sistemas electrónicos, conocimientos, técnicas, procedimientos y destrezas requeridas para desempeñarse exitosamente en la oficina. Este Programa ofrece el trasfondo cultural y los conocimientos fundamentales de la administración de oficinas que permiten al profesional de apoyo administrativo participar efectivamente en la toma de decisiones, el análisis de datos, el manejo y procesamiento de la información, la comunicación verbal y escrita y el establecimiento de relaciones interpersonales efectivas.

 

Para el caso que ocupa este estudio se entiende que el desarrollo de una oferta académica bajo la modalidad de aprendizaje a distancia requiere de una estructura más compleja que la representada por la formación tradicional (Mir, Reparaz & Sobrino, 2003). En su inicio, esta modalidad fue desarrollada con la intención de  proveer alternativas de estudio a estudiantes que por su lejanía geográfica no podían llegar a los centros universitarios (Volery & Lord, 2000). Sin embargo, a pesar del aumento en la oferta académica de esta modalidad, la evaluación de la misma no va en igual dirección a su progreso (Torres, 2007).

Ahora bien, la educación a distancia debe verse dentro de un contexto determinado y, por supuesto, el aprendizaje que ella genera, según se explica a continuación.

La Educación a Distancia, su Contexto y Definición de Aprendizaje

La educación a distancia se visualiza como un concepto nuevo por muchos educadores (Simonson, Smaldino, Albright & Zvacek, 2006). No obstante, este concepto posee una historia aproximada de 160 años.

 

Peters (2003) escribió que las universidades virtuales utilizan nuevos medios tecnológicos con los cuales pueden completar el proceso de enseñanza-aprendizaje a través de un sistema integrado. Mientras que Rovai, Ponton y Baker (2008) coincidieron al resaltar que cada vez más hay estudiantes con compromisos laborales, sociales y familiares que usan este sistema, con una clara tendencia a aumentar.

 

Las computadoras representaron otra etapa en el desarrollo de la educación a distancia. En esta dirección, Ackermann y Hartman (2002), como se cita en Simonson et al. (2006), destacaron que acentuaron que este medio ha permitido la conexión al Internet mediante redes de personas a través del mundo. Estos autores destacaron que, en Estados Unidos, la American Open University, Nova Southeastern University y la University of Phoenix son reconocidas como líderes en proveer educación a distancia. Igualmente, la British Open University, FernUniversität of Germany y la University of Twente in The Netherlands se reconocen como líderes en Europa. Hoy día, existen muchas universidades del mundo, inclusive en Puerto Rico, que ofrecen cursos y/o programas académicos totalmente a distancia.

 

Por otra parte, las universidades a distancia han asumido un rol significativo en impulsar la modalidad a distancia. Las nuevas demandas educativas ejercieron presión en ampliar la oferta académica a adultos con interés de estudiar pero con unas necesidades particulares (Rovai et al., 2008). Esto provocó que las universidades evolucionaran y crearan o modificaran sus servicios para atender estudiantes con un nuevo perfil, lo que provocó el surgimiento de las universidades virtuales (Álvarez, 2005). Esta tendencia queda validada por el Departamento de Educación de Estados Unidos (Gilbert, 2001), al señalar que para el 1999 el 90% de los colegios y las universidades que ofrecieron cursos a distancia matricularon más de 10,000 estudiantes. Mientras, Rovai et al. (2008), agregaron que durante el 2005, aproximadamente 3.2 millones de estudiantes tomaron al menos un curso en línea, lo cual refleja un aumento en relación al año anterior, en el que se matricularon 2.3 millones de estudiantes.

 

Necesariamente, el desarrollo tecnológico es irreversible, por lo que, podría afirmarse que la educación a distancia ha estado y seguirá sujeta a la evolución continua que experimenten los medios tecnológicos (Mir et al., 2003).

 

Por último, Vilaseca y Castillo (2003), como se cita en Álvarez (2005),  resaltaron la importancia que tiene actualmente la educación a distancia al configurar una nueva forma de distribución de la educación. Esto, inaugurando una serie de transformaciones necesarias en el ámbito de los recursos pedagógicos y tecnológicos asociados al proceso de desarrollo de la actividad educativa.

 

Esta autora manifestó que el aprendizaje a distancia debe verse como una oportunidad de impartir enseñanza a aquellos que tienen necesidades particulares. Por lo tanto, es responsabilidad de todas las instituciones velar que sus ofrecimientos estén  acordes con las expectativas de las personas a quienes van dirigidas, de modo que estas instituciones puedan tomar en consideración los recursos y limitaciones de los receptores de esa educación.

Modelo de Evaluación: CIPP

Existen varios modelos que pueden ser utilizados en la evaluación de los programas. Estos tienen como propósito los siguientes aspectos: “seguimiento, identificación de problemas, desarrollo de programas pilotos para mejorar la eficacia, identificación de diferencias por población y la determinación de relevancia de los programas” (Jason, 2008, p. 4). Dentro de los modelos revisados en la literatura la Figura 1 destaca los siguientes (Fitzpatrick et al., 2004):

Figura 1: Modelos de Evaluación

 

Luego de estudiar estos modelos se llegó a la conclusión que, de acuerdo a la aportación que se esperaba brindar, el modelo más adecuado era el de Daniel Stufflebeam (2007). El mismo hace énfasis en el criterio que maneja la toma de decisiones. Este énfasis tiene como interés que los resultados de la investigación sirvan referencia para la toma de decisiones institucionales, luego de una evaluación continua del programa a distancia mencionado. En esta dirección, Rovai et al. (2008) aseguraron que este modelo se puede utilizar evaluaciones formativas y sumativas.

El modelo CIPP de Daniel Stufflebeam fue seleccionado para la evaluación del programa por su pertinencia y facilidad de adaptación a los programas de educación a distancia (Miguel, Rodríguez, Benhamu & Miguel, 2005).

 

Si se considera por ejemplo la evaluación del  programa estudiado, el propósito de utilizar el Modelo CIPP, orientado a la toma de decisiones (Fitzpatrick et al., 2004), fue el de evaluar la eficiencia de éste en relación a las metas que se plantearon originalmente. Asimismo, comparar si los objetivos que se trazaron inicialmente fueron logrados, confirmar, por otro lado, si los recursos que se plasmaron como necesarios son los existentes o cuán distantes están de las necesidades actuales, y validar si el costo-efectivo calculado fue el adecuado. Igualmente, analizar el efecto en el reclutamiento/retención/deserción de los estudiantes en Puerto Rico o si hoy es necesario establecer cambios.

 

Por otro lado, cabe destacar que las instituciones de educación superior de Puerto Rico se nutren de fondos federales. En esta dirección, en la Ley de Educación Superior del 2008 (Middle States Association, 2010) se ha considerado un aumento en el marco regulador para la rendición de cuentas (accountability) por parte del Congreso y del Departamento de Educación de Estados Unidos para las instituciones educativas y las agencias acreditadoras. Esta rendición de cuentas exige que se evidencie el uso de los fondos en contraste con el logro de los usuarios del sistema educativo, en este caso los estudiantes, e incluye el impacto de los programas a distancia.

 

El uso de este modelo de evaluación permitió aportar una retroalimentación que sirvió para apoyar el requerimiento que hace el Departamento de Educación de Estados Unidos, así como les permitirá mejorar los programas y, por consiguiente, la sociedad la cual atienden. Esta retroalimentación contempla cómo replantear los inicios del programa, desarrollo, función y logros; áreas que forman parte del modelo seleccionado.

 

En resumen, con la aplicación del Modelo CIPP, se evaluó la pertinencia del programa y sus contenidos en relación a las exigencias educativas y laborales del sector de oficina. Igualmente, el comportamiento de la facultad, su congruencia o incongruencia con lo establecido y realizado, los recursos disponibles para implantar el programa, el rendimiento estudiantil e  institucional, y los resultados esperados en comparación a lo logrado.

 

La Tabla 1, describe las preguntas que se incluyen en cada fase de este modelo, con las cuales se dirigió la evaluación de este programa.

Tabla 1 Descripción del Modelo CIPP

Fase Descripción
Contexto Provee información sobre todo aquello que rodea al programa: ¿Qué tiene? ¿Cómo está estipulado el programa? ¿Cuáles son las necesidades educativas de los estudiantes?
Insumo ¿Cuáles son los recursos que hacen que el programa trabaje? Las estrategias, actividades y procedimientos desarrollados, ¿están alineados al programa?
Proceso Determina si el programa funciona. ¿Cómo es la función del programa?

¿Hasta qué punto el programa se desarrolla cómo se había planificado?

Producto ¿Cuáles son los logros obtenidos? ¿Cuál es el valor del programa? ¿Cuáles son los resultados medibles? ¿Cuál es su relación con las metas y objetivos del programa?

Nota. De “Evaluation, theory, models, & applications”, por D. L. Stufflebeam y A. J. Shinkfield, 2007, p. 32.

Conjuntamente con la aplicación de este modelo, se evaluaron los aspectos relacionados al cambio tecnológico que debieron ocurrir en el programa o la institución donde éste tiene su desarrollo.

Gestión del Cambio Tecnológico de Bates

La revisión de literatura y la lectura de algunos aspectos de las bases teóricas adecuadas y utilizadas para apoyar el análisis de esta evaluación, incluyó:

  1.       El estudio independiente de Wedemeyer y Moore (Schlosser & Simonson, 2009) en el que el aprendizaje es autodirigido, lo que exige cierta autonomía del aprendiz.
  2.       La andragogía de Knowles (Schunk, 2008), la cual representa una disciplina que busca suplir la educación y el aprendizaje del adulto.
  3.      La industrialización de la enseñanza de Peters (2003), la que expone que la educación a distancia transformó las estructuras organizacionales de las instituciones  educativas con un incremento de la automatización (Simonson et al., 2006).
  4.      El cambio tecnológico en Bates (2000), en el que se evalúa el impacto de la integración de nuevas tecnologías.
  5.      El conectivismo de Siemens (2005, 2004), que hace énfasis a la era digital (Ferreyra & Pedrazzi, 2007).
  6.      La equivalencia en Simonson, Schlosser y Hanson (1999), la que destaca la igualdad de experiencias de aprendizaje en la educación a distancia en comparación con la educación en el salón de clases.

Luego de esta revisión, se determinó seleccionar como apoyo a la base teórica del estudio algunos criterios presentados por Bates. Éstos acogen los criterios teóricos que se pueden utilizar para gestionar el cambio tecnológico en las instituciones o centros universitarios, en atención a los siguientes aspectos: acceso y flexibilidad, costos, perfil de la enseñanza y el aprendizaje, interactividad y respeto por el usuario, organización, novedad y rapidez (resumidos en el acrónimo ACCIONAR).

Bates (2000) expuso que es preciso atender rápidamente los valores esenciales de la academia. Así también, que para tener éxito en la puesta en práctica de nuevas tecnologías, las estrategias de planificación y gestión requieren un cambio de cultura. Esto, al tomar en consideración que la nuevas tecnologías juegan un papel fundamental en el mundo actual, por lo que las instituciones educativas tienen la necesidad de encontrar nuevas formas de responder a la creciente demanda de una enseñanza permanente (p. 56).

 

Asimismo, esta referencia teórica se utilizó para evaluar el proceso de planificación estratégica flexible y continua, requerido en la adopción e implantación de la educación a distancia. De los aspectos mencionados por Bates (2000), se tomó en consideración si el uso de las nuevas tecnologías puede significar un mejoramiento en la eficacia de los costos, al permitir llegar a nuevos estudiantes y alcanzar unos resultados de aprendizaje de mayor calidad con bajos costos.

 

Igualmente se comparó, entre otras variables, el poder adquisitivo de los estudiantes en relación con el costo de los métodos de la enseñanza tradicional. Además, se consideró la infraestructura tecnológica disponible para atender las necesidades administrativas y académicas. Esto, al reconocer que es esencial la inversión en infraestructura tecnológica que influye tanto en las prioridades académicas, como en las administrativas.

 

En resumen, de acuerdo a los criterios teóricos de Bates (2000) acerca de la gestión del cambio tecnológico en los centros universitarios, se observó, en particular, cómo la institución objeto de este estudio ha asumido lo que se refiere a:  “a) la necesidad de hacer más con menos, b) las necesidades de aprendizaje cambiantes de la sociedad, y c) el impacto de las nuevas tecnologías en la enseñanza y el aprendizaje” (p. 26). Planteó que los resultados que se obtengan podrán medir varias áreas. Éstas áreas se pueden dividir en el acceso del estudiante al sistema, el análisis de costo-beneficio del programa, la relación entre las diferentes aplicaciones de la tecnología y los diferentes resultados de aprendizaje, al equilibrio entre la docencia directa y la basada en la tecnología.

Ahora bien, para finalizar vale la pena hacer mención a la relación que se presenta  entre los aspectos teóricos de Bates, arriba mencionados, con el modelo CIPP, especialmente en atención al contexto, proceso, insumo y producto de los programas tecnológicos y a distancia.

Relación Conceptual del Modelo CIPP y el Cambio Tecnológico de Bates

En términos generales, según Henckell (2007), “las evaluaciones de la educación a distancia facilitan la información necesaria para apoyar a los programas de educación a distancia en el cumplimiento de las necesidades de los estudiantes” (p. 25). Además, contribuyen a que continúen considerándose como un medio alternativo de entrega educativa a diferentes sectores de la población por parte de las instituciones de educación superior.

 

La combinación del Modelo CIPP y el criterio teórico sobre el cambio tecnológico de Bates (2000) articuló de una manera profunda la evaluación. Ambos complementaron y dirigieron una evaluación más coherente en vías de lograr un análisis apropiado del programa objeto de estudio. Muchos de los modelos y conceptos teóricos presentados se ajustaban a la educación a distancia. Sin embargo, el modelo y concepto teórico seleccionado apuntaron a una idoneidad y combinación muy dirigida al programa estudiado. Esto, al recordar que dicho programa se distingue por la falta de evaluaciones anteriores, una implantación de varios años y la particularidad de que éste posee cursos que a nivel mundial tradicionalmente han sido ofrecidos de forma presencial.

 

De manera que, al tomar en consideración el marco teórico descrito en la revisión de literatura, se resalta la importancia de  la evaluación del programa a distancia de Administración de Sistemas de Oficina al utilizar el Modelo CIPP y la gestión del cambio tecnológico.

Al efecto, la combinación entre el Modelo CIPP y el cambio tecnológico de Bates permitieron evaluar la pertinencia del programa y sus contenidos en relación a las exigencias educativas y laborales del sector de oficina. Esto hizo posible la identificación de las fortalezas y debilidades del programa, a través de la evaluación, de modo tal que pudieran hacerse recomendaciones que permitieran tomar las decisiones necesarias para mejorar la gestión académica y administrativa en el mismo, proveyendo, a su vez,  las guías necesarias para lograr que sus actividades a distancia sean exitosas.

Implantación a Distancia de los Programas de Administración de Sistemas de Oficina

López (2007), docente de un programa de Sistemas de Oficina en Puerto Rico, señaló que la profesión del asistente administrativo sufre unos cambios vertiginosos en este momento histórico debido a la explosión de la tecnología, al igual que por los cambios en la manera de hacer negocios. Igualmente resaltó que este profesional “necesita posicionarse en la administración, de manera que pueda responder adecuada y eficientemente a estas nuevas destrezas y conocimientos que la organización del Siglo 21 requiere del asistente administrativo o del futuro administrador o gerente de oficina” (p. 3). Y agregó que “esta trayectoria inexorable exige un profesional que responda a la globalización, al que se le provea una ventaja competitiva a través de un programa de estudios que se reinvente y se atempere a las demandas educativas y empresariales del nuevo siglo” (p. 10).

 

La sociedad se encuentra en una época donde la economía y la fuerza laboral se encuentran digitalizada, virtualizada y la automatización en la producción de bienes se observa en muchas áreas. Dados estos escenarios, cada trabajo que se conoce actualmente será afectado. Y el desarrollo profesional de egresados, según López (2007), demandará un cambio curricular y un cambio en las estrategias y métodos de enseñanza. 

 

Conforme a esto y parafraseando a Huertas (2006), las instituciones de educación superior tienen ante sí el reto de reenfocar sus ofrecimientos y servicios, al tener como una de sus prioridades la internacionalización no simplemente de sus servicios, sino de su currículo. En este sentido, esta autora, resaltó que el programa de Sistemas de Oficina debe responder a estas demandas sociales, tecnológicas y políticas que implican realizar cambios o reinventar sus ofrecimientos.

 

Huertas (s.f.), igualmente, puntualizó que en “los programas de Sistemas de Oficina en Puerto Rico, todavía no se investiga la percepción del departamento y de los estudiantes que se encuentran matriculados en este programa acerca de su implantación a través de la educación a distancia” (p. 7). También destacó que:

 

No se puede perder de perspectiva que en la medida que los estudiantes y profesores estén satisfechos con su participación en la toma de decisiones sobre los ofrecimientos académicos que tienen las universidades, aceptarán más positivamente los cambios e innovaciones en el currículo. Esto a su vez redundará en el ofrecimiento de un programa de alta calidad académica, con posibilidades de expansión y la utilización efectiva de los recursos económicos. (p. 7)

 

Esta misma autora destacó la percepción de la implantación de un programa a distancia en Administración de Sistemas de Oficina. Ésta dividió su estudio en las áreas de infraestructura, servicios, currículo y clientela a la que atiende. Como resultado señaló que además del apoyo de la tecnología, una universidad necesita establecer una infraestructura administrativa que apoye las necesidades especiales de los estudiantes y la facultad involucrada en el programa.

 

En consecuencia, y en concordancia con lo planteado por Hayes (1997), esta autora expuso que para establecer una política de implantación de un programa de educación a distancia hay que considerar la percepción de los afectados, quienes darán un significado genuino en el proceso de planificación. Puntualizó, de igual manera, que la National Business Education Association (1999) consideró que el avalúo de un programa de educación a distancia debe contemplar el sistema utilizado, las competencias del aprendiz, los estándares de los cursos y la efectividad del docente.

 

Sherry y Morse (1995) apoyaron el hallazgo de Huertas (s.f.) al resaltar la importancia de realizar una evaluación de las necesidades de todos los actores (facultad, administradores u otras personas que estén involucradas en el programa a distancia). Esta autora señaló que en la Facultad de Sistemas de Oficina es necesario considerar estos planteamientos a la hora de escoger un sistema de educación a distancia como un sistema de enseñanza y, recordó que no todos los cursos ni todos los estudiantes se benefician necesariamente de estos programas. Por estas razones, también destacó que es importante determinar qué conocimientos y destrezas pueden adquirirse efectivamente a través de este sistema, cómo la educación en sistemas de oficina puede estimular a los estudiantes a desarrollar las competencias que necesitan, qué cursos son apropiados para enseñar en este sistema y cómo se establece un balance entre la eficiencia económica y la efectividad del aprendizaje en un ambiente a distancia. Esto por considerar que tradicionalmente, los cursos de este programa han sido ofrecidos de forma presencial.

 

Cónsono con estos últimos planteamientos, Bates (2000) puntualizó que el proceso de cambio no finaliza con la mera implantación de un programa, por bueno que éste pueda ser. Una vez se han implantado los cambios, la organización deberá evaluarlos para determinar si se han logrado los objetivos que se pretendían. A tenor con lo planteado por Bates, Duart y Argüelles (s.f.), sugieren volver la mirada hacia el servicio y hacia el participante, y tratar de encontrar soluciones a sus necesidades, en lugar de perderse en planificaciones redactadas para ser aprobadas en consejos asesores de las universidades. Este servicio será posible cuando se asuma como política oficial la evaluación de los programas educativos.

Tendencias en la Evaluación de los Programas a Distancia

El estudio de las tendencias en la evaluación de los programas a distancia es importante para no descontextualizar los hallazgos sobre el particular, así como mantenerse actualizado ante las nuevas expectativas que suponen el desarrollo tecnológico y su impacto sobre estos programas. Igualmente, estudiar este asunto permite objetivar cualquier evaluación.

 

Silvio (2006) expresó que en el 1999, la educación virtual y a distancia ocupaba alrededor de un 6% de la población estudiantil en la región de América Latina, mientras en el 2004, no avanzó mucho más que un 10%. Ante esto, este autor se preguntó por qué una innovación tan prometedora y portadora de bienestar y futuro de una mejor calidad de vida ha evolucionado tan lentamente. No obstante, ante las posibles respuestas que puedan darse al respecto, éste agregó que hay que reconocer “la existencia de una tendencia hacia la evaluación de la calidad de los programas a distancia y el desarrollo de sistemas de acreditación de éstos, los cuales prometen un mejor futuro para esta modalidad” (p. 6).

 

En relación a la evaluación de los programas a distancia, los escasos recursos y los déficits presupuestarios han presentando muchos desafíos entre los directivos y administradores para que estos mantengan sus programas (Fitzpatrick et al., 2004). Cada administrador de un programa necesita conocer cuán bien trabajan las diferentes partes del mismo; sus recursos, administración e inversión, entre otras cosas, para proceder a evaluar la gestión.

 

De manera que, según expresaron Fitzpatrick et al, (2004) “el propósito de la evaluación es emitir un juicio acerca del valor de lo que vaya a ser evaluado” (p.10). El propósito central del acto evaluativo es determinar el mérito o valor de algo. En la misma dirección, Mark, Henry y Julnes (1999), como se cita en  Fitzpatrick et al. (2004), articularon cuatro diferentes propósitos de la evaluación, a saber: “1) evaluación del mérito o el valor, 2) descuido y conformidad, 3) programa y mejoramiento de la organización y, 4) desarrollo del conocimiento” (p. 11).

 

Para el caso especifico de la evaluación de programas a distancia que nos ocupa, y parafraseando a Silvio (2006), la última medida de su calidad es el aprendizaje logrado por quienes utilizan sus recursos. Este autor destacó que la evaluación del sistema, su infraestructura y recursos se realizan con el fin de inferir la capacidad del sistema para producir un aprendizaje significativo con el objetivo de mejorar la calidad de vida de quienes aprenden. En esta dirección, acentúo que pueden evaluarse los programas, proyectos y actividades de la educación a distancia con diversos criterios que contienen indicadores acerca del grado en el que el programa se ajusta a las normas de calidad en varios aspectos significativos para su desempeño como programa.

 

No obstante, Silvio (2006, p. 5),  afirmó que “la evaluación es sólo un aspecto relativamente estático del problema; lo importante es asegurar, mantener y mejorar continuamente la calidad de la educación a distancia, y que para ello debe realizarse una buena gestión”. Además, precisó que,  “la base de una buena gestión de la calidad de la educación a distancia en la educación superior es, sin duda, un sistema eficiente de evaluación de su calidad”.

 

En la misma dirección, Briceño (2005) planteó que la discusión de los procesos de evaluación de la gestión académica en las instituciones que ofrecen estudios a distancia requieren de una reflexión crítica debido al reto que enfrentan éstas en cuanto a su visión, misión y paradigma educativo. También, por sus requerimientos para garantizar la calidad, el grado de aceptación y credibilidad social.

 

Igualmente, este autor hizo énfasis en que existe una necesidad por asegurar la calidad de los programas de educación a distancia. Asimismo, se refirió a varias organizaciones, entre ellas: The Commission on Higher EducationThe Institute for Higher Education Policy y el Centro Virtual para el Desarrollo de Estándares de Calidad para la Educación Superior a Distancia en América Latina y el Caribe, las cuales desarrollaron un sistema de estándares de calidad para orientar a las instituciones en el desarrollo de sus políticas, prácticas y procedimientos que les garantizaran la calidad de la instrucción y de los servicios que ofrecen. Esto, de forma tal que puedan a su vez, mejorar y administrar con éxito el desarrollo de los programas de educación a distancia con niveles de excelencia y de acreditación.

 

Además de la evaluación de la calidad en las instituciones de educación a distancia, igualmente en programas como el que nos correspondió investigar, se encuentra la necesidad de evaluar y medir los aprendizajes adquiridos por los estudiantes. Esta evaluación y medición de aprendizaje tiene que considerar muchos aspectos, entre otros, tecnológicos, pedagógicos, instruccionales, de modo que se estudien todos los efectos de éstos en los procesos de aprendizaje.

 

Bates (2000), como investigador en la gestión del cambio tecnológico, señaló la existencia de varios elementos en la evaluación en la educación a distancia, los cuales deben ser considerados para garantizar la calidad en sus procesos de enseñanza y el aprendizaje.

 

Al respecto se mencionan los siguientes elementos (Bates, 2000, pp. 90-91):

  1.  “Valor del contenido para atender la demanda o necesidad de conocimiento.
  2. Uso apropiado de recursos y de producción de materiales de enseñanza.
  3. Diseño instruccional adecuado que facilite la conexión entre el alumno y los materiales de aprendizaje.
  4. Disponibilidad y accesibilidad de los materiales para accederlos fácilmente.
  5. Apoyo técnico para que el estudiante pueda utilizar los recursos de la plataforma educativa (facilidad en la navegación e interacción de estudiante-estudiante y estudiante-docente).”

 

Otro autor, Macksoud (2008), en una conferencia sobre las nuevas tendencias en acreditación y calidad en la educación, señaló que “las instituciones deben medir el aprendizaje de los estudiantes de manera cabal y demostrar que tienen procesos instituidos para evaluar y mejorar los resultados del aprendizaje y la efectividad institucional de forma continua” (pp. 6-7). Además, destacó que existe la tendencia de establecer una cultura de assessment y evidencia como fundamento al mejoramiento continuo del aprendizaje.

 

En relación a este tipo de evaluación de los aprendizajes, este autor resaltó que es necesario otorgar un mayor énfasis en autoestudios que analicen de forma sistemática y longitudinal los procesos existentes (e.g. planificación estratégica, evaluación de programas y gerencia de servicios a estudiantes). De esta forma, se facilitaría el proceso formativo para identificar áreas que mejoren algunos aspectos del aprendizaje, en lugar de presentar informes limitados en un momento dado.

 

Asimismo, este autor argumentó que hasta hace poco los estándares de acreditación ligados a la evaluación se enfatizaban principalmente “en los recursos y procesos: oferta académica, calificaciones de la facultad, instalaciones, servicios” (p. 6). Más aún, no se consideraba si las instituciones lograban resultados acordes con su misión. Además, destacó que los nuevos estándares de la Middle States Association (MSA),  agencia que evalúa y acredita a las instituciones educativas de Puerto Rico y adscrita a la Commission on Higher Education of  U.S.A., requieren que las universidades se ocupen de evidenciar productos o resultados educativos.

 

En este sentido, el Consejo Nacional de Evaluación y Acreditación (CONEA) de Ecuador, inspirado en las recomendaciones de la UNESCO (2002), enfatizó en evaluar la calidad de los programas de educación a distancia y expuso la falta de una normativa que regule el funcionamiento de estos programas (Bastidas y Rosero, 2008). CONEA destacó que hay que incrementar la experiencia en la autoevaluación por parte de las instituciones de educación superior y la complejidad de ésta por los constantes cambios tecnológicos.

 

Ahora bien, en relación a la situación de la educación a distancia y su calidad en Puerto Rico, se puede decir que ha aumentado el número de instituciones extranjeras con ofrecimientos de estudios a distancia. Sin embargo, muchas de éstas no poseen una infraestructura y se desconoce cómo y quiénes las acreditan. En este sentido, “existe una preocupación por la calidad de la educación en línea ante la proliferación a una velocidad sorprendente de instituciones en línea y de educación a distancia” (Korniejczuk, 2003, p. 35).

 

Korniejczuk (2003) manifestó que la práctica de la acreditación institucional fue, es y seguirá presente como un elemento de control de calidad importante. De igual forma, agregó que:

 

En la medida en que se establezcan estándares nacionales e internacionales que regulen la educación superior ofrecida a distancia a través de la Internet, se garantizará en gran medida una oferta de calidad que podrá competir sanamente con los productos tradicionales de la educación presencial, lo que validará los estándares indicados anteriormente. (p. 48)

 

En este sentido, el Consejo de Educación Superior de Puerto Rico (2004) planteó en un Seminario Regional sobre el Diagnóstico de la Educación Superior, invitado por el Instituto Internacional de Educación Superior para la América Latina y el Caribe, que la educación a distancia en el país ha gozado de un crecimiento vertiginoso, continuo y diversificado. Asimismo, que existe una tendencia marcada hacia el uso de la educación a distancia como una herramienta instruccional y complementaria a las experiencias educativas presenciales. Sin embargo, esta organización planteó que, aún cuando se han establecido políticas para la autorización de programas extranjeros, hace falta fortalecer y promover una nueva cultura de investigación en la que la evaluación permanente y colaborativa juegue un rol cada vez más importante.

 

Es referirse, como bien expuso Ferreiro (2002), a que la educación a distancia no debe reducirse a la integración de la tecnología, sino que debe hacerse un buen uso de ésta para que se logren los resultados esperados y que se justifique plenamente la inversión realizada. De modo que, conforme la implantación de programas a distancia continúe en aumento debido a que la población estudiantil tiene demandas y necesidades particulares, será necesario considerar la percepción de los estudiantes y profesores ante estos cambios (Huertas, s.f.).

 

En este sentido, interesó resaltar en esta investigación lo referido a la satisfacción, el reclutamiento, la retención y la deserción estudiantil del programa objeto de este estudioEn esta dirección, los resultados de Merena (2006) en su estudio de disertación doctoral acerca de la satisfacción de los estudiantes reflejaron que ésta aumenta la motivación y que este incremento provee resultados más altos en las tasas de éxito. En sus observaciones señaló que si las instituciones se enfocan en las actividades, métodos y estrategias que redunden en mayor satisfacción en los estudiantes, la presunción será que habrá un crecimiento en el éxito del estudiante, lo que propiciara un aumento en las tasas de retención.

 

Según este estudio de Merena (2006), la interacción con el instructor, la calidad de los materiales del curso, el mejoramiento de los métodos de evaluación, los métodos de entrega y las disciplinas, son factores que inciden en la satisfacción del estudiante y el éxito en el entorno de la educación a distancia. Mientras, Towles, Ellis & Spencer (1993) mencionaron que la interacción estudiante-docente es un factor que afecta la retención en los programas de educación a distancia. En esta misma dirección mencionaron que para Tinto (1975), quien se ha caracterizado por realizar estudios e investigaciones acerca de la deserción/retención estudiantil, la integración académica y social de los estudiantes, es un aspecto determinante en la permanencia de éstos para completar su meta académica. Igualmente, estos autores indicaron que este aspecto se corrobora en un estudio de Garrison (1987), quien relaciona el sentimiento de los estudiantes de aislamiento social y académico con la deserción en la educación a distancia.

 

En esta dirección, Belton (1994) (como se cita en Huertas, s.f.) realizó un estudio sobre la interacción entre profesores y estudiantes en programas de educación a distancia, y concluyó que la frecuencia con la que éstos interactúan y con la que se ofrece la retroalimentación está directamente relacionada con la retención de los estudiantes en los programas.

 

No obstante, en el reclutamiento, Henckell (2007) subrayó que entre los aspectos de los programas de educación a distancia que preocupan se incluye la forma de dirigir los esfuerzos de mercadeo de los mismos, esfuerzos que se verán reflejados en el reclutamiento de estudiantes.

 

Finalmente, se interesa enfatizar que los diferentes aspectos antes descritos, forman parte de lo que se ha denominado como las tendencias en la evaluación y sus aplicaciones en la educación a distancia. Aspectos seguidos para la construcción de explicaciones posteriores acerca de las mejores guías en los procesos de evaluación y desarrollo del objeto estudiado.

Preguntas de Investigación

Con el propósito de evaluar el nivel de satisfacción de la gestión de un programa de aprendizaje a distancia de Administración de Sistemas de Oficina en Puerto Rico, con la aplicación un modelo de evaluación sobre la gestión, administración y uso de las tecnologías de un programa de formación a distancia en Administración de Sistemas de Oficina, se redactaron las preguntas de investigación que se muestran en la Figura 2.

 

 Figura 2. Preguntas de Investigación

Metodología

Diseño de la Investigación

Esta investigación fue mixta y de carácter no experimental con un diseño transeccional o transversal descriptivo. Esto permitió manejar los enfoques cualitativo y cuantitativo. Para ambos enfoques se emplearon “procesos cuidadosos, sistemáticos y empíricos para generar conocimiento” (Hernández, Fernández y Baptista, 2006, p. 62), según se muestra en la Figura 3.


Figura 3: Cuestionario

 

Se utilizó como instrumento un cuestionario tipo encuesta para recopilar la información empírica del programa bajo estudio. Sus resultados fueron útiles para el análisis y la evaluación posterior. La investigación, por sus características, incluyó un tipo de muestreo no probabilístico, casual (Hernández et al., 2006), que tomó en cuenta a los estudiantes y al personal que interviene en el programa objeto de estudio.

 

Esta investigación incluyó preliminarmente la a) selección de la institución a evaluarse, b) redacción de una carta de consentimiento,  c) recopilación de datos, d) tabulación o descripción y análisis de los datos, y  e) emisión de juicios valorativos que permitieran ofrecer recomendaciones dirigidas para la toma de decisiones al utilizar el Modelo de Stufflebeam, conocido como CIPP. De este modelo se utilizaron sus cuatros fases con sus respectivos componentes a evaluar: contexto, insumo, proceso y producto.

 

En relación a los factores considerados para medir el nivel de satisfacción en la gestión del cambio tecnológico, cónsono con Bates (2000), se utilizó lo que corresponde a los conceptos de acceso y flexibilidad, costos, aspectos de enseñanza y aprendizaje, interactividad y respeto por el usuario, organización, novedad y rapidez.

 

Participantes y Delimitación en la Investigación

 

Participantes. El estudio consideró a los estudiantes y colaboradores del Programa de Administración de Sistemas de Oficina de un sistema universitario privado de la región sur de Puerto Rico. Para propósitos de este trabajo la población estuvo representada por 409 estudiantes y 23 colaboradores.

 

La muestra no probabilística o muestra dirigida, la cual supone un procedimiento de selección informal (Hernández et al., 2006) fueron 188 estudiantes matriculados en algún curso en línea durante el semestre de enero a mayo de 2010, lo que representa una tasa de respuesta de un 46% y un nivel de precisión entre un 5% y 6% (Agricultural Education and Communication Department, 2009); y 16 colaboradores (personal administrativo y facultad) del programa, lo que representa una tasa de respuesta de un 70%.

 

Representación demográfica de los participantes. Para efectos de representar los datos demográficos de la muestra véase la Figura 4.


Figura 4: Perfil Demográfico

 

Acuerdo con los participantes. Éstos participaron voluntariamente de la investigación y se le garantizó su anonimato. Fueron orientados y protegidos puesto que la investigación estuvo regida por los más estrictos códigos de ética (McMillan y Schumacher, 2007).

 

Cabe destacar que a los participantes no se les ofreció incentivo ni beneficio alguno por su participación. La evaluación con estos sujetos de estudio se realizó dentro de un marco de confianza y respeto. Durante el estudio, se mantuvo un proceso que siguió las normas establecidas por la Asociación Americana de Psicólogos (APA), la Junta de Revisión Institucional (IRB) y Collaborative Institutional Training Initiative (CITI) Program, tanto de Nova Southeastern Universitycomo de la institución bajo estudio.

 

Delimitaciones. El sistema universitario al cual pertenece el programa, cuenta con más de 10 unidades académicas y una oficina de Administración Central. Sin embargo, para propósitos de este estudio se consideró solamente una de las unidades académicas, ya que ésta representa una de las unidades con mayor incursión en la educación a distancia.

 

Por otra parte, no se consideraron otras instituciones en Puerto Rico que están en proceso de implantar el mismo programa en línea. Asimismo, sólo se consideró la evaluación de un programa académico a distancia.

 

Instrumentos para la Recopilación de Datos

 

Se destaca que para recopilar toda la información necesaria y presentar recomendaciones, se diseñó, validó (por un panel de expertos) y se administraron dos instrumentos estilo cuestionario. Estos instrumentos contemplaron las siguientes categorías: contexto, insumo, proceso, producto y la gestión del cambio tecnológico. Para cada una de éstas, se formularon, al menos, 9 preguntas específicas. Además, se contemplaron preguntas sobre los datos demográficos para conocer la población a ser encuestada.  Un total de 41 preguntas para los estudiantes y 36 para los colaboradores fueron la clave para investigar acerca del nivel de satisfacción del programa a evaluar.

 

El diseño de los instrumentos fue de la autoría de la investigadora. En él se contemplaron las cuatro fases del Modelo CIPP y algunos criterios teóricos de Bates sobre el cambio tecnológico. Uno de los instrumentos fue administrado a los estudiantes y el otro, a miembros de la facultad y personal del área de Sistemas de Oficina y del programa en línea.

 

 

Validez. Como parte del proceso de la construcción de estos instrumentos, se tomaron en consideración y se incluyeron las recomendaciones que hicieron los expertos en sus juicios y en la precisión de la validez de contenido de los instrumentos. Asimismo, se tomaron en consideración los resultados de la prueba piloto. Ésta se aplicó a una muestra tomada al azar representada por un 5% de los estudiantes (17 personas) y por un 10% de los colaboradores (4 personas) para determinar si en efecto se midió lo que se deseaba con los reactivos y el instrumento en general (véase Figura 4).

 

Confiabilidad. A éstos se les administró un cuestionario por cada grupo. Para determinar el nivel de confiabilidad de éstos se calculó el Alfa de Cronbach (Hernández et al., 2006), lo que reflejó un .926 % en la prueba piloto. Por su parte, el instrumento final de los estudiantes, similar a la prueba piloto, reflejó un .949% , y el instrumento de los colaboradores reflejó un .805% (véase Figura 4). Por razones de anonimato, no se hizo referencia a los nombres de los cargos ocupados por ellos, ni de sus incumbentes.

 

 

Proceso de análisis e interpretación de la información recopilada.Luego de la revisión y el análisis bibliográfico de los documentos normativos y políticas establecidas de la institución bajo estudio, evaluaciones e informes realizados por otros investigadores, lecturas de revistas profesionales, y la administración de los cuestionarios, se realizó el análisis de los datos empíricos los cuales se reflejan e ilustran en tablas y gráficos estadísticos en el siguiente capítulo. Éstos se realizaron con la utilización del programa estadístico SPSS (Statistical Package for the Social Sciences), mediante los resultados obtenidos por la muestra no probabilística o casual tomada en cuenta. Además, se realizó una descripción estadística donde se caracterizaron e ilustraron los resultados obtenidos al utilizar las medidas de frecuencias de datos, desviación estándar y elaboración de gráficas, entre otros.

 

 

De la información recopilada se hizo una descripción de las características de la institución y el programa objeto de estudio. Igualmente se realizó una correlación bibliográfica de evaluación de programas a distancia y de estudios sobre el área de Administración de Sistemas de Oficina en Puerto Rico.

 

 

Finalmente, se presentan los resultados sobre el objeto de estudio, e interpretan y comparan teórica y estadísticamente los mismos en relación a las expectativas y propósitos de algunos aspectos de la investigación planteada.

 

Limitaciones

 

En la realización de esta investigación, se encontraron algunas limitaciones cruciales para su desarrollo. Inicialmente, la poca disponibilidad de estudios relacionados con la educación a distancia en Puerto Rico. Asimismo, la falta de evaluaciones anteriores que brindaran dirección a la implantación del programa bajo estudio.

 

De igual forma, existió otra limitación en la redacción y validación de las preguntas del instrumento que se diseñó para esta investigación por la falta de experiencia en su diseño. La investigación tenía que asegurar que las preguntas delineadas en el cuestionario contemplaran todas las fases que componen el modelo a utilizarse: Modelo CIPP y algunos criterios de la base teórica de Bates sobre la gestión del cambio tecnológico. Además, que a su vez, las respuestas de los participantes contestaran las preguntas de investigación que contemplaba esta evaluación.

 

A esta limitación, se añade el tipo y tamaño de la institución a investigar y desde cuándo existe el programa a distancia, fueron otros factores que limitaron el estudio. Esto porque aún el número de estudiantes del programa es limitado.

 

Sin embargo, aún con estas posibles limitaciones, se pretendió lograr un enlace entre el programa de educación a distancia de la institución educativa representada y la investigadora y así contar con el apoyo necesario.

 

Discusión y Análisis de los Resultados en Relación con las Preguntas de Investigación

 

Esta investigación mixta de carácter no experimental con un diseño transeccional o transversal descriptivo tuvo como participantes a los estudiantes y colaboradores de un programa a distancia de Administración de Sistemas de Oficina, anteriormente descrito. La representación de la población se muestra en la Figura 5.

 
Figura 5. Representación de la Población

La aplicación de un modelo de evaluación sobre la gestión, administración y uso de las tecnologías de un programa de formación a distancia en Administración de Sistemas de Oficina permitió la redacción de las siguientes preguntas de investigación:

Pregunta de investigación #1. ¿Cuál es el porcentaje del nivel de satisfacción de sus usuarios en los procesos de enseñanza, aprendizaje y utilidad institucional?

Para contestar esta pregunta se discutieron varias premisas que expresaron opiniones relacionadas mayormente a las etapas de insumo (qué hace que trabaje), proceso (cómo funciona) y producto (logros obtenidos) del Modelo CIPP. Además, contempló el marco teórico sobre cambio tecnológico de Bates (2002), según se muestra en Figura 6.

 Figura 6: Relación del Marco Teórico con la Pregunta de Investigación 1

 

La Figura 7 demuestra los datos más significativos reflejados en las respuestas de los participantes a esta pregunta de investigación.

 
Figura 7. Respuestas más Significativas para la Pregunta de Investigación 1

Pregunta de investigación #2. ¿Cuál es el nivel de congruencia entre la filosofía, misión, metas y objetivos del programa a distancia de Administración de Sistemas de Oficina con los porcentajes de satisfacción de los usuarios del sistema en el proceso de reclutamiento y la retención estudiantil?

Para contestar esta pregunta se discutieron varias premisas que expresaron opiniones relacionadas mayormente a las etapas de contexto (estipulación del programa),  insumo (qué hace que trabaje) y proceso (cómo funciona) del Modelo CIPP y algunos criterios sobre el cambio tecnológico de Bates (2002), según se muestra en la Figura 8.

 

 Figura 8: Relación del Marco Teórico con la Pregunta de Investigación 2

 Igualmente, la Figura 9 demuestra los datos más significativos reflejados en las respuestas de los participantes a esta pregunta de investigación.

 

Figura 9: Respuestas más Significativas para la Pregunta de Investigación 2

Pregunta de investigación #3. ¿Cuál es la percepción de los estudiantes, administradores, personal docente y directivos del programa de educación a distancia de Administración de Sistemas de Oficina, en cuanto a su pertinencia y viabilidad, instalaciones adecuadas, racionalización de recursos y proyección institucional?

Para contestar esta pregunta se discutieron varias premisas que expresaron opiniones relacionadas en su mayoría a las etapas de insumo (qué hace que trabaje), proceso (cómo funciona) y producto (logros obtenidos) del Modelo CIPP, según se muestra en la Figura 10.

Figura 10: Relación del Marco Teórico con la Pregunta de Investigación 3

Finalmente, la Figura 11 demuestra los datos más significativos reflejados en las respuestas de los participantes a esta pregunta de investigación.

Figura 11: Respuestas más Significativas para la Pregunta de Investigación 3

Estos hallazgos apoyan también la postura de Sherry y Morse (1995) sobre la importancia de realizar una evaluación de las necesidades de todos los actores (facultad, administradores u otras personas que estén involucradas en el programa a distancia) para de esta forma continuar con un alto nivel de satisfacción entre los usuarios del programa.

 

Conclusiones

Según se muestra en la Figura 12, en relación al Modelo CIPP de Stufflebeam y la base teórica de Bates se puede concluir que:

Figura 12: Utilización del Modelo CIPP y la Base Teórica de Bates

En conclusión, los elementos de mayor consideración en esta evaluación comprendieron:

  1. Una de las bases fundamentales para la calidad de un programa de aprendizaje a distancia y un alto de nivel de satisfacción en los participantes debe incluir un sistema eficiente de evaluación de sus programas.
  2. El desarrollo profesional del egresado de un programa a distancia será el resultado de estrategias y métodos de enseñanza atemperados a esta modalidad, así como a una selección apropiada de la facultad y de los recursos disponibles.
  3. La retroalimentación adecuada es un elemento fundamental en el desarrollo de nuevos conocimientos y en el nivel de retención estudiantil en los cursos a distancia.
  4. El programa bajo estudio evidenció un alto nivel de congruencia con la filosofía, visión, misión y metas de la institución bajo estudio.
  5. El programa a distancia representa alternativas de estudio viables para el reclutamiento y la retención de estudiantes con un nuevo perfil universitario que de otra manera no serían atendidos.
  6. La implantación adecuada de un programa a distancia requiere el desarrollo de planes y prioridades que garanticen la atención a las exigencias académicas, administrativas y estudiantiles. Este plan debe asegurar la asignación y distribución de recursos humanos, fiscales y tecnológicos apropiados para estas nuevas modalidades educativas.
  7. Los servicios de apoyo (académico, tecnológico y estudiantiles), así como la estructura organizativa que brinda la institución al programa a distancia representa un valor añadido a la experiencia educativa de los estudiantes.

 

Por último, el estudio confirma la importancia de considerar la evaluación de todos los actores que forman parte en la implantación de un programa de educación a distancia. Todo esto requerirá que las instituciones educativas redirijan sus esfuerzos en estrategias que redunden en una mayor satisfacción entre los estudiantes. También, la utilización de enfoques administrativos que integren y adapten las estructuras existentes a las nuevas modalidades de estudio. Esto brindará un mayor incremento en el éxito institucional y por consiguiente una mayor tasa de retención estudiantil.

Implicaciones de los Resultados

Esta investigación representa el primer estudio sobre la evaluación de un programa a distancia que se lleva a cabo en la institución donde se realizó el estudio. Los hallazgos del mismo serán útiles para promover la utilización de distintas herramientas de evaluación para los programas académicos, presenciales o a distancia. Asimismo, permitirá a la institución continuar con el trabajo y mejoramiento de su plan de evaluación para la educación a distancia.  

Por otro lado, el modelo utilizado fue la base para la construcción de los dos instrumentos utilizados en el estudio y podrán ser utilizados en la evaluación de otros programas en línea.

Además, el estudio ha permitido la identificación de un nuevo y exigente perfil estudiantil que demanda una educación universitaria cada vez más flexible y variada. Refleja la necesidad de identificar una facultad con nuevas destrezas y conocimientos para asumir nuevos roles ante las tecnologías.

 Crea la necesidad de considerar los procesos de evaluación como un elemento prioritario en sus planes estratégicos tanto de sus unidades académicas como del sistema universitario central, resaltando la importancia de continuar con el fortalecimiento de las distintas estructuras de apoyo – académico, administrativo y tecnológico.

Así mismo, demuestra la necesidad de mantener una cultura de capacitación y adiestramiento continuo para todos los componentes universitarios, apoyando la hipótesis de que la educación a distancia es el futuro de la educación superior en Puerto Rico y que en esa dirección, será fundamental reinventar la universidad de estos tiempos.

Finalmente, en el caso de los estudiantes, la aplicación de programas de evaluación en sus cursos a distancia le garantizan una mayor satisfacción y calidad en  los procesos de enseñanza, aprendizaje y utilidad institucional. También, promueven una percepción favorable hacia los programas a distancia en relación a sus recursos, reclutamiento y retención estudiantil.

Limitaciones

Algunas limitaciones incluyeron, por ejemplo, la tasa de respuesta, la que representó el 46%. Esto requirió la necesidad de realizar un gran esfuerzo y seguimiento para lograr que la muestra fuera significativa. Al mismo tiempo, la investigadora tuvo que depurar exhaustivamente la lista de estudiantes matriculados en los cursos, ya que el número total de estudiantes en los cursos era en conteo repetido (el mismo estudiante matriculado en varios cursos). Además, no todos los estudiantes eran del programa objeto de estudio, algunos tomaban el curso como electivo y otros como parte de su especialidad. Por lo que, hubo que depurar una lista de 659 estudiantes para que finalmente se contara con 409 estudiantes, el número oficial de estudiantes bonafides para el estudio.

Recomendaciones

             A continuación se presentan algunas recomendaciones para la institución objeto de este estudio:

  1. Incluir un plan de adiestramiento en el manejo de estrategias de enseñanza efectivas para dar énfasis en la comunicación e interacción en los cursos a distancia.
  2. Asegurar la selección de profesores conocedores de estrategias efectivas en el aprendizaje a distancia.
  3. Realizar estudios de viabilidad dentro de la población estudiantil que forme parte de los programas presenciales que vayan a convertirse en programas a distancia.
  4. Continuar con el fortalecimiento de la estructura organizacional del programa, de forma tal que pueda asumir la atención de servicio que requiere la población de este y otras programas a distancia.
  5. Evaluar otro programa a distancia que posea la institución bajo estudio y así poder comparar los hallazgos con esta investigación e identificar planes de acción efectivos.
  6. Realizar un estudio comparativo sobre facultad con o sin experiencia/adiestramiento previo en la educación a distancia para determinar futuros planes de capacitación.
  7. Evaluar el mismo programa con la utilización de otros modelos teóricos para seleccionar el que más se atempere a la institución.
  8. Evaluar programas con una estructura administrativa y tecnológica distintas a la de la institución objeto de estudio para conocer el impacto de otras posibles variables.
  9. Considerar como variable adicional la evaluación de los centros de apoyo tecnológico que posee la institución bajo estudio, los cuales están fuera de sus instalaciones.
  10. Proponer estudios similares con la aplicación de este modelo en otras instituciones del país (públicas o privadas), incluyendo instituciones con estructuras completamente virtuales.

Referencias

Ackermann, E. & Hartman, K. (2002). Learning to use the Internet. Wilsonville, OR: Franklin, Beedle & Associates, Inc.

Agricultural Education and Communication Department. (2009). Determining sample size. Florida Cooperative Extension Service, Institute of Food and Agricultural Sciences, University of Florida. [Publicación original en noviembre/1992 y revisado en abril/2009]. Recuperado el 29 de marzo de 2010, de http://edis.ifas.ufl.edu/pd006#TABLE_1

Álvarez, J. (2005). Estudio cualitativo del nivel de receptividad y percepción de la alta gerencia universitaria sobre la implantación de un modelo de universidad virtual. Disertación doctoral no publicada, Pontificia Universidad Católica de Puerto Rico, Ponce, P.R.

Aslanian, C. & Green G. N. (2009, April). Marketing to adult students. Distance Education Report.

Bastidas, A. & Rosero, R. (2008, abril). El aseguramiento de la calidad de los programas de educación a distancia y virtual desde la perspectiva del CONEA. Revista Cognición, (13).

Bates, A. W. (2000). Cómo gestionar el cambio tecnológico: Estrategias para los responsables de centros universitarios(1a. ed.). España: Editorial Gedisa, S. A.

Bates, T., Duart, J. M. & Argüelles, J. M. (sin fecha). Gestión del cambio: E-learning como estrategia. Universitat Oberta de Catalunya.

Belton, B. (1994). A pilot study of interactions between teachers and senior students at the Brisbane School of Distance Education. Australia, Queensland: International Conference Held by the Rural Education Research and Development Centre. (No. de servicio de reproducción de documentos ERIC ED 390 611).

Briceño, M. (2005). Evaluando la evaluación en la educación a distancia. Universitas 2000, 29(3-4), pp.15-35. Recuperado el 4 de marzo de 2009, de http://www2.scielo.org.ve/scielo.php?script=sci_arttext&pid=S1315-41192005000200002&lng=pt&nrm=iso

Consejo de Educación Superior de Puerto Rico. (2004). La educación superior en Puerto Rico. Observatorio de la educación superior de América Latina y el Caribe. Recuperado el 23 de mayo de 2009, de http://www.universia.pr/pdf/unescogestion/LaEducacionSuperiorEnPuertoRico.pdf

Draves, W. A. (2002). Teaching online. River Falls, Wisconsin: LERN Books.

Ferreiro, R. (2002). Una revolución en la educación: Los nuevos ambientes de aprendizaje. En: La distancia nos acerca: 3er Congreso internacional de educación y formación virtual. Recuperado el 11 de diciembre de 2008, de http://uvtol.tol.itesm.mx/Webpage/ppt/Nuevos%20ambientes%20de%20aprendizaje.doc

Ferreyra, H. y Pedrazzi, G. (2007). Teorías y enfoques psicoeducativas del aprendizaje: Aportes conceptuales básicos.Buenos Aires, Argentina: Ediciones Novedades Educativas.

Fitzpatrick, J., Sanders, J. & Worthen, B. (2004). Program evaluation: Alternative approaches and practical guidelines(3rd ed.). Boston: Allyn & Bacon.

Friedman, T. L. (2005). The world is flat. New York: Farrar, Strauss & Giroux.

Garrison, D. R. (1987). Researching dropout in distance education. Distance Education8(1), pp. 95-101.

Gilbert, S. D. (2001). How to be a successful online student. New York, NY: McGraw Hill.

González, O. (2006). Evaluación del programa de ciencia en la escuela X utilizando el modelo CIPP. Ponce, P.R. Pontificia Universidad Católica de Puerto Rico.

Hayes, K. (1997). The Meaning of Policy for Distance Delivery in Higher Education. Competition-Connection-Collaboration. Madison, Wisconsin, EE. UU. En: Annual Conference on Distance Teaching and Learning. (No. de servicio de reproducción de documentos ERIC ED 413 870).

Henckell, M. (2007). Evaluating distance education: The student perspective. Disertación doctoral publicada, University of Missouri, Columbia. (No. de servicio de reproducción de documentos de Proquest 3322700).

Hernández, R., Fernández-Collado, C. y Baptista P. (2006). Metodología de la investigación (4a. ed.). México, D.F.: McGraw-Hill/Interamericana Editores.

Huertas, M. (2006). Perspectiva internacional del administrador de oficinas. Serie de documentos de trabajo, (2). Recuperado el 1 de agosto de 2008, de http://cicia.uprrp.edu/Papers/Vol2.pdf

Huertas, M. (s.f.). Percepción de los estudiantes y de la facultad del bachillerato en Administración de Sistemas de Oficina sobre un programa de educación a distancia. Serie de documentos de trabajo, (2). Recuperado el 1 de agosto de 2008, de http://cicia.uprrp.edu/Papers/Vol2.pdf

Jason, M. H. (2008). Evaluating programs to increase student achievement (2nd ed.). Thousand Oaks, California: Corwin Press, Inc.

Korniejczuk, V. A. (2003). La acreditación de la educación superior presencial y a distancia en Estados Unidos y  México. [Versión electrónica].  Revista de Educación a Distancia. Recuperado el 11 de septiembre de 2007, de http://www.um.es/ead/red/7/acredit.pdf

López, M. (2007). El asistente administrativo y/o gerente administrativo del siglo 21 desde la perspectiva del patrono.Recuperado el 1 de agosto de 2008, de http://cicia.uprrp.edu/Papers/Vol2.pdf

Macksoud, S. (2008, marzo). Nuevas tendencias en acreditación y calidad en la educación. En: Hacia una agenda para la calidad en la educación de la Asociación Puertorriqueña de Aprendizaje a Distancia, Río Piedras, Puerto Rico.

Mark, M. M., Henry, G. T. & Julnes, G. (1999). Toward an integrative framework for evaluation practice. American Journal of Evaluation20(2), pp. 177-198.

McMillan, J. H. & Schumacher, S. (2007). Investigación educativa (5a ed.). Madrid, España: Pearson Education, S. A.

Méndez, P. (2004). El trabajo pedagógico colaborativo en la educación superior, mediado por herramientas tecnológicas. Recuperado el 1 de agosto de 2009, de http://pedromendez.net/links/links.htm

Merena. P. S. (2006). Increasing retention in online distance education courses. Disertación doctoral publicada, University of Delaware. (No. de servicio de reproducción de documentos de Proquest 32211128).

Middle States Association. (2010). The Higher Education Opportunity Act of 2008: Distance education, substantive change, monitoring growth, and transfer of Credit. Recuperado el 6 de mayo de 2010, de http://www.msche.org/publications/Distance-Education-and-the-Higher-Education-Opportunity-Act.doc

Miguel, V., Rodríguez, J., Benhamu, S. & Miguel, W. (2005). Sistema de gestión enlace: Un modelo para el desarrollo de procesos de capacitación basados en Internet. Revista Comportamiento. 7(1). Recuperado el 5 de agosto de 2007, http://www.comportamiento.dsm.usb.ve/revista/vol_7_1/art_%205.pdf

Mir, J. I., Reparaz, C. & Sobrino, A. (2003). La formación en Internet. Barcelona, España: Ariel.

Montero Rojas, E. (2004). Marco conceptual para la evaluación de programas de salud. Población y salud en Mesoamérica, 1(2). Recuperado el 5 de agosto de 2007, de http://ccp.ucr.ac.cr/revista/volumenes/1/1-2/1-2-6/1-2-6.pdf

National Business Education Association. (1999). This we believe about distance learning in Business Education.Business Education Forum, 54(1), pp. 26-27.

Peters, O. (2003). Learning with new media in distance education. En M. G. Moore & W. G. Anderson (Eds.), Handbook of distance education (pp. 87-112). Mahwah, NJ: Lawrence Erlbaum Associates.

Rovai, A. P., Ponton, M. K. & Baker, J. D. (2008). Distance learning in higher education: A programmatic approach to planning, design, instruction, evaluation, and accreditation. New York, NY: Teachers College Press.

Schlosser, L. A. & Simonson, M. (2009). Distance education: Definition and glossary of terms (3rd ed.). Charlotte, NC: Information Age Publishing.

Schunk, D. H. (2008). Learning theories: An educational perspective (5th ed.). Upper Saddle River, NJ: Pearson.

Scriven, M. (1991). Evaluation thesaurus (4th ed.). Thousand Oaks, CA: Sage.

Sherry, L. & Morse, R. (1995). An assessment of training needs in the use of distance education for instruction. [Versión electrónica]. International Journal of Educational Telecommunications, 1(1), pp. 5-22.

Siemens, G. (2004). Conectivismo: Una teoría del aprendizaje para la era digital – qué es y qué lo hace tan especial.Recuperado el 26 de junio de 2009, de http://www.masternewmedia.org/es/2008/10/21/conectivismo_una_teoria_del_aprendizaje_para_la.htm

Siemens, G. (2005). Connectivism: A learning theory for the digital age. Recuperado el 18 de marzo de 2008, de http://www.elearnspace.org/Articles/connectivism.htm

Silvio, J. (2006). Hacia una educación virtual de calidad, pero con equidad y pertinencia. Revista de Universidad y Sociedad del Conocimiento, 3(1). Recuperado el 16 de marzo de 2007, de http://www.uoc.edu/rusc/3/1/dt/esp/silvio.pdf

Simonson, M., Schlosser, C. & Hanson, D. (1999). Theory and Distance Education: A New Discussion. The American Journal of Distance Education, 13(1). Recuperado el 6 de abril de 2008, de http://www.c3l.uni-oldenburg.de/cde/found/simons99.htm

Simonson, M., Smaldino, S., Albright, M. & Zvacek, S. (2006). Teaching and learning at a distance: Foundations of distance education (3rd ed.). Upper Saddle River, NJ: Prentice Hall.

Stufflebeam, D. L. & Shinkfield, A. J. (2007). Evaluation, theory, models, & applications. San Francisco, CA: Jossey-Bass.

Tinto, V. (1975). Dropout from higher education: A theoretical synthesis of recent research. Review of Educational Research45(1), 89-125.

Torres, M. (2007). Educación a distancia: Experiencia de un Recinto. Investigación no publicada, Universidad de Puerto Rico, Río Piedras, Puerto Rico.

Towles, D. E., Ellis, J. R. & Spencer, J. (1993). Student persistence in a distance education program: The effect of faculty-iniated contact. En: Annual Forum of the Association for Institutional Research, Chicago, IL. (No. de servicio de producción de documentos ERIC ED 360 931).

UNESCO. (2002). Aprendizaje abierto y a distancia: Consideraciones sobre tendencias, políticas y estrategias.Recuperado el 10 de julio de 2008, de http://unesdoc.unesco.org/images/0012/001284/128463s.pdf

UNESCO-IIEP. (2007). Herramientas para la gestión de proyectos educativos con TIC. Recuperado el 15 de enero de 2009, de http://unesdoc.unesco.org/images/0015/001580/158068s.pdf

Vilaseca, J. y Castillo, D. (2003). Análisis económico del e-learning en las universidades. Documento presentado en: I Seminario Internacional de la Cátedra UNESCO de e-learning de la UOC “Liderar la universidad en la sociedad del conocimiento” celebrado en Barcelona.

Volery, T. & Lord. D. (2000). Critical success factors in online education. International Journal of Educational Management14(5) (pp. 216-223). Recuperado el 18 de abril de 2007, de la base de datos Emerald.

A Case Study in Developing a Fully Asynchronous Online Introduction to Business Course: Ten Big Surprises

By:  Christine Mooney, Esq. and Dr. Edward Volchok — Queensborough Community College (CUNY)

Abstract:

This article reports on the experience of two members of the Business Department who developed a successful asynchronous version of the department’s Introduction to Business survey course. The article highlights what we learned and how we overcame the obstacles we faced. We discuss how our course evolved during the last six semesters we taught it. We also discuss how our College community reflected on the experience of developing the courses under this program and how our reflections contributed to major revisions of our College’s eLearning efforts.