Hermelina Pastor Romiszowski, PhD.

TTS, Rio de Janeiro

ttslinrom@uol.com.br

Abstract

This paper discusses the role of evaluation in the instructional design of interactive multimedia. It illustrates the importance of evaluation in the process of planning of technology-based pedagogical materials, with examples taken from three of the phases of the instructional design process applied in educational CD-ROM development projects. It analyzes the role of investigative evaluation in the practice of instructional design as a means of assuring quality of the final product. It concludes with a broader discussion of the author’s experience of implementing continuous formative evaluation in the design and development of materials that utilize CD-ROM and similar technologies.

Key-words: Evaluation; Formative evaluation; Investigative evaluation; Instructional design, Criteria; Critical reflection.

Resumo

A apresentação discute o papel da avaliação no design instrucional de multimídia educativa. Considera a importância da avaliação para o planejamento pedagógico de materiais utilizando novas tecnologias, destacando, numa experiência de elaboração de CD-ROM educativo, três aspectos do design instrucional. Analisa o papel de ações avaliativas de caráter investigativo nas atividades práticas de design, para assegurar a qualidade do material final. Conclui utilizando os dados da experiência apresentada para estimular uma discussão mais ampla sobre a avaliação formativa continuada no design e desenvolvimento de materiais utilizando a tecnologia de CD-ROM e afins.

Palavras- chaves: Avaliação, Design instrucional, Avaliação Formativa, Avaliação Investigativa, Critérios, Reflexão Crítica.

1. INTRODUÇÃO

Em recentes trabalhos de design e desenvolvimento de CD-ROM's para educação e treinamento, temos nos deparado com alguns questionamentos sobre a melhor forma de planejar e desenvolver esta tecnologia. Design instrucional aqui refere-se ao "planejamento sistemático baseado em princípios científicos de comunicação, aprendizagem e ensino, levando à melhoria dos materiais instrucionais elaborados". Um produto em multimídia educativa é fruto de um investimento de várias ordens, numa tentativa de integração para se obter um real aproveitamento do potencial das mídias para uma aprendizagem eficaz. O que isso significa na prática? Que desafios apresenta para o designer/elaborador? O que e como fazer para vencer os desafios? Como assegurar a qualidade dos materiais elaborados? Como saber se são consistentes? Estas são algumas das muitas indagações que dificilmente poderão ser respondidas sem a ajuda da avaliação. Avaliação neste trabalho refere-se à “reflexão crítica e sistemática de informações obtidas no processo de design instrucional e utilização das informações para melhoria da qualidade dos materiais sendo elaborados."

Um trabalho contínuo de avaliação pode ser uma boa estratégia para assegurar a qualidade, principalmente hoje quando o designer instrucional é desafiado para melhor entender e incorporar, na prática, as atuais mudanças sociais, educacionais e tecnológicas. Trata-se da aplicação do conceito de avaliação formativa (Scriven, 1983) ao design e desenvolvimento instrucional. Isto não é uma coisa nova, pois há muito vem sendo usada

Por educadores preocupados com a qualidade educacional. Contudo, em se tratando de elaboração de materiais didáticos, sempre esteve mais voltada para a fase de testagem. Em geral preparava-se o material por inteiro, coletavam-se dados com a clientela alvo ou próxima dela, e depois revisava-se de acordo com o resultado da testagem. Esta, hoje, continua a ser uma importante estratégia de avaliação, principalmente para atender às reais necessidades de navegação dos usuários de novas tecnologias (Telles, 1999). Mas não se constitui no único momento no qual a avaliação acontece.

2. COMO A AVALIAÇÃO FORMATIVA PODE AJUDAR NO DESIGN DE MMI?

O design instrucional se beneficia da avaliação formativa no sentido de que as decisões tomadas no dia a dia do trabalho e a reflexão crítica sobre elas, ajudam a curto e médio prazos. A curto prazo no sentido de que facilita as decisões de melhoria do material no andamento do trabalho pela identificação de problemas/deficiências, criando a oportunidade para revisões pertinentes no processo. Evita um grande investimento de tempo nas revisões finais. Esta posição é enfatizada por Reeves (1997) ao discutir a importância da avaliação no design instrucional e criticar sua pouca utilização.

A avaliação formativa também ajuda a longo prazo, no sentido de que fornece dados para a verificação da qualidade do produto como um todo, levando a uma reflexão maior. Ao mesmo tempo contribui para solidificar o corpo de conhecimento da avaliação neste campo da atividade educacional, ainda prejudicado pela insuficiência de conhecimentos sólidos que oriente a prática. É possível que a insuficiência de pesquisas sobre o impacto das novas tecnologias de informação e comunicação na aprendizagem e no ensino, tenha participação nisso.

Por outro lado, o fato é que ao nos vermos envolvidos no planejamento de atividades de aprendizagem usando essa tecnologias, até certo ponto educacionalmente desconhecidas- pelo menos a nível de influência - estamos num campo fértil para investigações as mais variadas. A multimídia oferece vários canais para extração de recursos para uma aprendizagem dinâmica e eficaz; um bom designer de multimídia não pode estar alheio a isso e tem que ser eficiente não só na criação de estratégias didáticas compatíveis para exploração desse potencial, como também na investigação de seus efeitos. O exercício da avaliação favorece a problematização e a reflexão, fatores essenciais para a exploração destes aspectos.

2.1. Os Exemplos

Tomando como base o design e desenvolvimento instrucional em dois projetos de elaboração de CD-ROM,s educativos, num modelo de elaboração adotado pela TTS (Doc. Básico, 1998), vamos considerar alguns pontos da prática. O projeto/exemplo 1, na área de educação, teve como objetivo incentivar o uso da Informática na Educação para educadores em geral. O projeto/exemplo 2, na área de turismo, teve o objetivo de treinar pessoal de agências de turismo no uso de sistemas computadorizados de reserva de passagens aéreas. Três atividades do modelo, partes das fase de design instrucional, são aqui consideradas para ajudar na análise de procedimentos avaliativos que contribuíram para a qualidade do produto almejado: São elas: conteúdo, roteirização e testagem.

Observação: as palavras em negrito referem-se a procedimentos avaliativos ou relacionados, considerados no processo de elaboração do qual os exemplos abaixo foram selecionados.

2.1.1. Conteúdo

Este aspecto merece especial atenção por parte do designer instrucional. É uma das dimensões mais importantes consideradas por Teles (1999) e Collins, Brown e Newman (1989). Nos dois exemplos em consideração os conteúdos já existiam, potencialmente, em forma de material impresso. Mas, para serem veiculados em outra mídia necessitaram de tratamento compatível, levando a uma ação inicial (que consideramos avaliativa), para facilitar as atividades de design do produto multimídia: análise crítica. Por que isto tem que ser feito? Conteúdo é conteúdo e pode ser veiculado de várias maneiras. A questão é saber de que maneira queremos ou devemos desenvolvê-lo e também para que. Estabeleceu-se alguns critérios básicos de: utilidade, consistência, clareza, quantidade. Quantidade neste caso é importante por causa do espaço disponível na tecnologia de CD-ROM. Isto também ajuda o designer a avaliar todo o material disponível a ser usado e levantar o que precisa ser criado ou conseguido de outras fontes.

Um dos resultados foi a possibilidade de organização do conteúdo original em forma de conteúdo mapeado (formato mais adequado para a roteirização/sugestão de navegação) na tecnologia escolhida. Contudo, devido às características de cada conteúdo, as estratégias avaliativas foram diferentes, apropriadas para cada situação. No exemplo 1(educação) o conteúdo era originário de um livro que por sua vez teve objetivo apresentar uma tese de doutorado, atendendo a um problema específico. Para a elaboração do CD-ROM, foi constatada a necessidade de complementar o conteúdo não só de textos, mas também de exemplos práticos. No exemplo 2 (turismo), o conteúdo era também impresso, mas em forma de apostilhas, bastantes detalhadas, originalmente utilizadas em cursos de treinamento presencial. Neste caso foi necessário dosar o conteúdo para dar certo equilíbrio nas informações a serem veiculadas.

Vale ressaltar duas importantes lições que podem ser extraídas: 1) o estabelecimento de critérios básicos de análise é essencial, mas 2) mesmo quando se tem critérios básicos, o tipo de análise avaliativa do conteúdo depende dos objetivos que se quer atingir com o produto a ser elaborado e das características do material disponível. O ponto central é a análise crítica do material como forma geradora de insumos para as necessidades específicas de uma veiculação via CD-ROM. Isso ajuda o designer em muitas outras decisões para desenvolvimento das atividades seguintes, inclusive em termos do que já dispõe e o que ainda precisa obter para realizar o trabalho a contento.

2. 2. Roteirização/Script

Este é um aspecto que também se beneficia do resultado da análise de conteúdo, pois envolve a escolha dos métodos de apresentação, práticas para os tópicos incluídos no conteúdo e afins. Chegamos a um ponto em que novas decisões envolvem novas ações avaliativas, em torno melhor forma de desenvolver os tópicos, selecionar exemplos relevantes, textos específicos, vídeos e tudo o mais que seria necessário utilizar. Aqui é possivel verificar como uma análise criteriosa do conteúdo pode facilitar o desenvolvimento do roteiro. Isso não significa que não se tenha que fazer ajustes; estes sempre são necessários. Trata-se de criar bases para melhor identificar problemas ou fontes deles, ajustando o que for necessário.

Outro dado a considerar na roteirização e que envolve análise avaliativa é a questão dos recursos computacionais disponíveis para uso. Isto tem que ser levado em conta, por razões como as exemplificadas a seguir.

No exemplo 1, um projeto para uma clienta ampla, indefinida, que deveria se embasar com os conteúdos e usá-los da melhor maneira para sua realidade, na época utilizou-se o “authorware”. Esta ferramenta de autoria favorece a criação de roteiros mais abertos, exemplos diversos e a integração de outros recursos tecnológicos. No exemplo 2, projeto sob medida para faciliatr a aprendizagem específica de procedimentos, utilizou-se o “skillbuilder” Esta ferramenta computacional facilita a produção de cursos para ensino de procedimentos tais como usar vários aplicativos tais como: Microsoft Office, Lotus Notes e outros. Para natureza do tipo de conteúdo (grande quantidade de procedimentos padronizados), mostrou-se adequada, principalmente por poder automatizar o pestas rocesso de desenvolvimento do conteúdo. Em ambas as situações o designer instrucional deveria levar em conta também o trabalho posterior de programação/design gráfico.

Aqui vale a pena ressaltar que em nossas experiências optamos por um modelo de entrosamento entre os profissionias, que envolvia avaliações específicas e contínuas. Por exemplo, eram realizadas reuniões com os dois tipos de designers (instrucional e gráfico), antes da implementação de cada roteiro. A idéia era apresentar os roteiros elaborados pelo designer instrucional, para se verificar o nível de comunicação do material. Por exemplo, até que ponto o que foi planejado pedagogicamente poderia ser implementado sem restrições? Se estas existiam, como compatibilizar? Este aspecto nos pareceu fundamental, não só para esclarecer dúvidas, como também para evitar grandes reformulações depois do trabalho de programação muito adiantado. Ou ainda já na fase de ir para outos profissionais além dos designers, quer dizer fora do controle deles. A premissa básica foi a de que tão importante quanto ter boas idéias é comunicá-las claramente; principalmente quando o trabalho envolve equipe multidisciplinar. Fica clara a necessidade de se estabelecer critérios básicos para as atividades, cujas variações por certo definem a “cara” do produto que se vai ter.

Outro ponto importante é a abertura, criatividade e competência dos designers (instrucional e gráfico) para adaptar o planejamento inicial às necessidades surgidas ao longo da elaboração. Aqui vale lembrar o tipo de avaliação que estamos pretendendo, muito mais investigativa que comprobatória. Assim, não se trata de um procedimento rígido para ser seguido a qualquer custo, mas do estabelecimento de bases de trabalho fundamentadas para ajudar nas decisões de ordem pedagógica, o que muitas vezes significa adaptação do que for necessário. É o entrosamento prático entre planejamento/avaliação/replanejamento.

Propósitos, objetivos, conteúdo, interações, interatividade, são alguns dos muitos fatores que devem ser trabalhados na operacionalização dos roteiros. Informações claras e precisas constituem a base para uma boa implementação das estratégias didáticas pertinentes.

2.3. Field Testing /Testagem

Esta atividade é mais específica de avaliação, pelo menos em termos tradicionais. Como a avaliação sempre esteve muito ligada à testagem, esse tópico é de mais fácil entendimento. Pode ser um bom exemplo de como as necessidades da avaliação hoje são mais amplas ou talvez mais flexíveis, ou ambas. O fato é que a testagem é quase que processual, numa certa dimensão, embora ainda seja específica a nível de possibilidade de feedback do potencial usuário do material. Ás vezes ainda temos dificuldade de entender e praticar a avaliação em atividades como as analisadas nos ítens 2.1 e 2.2.

Considerando a situação específica dos materiais aqui tomados como exemplo temos o cenário que se segue.

No exemplo 2, CD-ROM para agentes de viagem, a testagem foi planejada e orientada pelo designer e aplicada à clientela pelo conteudista do projeto. Este , era o mesmo profissional responsável pelo treinamento presencial dos potenciais usuários na empresa GALILEO do Brasil, fornecedora do conteúdo. Não foi a estratégia ideal, já que o designer deveria estar mais presente, mas foi a possível.

A aplicação se deu para um grupo de treinandos do próprio GALILEO o que deu uma idéia aproximada da situação, acompanhada pelo conteudista e o resultado forneceu dados muito úteis para a revisão final do produto. Mas houve um fator negativo que foi o uso de uma versão do software com alguns problemas técnicos. Era prevista uma revisão cuidadosa pelos programadores e designers, mas esta deixou a desejar. Registraram-se alguns erros de programação que poderiam, facilmente, ter sido evitados, através de uma revisão mais cuidadosa. Embora não tenham chegado, aparentemente, a prejudicar, fica a dúvida sobre o real prejuízo. Isso também foi levado em conta na avaliação geral do projeto com a sugestão de um melhor planejamento e execução dessa atividade, num próximo projeto.

No caso do CD-ROM para a área de educação a testagem, nos moldes aqui mencionados, não se realizou. Por motivos de ordem institucional, alheios à TTS, o material foi reproduzido sem uma revisão final da equipe de design e desenvolvimento. É importante considerar isto para enfatizar que em projetos nos quais a equipe de design e desenvolvimento pedagógico não tem controle sobre outras fases do projeto, há necessidade de algum acerto contratual que assegure a revisão final, em função de um produto na melhor qualidade possível.

3. CONSIDERAÇÕES FINAIS

Criar e desenvolver atividades educacionais interativas representa criar mensagens para um novo paradigma de aprendizagem, no qual o aluno ao invés de ouvir e assimilar, interage ativamente com a tecnologia (termo aqui usado para hardware e software). O design instrucional pode propiciar um "framework" para visualização de idéias, imagens e outros recursos que podem ser colocados numa interface útil e amigável para o usuário, para realizar sua aprendizagem da forma que melhor lhe aprouver. Neste contexto o designer instrucional não atua só como planejador, mas também como pesquisador e avaliador constante.

Esta discussão nos parece oportuna porque muito se fala em novos paradigmas educacionais, mas muito pouco se fala em novos paradigmas de avaliação. Ou pelo menos no papel da avaliação nos novos paradigmas. Contudo, o educador consciente não pode deixar de indagar coisas como: que tipo de atividades e/ou materiais precisamos para trabalhar os novos paradigmas educacionais? Que tipo de procedimentos avaliativos são pertinentes? Como vamos utilizá-los? Como vamos avaliá-los em sua eficiência e eficácia para os objetivos de aprendizagem propostos? Quais os procedimentos que mais se aplicam a situações X,Y,Z?

Cada fase de uma elaboração de material didático usando em novas ou velhas tecnologias, tem seu papel específico. Mas não é atividade isolada, nem se desenvolve fora de contexto.

O design instrucional é uma área propícia à investigação, devendo ser apoiada por avaliação, pesquisa e questionamento científico. Hoje, sob maior influência das teorias cognitivas de aprendizagem e das novas tecnologias de informação e comunicação, precisa desenvolver uma base sólida de conhecimento que sirva de orientação para a prática educacional vigente. Neste ponto ainda deixa muito a desejar, mas tem campo para iniciativas múltiplas, desenhadas para gerar novos conhecimentos e disseminá-los. Literatura pertinente, bibliografia relacionada, opinião de profissionais para orientar iniciativas de pesquisa, opinião de usuários sobre percepções, observações várias e outras estratégias compatíveis, precisam ser adotadas.

A área da avaliação educacional também está sendo questionada para melhor atender melhor à diversidade dos problemas educacionais de hoje. Mas isso não significa que não há necessidade de avaliar, nem também significa negar as inúmeras conquistas da área até então. Como em outras áreas educacionais, há necessidade de revisão crítica sobre o papel da avaliação hoje e sobre como realizá-la, principalmente em situações novas, menos definidas. Alguns teóricos da área têm se preocupado com uma revisão nos conceitos e modelos de avaliação e têm desenvolvido estudos significativos, demonstrando a necessidade da avaliação se flexibilizar para melhor atender à diversificação da educação de hoje. Por exemplo, Smith (1993), para programas educacionais em geral e Jonassen ( 1993) e Reeves (1997) para o design instrucional, especificamente. Este último faz um retrospecto da avaliação nas últimas décadas, mencionando os quatro paradigmas emergentes de avaliação mais influentes hoje e os oito modelos deles decorrentes, assim como suas implicações para as atividades de design instrucional. Tais estudos são importantes, mas bases gerais; é necessário que os educadores tenham abertura para aplicá-los e investigá-los em diferentes realidades e/ou criar seus próprios modelos. A não existência de modelos e procedimentos avaliativos padronizados para qualquer situação de elaboração de multimídia, pode ser um fator enriquecedor, já que cada contexto requer atenção apropriada. O importante é a conscientização de que não podemos adotar novos paradigmas educacionais, desconsiderando paradigmas compatíveis de avaliação, quer seja para elaboração de material multimídia, quer seja para qualquer outro aspecto educacional. Temos que ter uma prática tal que faça com que as tecnologias de ponta sirvam aos projetos pedagógicos e não vice-versa.

REFERÊNCIAS BIBLIOGRÁFICAS

Reeves, T. (1997). Established and Emerging Evaluations paradigms for Instructional Design. Em Dills and Romiszowski, A (eds), Instructional Development Paradigms, Educational Technology Publications, Inc, Englewood Cliffs, New Jersey: Estados Unidos.

Romiszowski, H (1999). Elaboração de Material em Multimídia Interativa para a EAD: Aspectos de Planejamento, Desenvolvimento e Avaliação. Apresentação no V Congresso da ABED.

Romiszowski, H (1999). Avaliação como Estratégia para Melhoria do Design Instrucional: papel dos enfoques emergentes. Apresentação no VI Congresso Internacional da ABED.

Scriven, M (1983). Evaluation Ideologies. Em Madaus, Scriven and Stuflebeam (eds), Evaluation Models: Kluwer-Nijhoff, Boston, Estados Unidos.

Scriven, M (1991). Evaluation Thesaurus, Sage Publications, California; Estados Unidos.

Smith, N (1992). Varietes in Investigative Evaluation , New Directions for Program Evaluation, Jossey-Bass, San Francisco, CA, Estados Unidos.

Telles, L (1999). Designing Online Collaborative Learning Environments, Apresentação no II Ciclo de Teleconferências para o Ensino de Engenharia/São Paulo.

TTS/Elaboração de CD-ROM Educativo. Documento Básico para Orientação Interna, Rio de Janeiro, 1998.