A qualidade dos recursos educacionais abertos tem preocupado a comunidade educacional e, em especial, as instituições que compõem as redes educacionais na área da saúde.
Antes de compreender a necessidade de avaliar a qualidade de REA, precisamos compreender o que é qualidade:
Podemos entender qualidade como uma propriedade atribuída a um produto de acordo com um conjunto pré-estabelecido de dimensões e de critérios.
Com o crescimento das redes na área da saúde e a diversidade dos recursos educacionais disponíveis, nem todos abertos (REA), nos deparamos com o desafio de garantir a qualidade do conteúdo, assim como o cumprimento dos cinco princípios de liberdades mínimas de REA, os “5Rs”, sistematizados por David Willey:
A Avaliação da qualidade é uma atividade que permeia todas as etapas do ciclo de produção de um recurso educacional e assume um aspecto multidimensional: presente em todas as etapas, com diversos enfoques, de caráter processual e multidisciplinar, com a participação de diversos atores.
O ciclo de produção é composto por 06 (seis) fases que vão desde o planejamento até o monitoramento e avaliação do recurso.
Nesta fase, define-se o problema educacional, contexto da aprendizagem, o público-alvo, as metas e os objetivos de aprendizagem, dentre outras características relevantes. É importante levar em consideração a instituição, implicações sobre o ambiente, recursos disponíveis (financeiro, infraestrutura, recursos humanos) e prazos para, então, definir as mídias a serem utilizadas ou produzidas, formato do curso (autoinstrucional, com tutoria ou híbrido), detalhando a forma de disponibilização dos conteúdos, atividades de avaliação, atualização e sustentabilidade do curso.
Nesta fase é que efetivamente ocorre a produção dos materiais planejados anteriormente, implantação do material produzido no ambiente virtual de aprendizagem e testes de validação.
Nesta fase, o recurso é incluído no repositório e os metadados descritos de acordo com os padrões adotados.
Nesta fase verifica-se o preenchimento adequado de todos os metadados, pode haver uma nova validação e teste do recurso educacional para publicação no repositório.
Aplica-se estratégias de monitoramento, como enquetes de satisfação, contagem de número de downloads, compartilhamentos, curtidas, rankeamento e alcance nas redes sociais.
Compreende a avaliação dos resultados das estratégias de monitoramento para recomendações de atualização do recurso educacional ou exclusão.
O resultado que se pretende obter com o processo avaliativo vai depender de questões específicas de cada recurso, tais como: características, contexto, público, instituição e política que definirá sobre como e em que momento a avaliação deve ser aplicada no âmbito de um processo.
Antes de pensar em avaliação, é preciso conhecer os métodos que podem ser utilizados para avaliar um recurso educacional aberto, suas vantagens e desvantagens e instrumentos de avaliação.
| Método | Aplicado por | Vantagens | Desvantagens |
|---|---|---|---|
| Guias | Equipo de produção | Auxiliam a equipe no desenvolvimento | Não há participação de pessoas externas (especialistas e usuarios) |
| Avaliação por especialistas | Editores especialistas no tema | Incorporam melhorias o recurso, incentiva o trabalho colaborativo | Custo alto |
| Avaliação por usuário | Usuários e alunos | Sugestão de melhorias, adapatações, incentiva o trabalho colaborativo | Conflito de interesses |
| Guias de orientação | Formulários | Testes de validação |
|---|---|---|
| Os guias de orientação são manuais práticos que contém orientações detalhadas sobre como aplicar os critérios ou como verificar. | Os formulários de avaliação, survey ou checklists de verificação são desenvolvidos a partir dos critérios e indicadores definidos para auxiliar especialistas e usuários na avaliação do recurso. | Os testes de validação são realizados por especialista técnicos e/ou por usuários baseados em roteiro pré-definido. O teste é aplicado a partir da observação do recurso e pode contar com um formulário para registro dos resultados. |
Os métodos e instrumentos se sobrepõem de maneira complementar e combinados, possibilitam a avaliação das dimensões dos recursos educacionais
A avaliação deverá ser um processo transparente e contínuo segundo determinadas dimensões de qualidade. Tendo como referência a proposta de Belfer, K., Nesbit, J., & Leacock, T. (2003), apresentamos nove critérios:
| Critérios | Descrição |
|---|---|
| Qualidade de conteúdo | refere-se ao nível de precisão e confiança do conteúdo, assim como também com a existência de parcialidades (preconceitos), erros e omissões. |
| Alinhamento com o objetivo de aprendizagem | avalia o quanto o conteúdo e as atividades de aprendizagem estão alinhadas com os objetivos, e se os objetivos de aprendizagem estão de acordo com a proposta e objetivo do curso. |
| Feedback e adaptação | confere a capacidade do recurso educacional de fornecer feedback e de se adaptar às necessidades do usuário. Tal adaptação pode estar relacionada com a localização do recurso de aprendizagem para uma cultura ou idioma específico, ou até mesmo com a capacidade de mudar a sua apresentação e conteúdo de acordo com um determinado estilo de aprendizagem do aluno |
| Motivação | avalia a habilidade do recurso de aprendizagem em reter a atenção do usuário, ou seja, se o recurso é atrativo e gera interesse pelo tema que apresenta. |
| Design de apresentação | refere-se à qualidade na apresentação do recurso e de todos os itens que o compõem (texto, audiovisual, animações, gráficos, ícones). A estrutura organizacional da informação propicia a efetiva identificação dos elementos presentes no recurso; o texto é legível e com uma formulação clara. |
| Usabilidade de interação | avalia o quanto é fácil para o aluno a navegar no curso ou usar o recurso, Uma boa usabilidade irá apresentar um layout, estrutura consistentes e fácil navegação/utilização. Facilidade de contato com o professor e/ou suporte técnico. Compatibilidade com navegadores e disponibilidade de recursos para pessoas com poucos recursos tecnológicos. |
| Acessibilidade | refere-se aos critérios para garantir que pessoas com deficiências visuais, auditivas e motoras possam acessar a informação sem dificuldade. As recomendações abordam desde o design de apresentação até a recomendações relativas ao código (HTML e CSS, por exemplo). |
| Reusabilidade | verifica o potencial do recurso de aprendizagem ser utilizado em outros cursos e diferentes contextos. Questões como a granularidade e a abertura/licenças (openness) irão influenciar a reusabilidade do mesmo para diferentes cenários. |
| Conformidade com padrões | Avalia se os campos de metadados associados ao recurso de aprendizagem seguem os padrões internacionais e se estão completos e devidamente descritos. Verifica também se os recursos estão de acordo com os padrões técnicos abertos podendo ser acessado independentemente de programas e formatos específicos e de vários dispositivos (computador ou dispositivos móveis). |
Como visto anteriormente, existem aspectos que podem ser analisados para determinar a qualidade dos recursos educacionais abertos. Aqui sugerimos alguns indicadores que devem ser considerados em um processo de avaliação, sem excluir, entretanto, a possibilidade de adoção de outros de acordo com necessidades específicas.
Para auxiliar o processo de avaliação, sugerimos utilizar o checklist disponível para donwload no link abaixo. Através deste, será possível visualizar todos os critérios e indicadores mencionados acima.
Download ChecklistCompreender o processo de avaliação da qualidade de REA, conhecer seus critérios, indicadores e como aplicá-los..
Lembre-se: A Avaliação da qualidade é uma atividade que permeia todas as etapas do ciclo de produção de um recurso educacional e assume um aspecto multidimensional: presente em todas as etapas, com diversos enfoques, de caráter processual e multidisciplinar, com a participação de diversos atores.
CICLO DE REA - CRITÉRIOS - INDICADORES
