A Avaliação da Qualidade no Ensino Superior: Uma Proposta de Indicadores de Qualidade Docente

A nova era do conhecimento do século XXI implicou mudanças na sociedade. A busca e exigência de qualidade em todos os sectores trouxeram novas preocupações e reactivaram debates de questões já antigas. O ensino superior acompanhou este movimento da sociedade em geral, tanto mais que a tradição da excelência e da produção e difusão do conhecimento, desde há muito, que eram suas metas. No entanto, e na maioria dos casos, não fazia parte da tradição destas instituições a prestação de contas perante a sociedade. Deixava de ser suficiente garantir a excelência, mas ela tinha que ser percebida e confirmada por todos o stakeholders do sistema. É nesta perspectiva que nasce o movimento de implementação de sistemas de avaliação nas instituições de ensino superior. Era necessário, quer do ponto de vista dos governos, quer do ponto de vista das instituições, demonstrar à sociedade a sua excelência.

Os docentes são um dos elementos a considerar dentro do processo global de avaliação das instituições. Vários objectivos presidem a essa avaliação mas o desenvolvimento e incremento da qualidade docente serão talvez os aspectos mais relevantes. Introduzir este processo nas práticas das universidades e politécnicos e nas rotinas dos professores e alunos, é fundamental para a caminhada rumo à excelência.

A avaliação da qualidade docente e mais especificamente das actividades de ensino não é fácil e nem reúne consenso, dada a sua complexidade. Já Bireaud (1995) questionava os critérios e conteúdos da avaliação, os avaliadores e os tipos de avaliação e realçava a inexistência de um sistema de referência para as tarefas a desempenhar pelo docente universitário, bem como o desacordo dos indicadores dos comportamentos considerados pertinentes. A resistência a essa avaliação e mesmo algumas atitudes negativas devem-se fundamentalmente, entre outros aspectos, ao tipo de questionários utilizados e à falta de comprometimento e participação na avaliação por parte dos docentes e dos alunos.

A validade da utilização da avaliação de alunos como dado para a avaliação da eficácia docente tem sido objecto de numerosas investigações (Rodriguez, Sánchez & Bitata, 1999; Cashin, 1988, 1995; Hoyt & Pallett, 1999; Alba, Bozal & Navas, 1999, entre outros) apontando para a sua validade, fidelidade, não devida a causas fortuitas, bem como à sua utilidade. Salienta-se o facto de esta avaliação ser frequentemente utilizada para a melhoria profissional do docente (Murray & Newbys (1982) e Moses (1986), cit. Rodríguez, Sánchez & Bitata, 1999) e que a intensidade dessa melhoria depende da especificidade do feedback que é dado ao professor e do objectivo da avaliação. Assim, como refere Wilson (1986, cit. Rodríguez, Sánchez & Bitata, 1999) "se informarmos o professor do que pensam dele os seus alunos, contribuiremos, (...), para melhorar a sua eficácia docente" (p. 421).

No entanto, é importante sublinhar que a utilização apenas dos dados dos alunos para a avaliação dos docentes ignora vários aspectos fundamentais do ensino e nunca deve ser a única fonte de dados.

Embora, por um lado, pareça já estar clara a necessidade de uma avaliação da docência a nível superior, como um dos elementos de avaliação deste nível de ensino, por outro lado, constata-se a dificuldade da instituição desta prática, de forma generalizada, nas instituições de ensino superior do nosso país, embora ela já o esteja em grande parte dos países desenvolvidos. No nosso entender, um dos factores que concorre para essa dificuldade parece ser resultante do desacordo quanto aos indicadores válidos para a levar a cabo com sucesso, bem como da ausência de acordo de um perfil ou perfis de "bom professor" neste nível de ensino. É pois na questão dos indicadores e da identificação de um perfil de "bom professor" do ensino superior que se centra o nosso problema de base.

Partindo da premissa de que para a instituição de qualquer modelo de avaliação teremos de ter a adesão dos implicados nesse processo, para que das suas conclusões resultem de facto mudanças e melhorias para todos, então há que se fazer um levantamento das suas opiniões a este respeito. Neste contexto, propusemo-nos, com o nosso estudo, responder às seguintes questões:

  • Existirão diferenças entre professores e alunos quanto aos indicadores considerados mais relevantes para a definição do perfil de um "bom professor" do ensino superior?
  • Quais são os indicadores considerados mais importantes, quer para alunos quer para professores, para a definição do perfil de um "bom professor" de ensino superior?

Para responder às nossas questões desenvolvemos o estudo em três fases. A primeira, que consistiu em entrevistas semi-estruturadas a professores e alunos das escolas do Instituto Politécnico de Viseu, respondia a dois objectivos: permitir-nos, por um lado, prever a receptividade dos sujeitos ao nosso estudo mais alargado, e por outro, fazer um levantamento exaustivo de indicadores do perfil de "bom professor do ensino superior", do ponto de vista desta população, que nos possibilitasse a construção de um questionário de opinião, representativo de todas as opiniões de docentes e alunos acerca desta questão, chegando, a partir da análise das respostas às entrevistas, a um conjunto de dimensões, onde os itens categorizados se constituíssem como perfil a ser validado.

Assim, a partir da análise de conteúdo a 32 entrevistas (14 professores e 18 alunos) e da revisão da literatura encontrámos 6 categorias, que no seu total perfaziam 83 itens, que constituiriam a primeira versão do nosso questionário. O Questionário de Indicadores de Qualidade Docente do Ensino Superior foi composto por 84 itens, sendo 83 correspondentes às categorias Competências, Interacções na Sala de Aula, Comportamento Profissional e Relações Interpessoais, Organização e Gestão da Sala de Aula, Avaliação e Factores Externos ao Docente, e o nº84 que solicita sugestões de novos itens por parte dos respondentes e que, curiosamente, não foi preenchido por nenhum dos sujeitos em nenhuma das fases do trabalho. Após a realização de um estudo piloto para a avaliação do nosso questionário, efectuado com uma amostra de 81 indivíduos (26 professores e 55 alunos) com características semelhantes aos nossos futuros respondentes, chegámos à sua versão final que se manteve semelhante à primeira, uma vez que se verificou uma boa consistência interna em cada categoria e que nenhum dos itens foi claramente desvalorizado, quer por professores quer por alunos.

A segunda fase do nosso estudo consistiu na avaliação das diferenças entre professores e alunos do Instituto Politécnico de Viseu, quanto ao perfil de "bom professor" do ensino superior. Para tal passámos o Questionário de Indicadores de Qualidade Docente do Ensino Superior a uma amostra de 1302 indivíduos (185 professores e 1117 alunos) das, Escola Superior de Tecnologia, Escola Superior de Educação e Escola Superior de Saúde do Instituto Politécnico de Viseu. Considerando a amostra na sua totalidade, a análise global dos resultados permitiu-nos concluir que todos os itens foram, em média, valorizado positivamente.

Foi avaliado como mais importante o facto do docente do ensino superior dever "transmitir com clareza os conhecimentos" e como menos importante o docente "participar nos órgãos da instituição". Relativamente à nossa primeira questão, se existiam diferenças entre professores e alunos quanto à importância atribuída aos indicadores para definição do perfil de um "bom professor" do ensino superior, verificámos diferenças significativas entre professores e alunos nas médias dos itens das categorias Competências, Comportamento Profissional e Relações Interpessoais, Organização e Gestão da Sala de Aula, Interacções na Sala de Aula, Avaliação e Factores Externos ao Docente. No entanto, uma divergência clara de valorização apenas se verificou num pequeno conjunto de itens, uma vez que as diferenças estatisticamente significativas se deveram mais frequentemente à intensidade da valorização positiva dada a cada item e à distribuição dos padrões de resposta, do que ao facto de as opiniões se situarem em pólos opostos.

A terceira fase do estudo pretendia responder à nossa segunda questão, a identificação dos indicadores considerados mais relevantes para professores e alunos para a definição do perfil. Para tal, procedemos à avaliação da dimensionalidade do questionário para validar as nossas categorias e chegarmos a uma proposta final de perfil. Para a avaliação do perfil de "bom professor" do ensino superior, submetemos os 83 itens a 4 análises factoriais consecutivas tendo chegado a 57 itens que organizados em 6 categorias constituem a nossa proposta final de perfil. Estas categorias implicaram reorganização de alguns itens e alterações na designação das nossas categorias iniciais. Assim concluímos que, para docentes e alunos do Instituto Politécnico de Viseu, um "bom professor" do ensino superior deve:

  • Em termos de competências, estar tecnicamente actualizado, ter conhecimentos práticos da matéria que lecciona, dominar cientificamente a matéria que lecciona, ter experiência profissional na sua área científica, estar cientificamente actualizado, transmitir com clareza os conhecimentos e demonstrar de forma prática a teoria.
  • Em termos de cumprimento de formalidades da docência, ser pontual, definir as regras de funcionamento da disciplina no início do ano/semestre, ser assíduo, indicar bibliografia de apoio, explicitar os objectivos da disciplina e ter coerência entre a metodologia e a avaliação.
  • Em termos de qualidade da avaliação deve, estar pronto para esclarecer dúvidas, desenvolver estratégias para o combate ao insucesso, anotar os elementos de avaliação com informações que permitam ao aluno compreender os erros cometidos, reflectir os resultados da avaliação com os alunos no final do ano/semestre, mostrar disponibilidade para os alunos, permitir a interrupção das aulas para esclarecer dúvidas, utilizar diferentes elementos de avaliação, estar preocupado com as taxas de insucesso, adaptar a avaliação à natureza da disciplina, utilizar a avaliação dos alunos para a sua auto-avaliação, explicitar e discutir a avaliação no início do ano/semestre com os alunos, desenvolver o gosto de aprender, ser justo na avaliação, utilizar adequadamente os materiais de apoio às aulas, estar à vontade para tirar dúvidas e encarar a actividade docente como prioritária.
  • Em termos de relações interpessoais, ter uma postura afável, ter boa relação com os alunos, flexível no relacionamento, estar motivado para ensinar, respeitar o ritmo de aprendizagem do aluno, ter cultura geral, ter capacidade de gerir uma aula interactiva, gostar de ser professor, contribuir para a formação global do aluno e estar acessível para os alunos e para a instituição.
  • Em termos de actividades científicas, colaborar em projectos da comunidade na sua área de especialidade, participar em grupos de trabalho de apoio ao funcionamento da instituição, participar em júris de trabalhos ou provas académicas, participar em acções de formação profissional dirigidas à comunidade envolvente, promover actividades científicas, pedagógicas ou culturais no âmbito da instituição, participar em projectos de investigação científica, participar nos órgãos da instituição, ter conhecimentos para além da sua área da especialidade, ter produção científica (comunicações, artigos, livros, etc.), ter graus académicos e orientar trabalhos científicos para obtenção de grau académico.

Existem ainda outros factores que podem interferir com a qualidade docente, factores externos, e que para os nossos respondentes são: a complexidade da disciplina, as condições de trabalho na instituição, a motivação dos alunos para a disciplina, a carga horária da disciplina, infra-estruturas adequadas às necessidades de formação, o funcionamento geral da instituição e o comportamento dos alunos nas aulas.

Algumas limitações a este estudo podem ser enunciadas. Uma primeira limitação prende-se com a natureza do instrumento. Um dos problemas inerentes às escalas de tipo Likert é a possibilidade da disposição dos sujeitos responderem de forma extrema ou neutra. Em relação à posição extrema, em todos os itens no mesmo sujeito, apesar de ela se ter verificado em alguns casos, não foi utilizada de forma sistemática, por todos os indivíduos, constituindo-se mesmo como excepção. A posição neutra não aparece com frequência que nos permita concluir que não correspondia a uma verdadeira tomada de posição. Uma segunda limitação, ainda ligada à natureza do instrumento, relaciona-se com o facto de idênticos resultados individuais totais poderem ser proveniente de diferentes padrões de resposta, o que sem dúvida dificultaria a interpretação dos resultados. Uma vez que, como sugerem Grawitz (1976) e Anderson (1976), é a estrutura das respostas por sujeito, mais do que o seu resultado global que nos pode informar sobre a sua posição, efectuámos, sempre que necessário e para compreender a natureza das divergências entre os dois grupos de sujeitos considerados, análises aos padrões de resposta para cada item. Uma terceira limitação prende-se com a desejabilidade social das respostas, ou seja, a tendência a emitir aquelas, das quais resulta maior aprovação social. Isto poderá ter acontecido principalmente no caso dos docentes que eventualmente pretenderam dar uma imagem de valorização de alguns aspectos dada a inevitabilidade das questões da qualidade serem hoje a preocupação central do ensino superior. Mas como as análises finais foram cruzadas com a opinião dos alunos talvez esta questão tenha sido minimizada. Uma quarta limitação deve-se ao tempo para a realização deste trabalho. Não foi possível fazer uma confirmação da constância das opiniões uma vez que não foi possível voltar a passar aos mesmos sujeitos o questionário. Por outro lado, não foi possível confirmar o perfil a que chegámos no final do estudo retestando-o na mesma população. Por último, no que se refere à possibilidade de generalização dos resultados, ela não pode e não deve ser feita para todas as instituições de ensino superior do nosso país. Eles apenas são válidos para o Instituto Politécnico de Viseu tanto mais que estes dispositivos devem ser construídos tendo por base um contexto específico. Cada instituição tem a sua realidade, os seus objectivos e metas e é partindo destes parâmetros que instrumentos desta natureza devem ser construídos. Uma vez que a nossa amostra constitui 45% dos alunos e 67% dos professores das escolas consideradas pensamos ser possível a utilização dos nossos dados como ponto de partida para a construção de instrumentos de avaliação da qualidade docente, válidos para o Instituto Politécnico de Viseu.

As conclusões que retirámos deste trabalho levam-nos a poder enunciar algumas implicações dele decorrentes. A temática abordada reitera a imprescindibilidade de que a preocupação com a qualidade e a sua avaliação estejam presentes e sejam uma prática instituída nas instituições de ensino superior. A receptividade observada, quer de docentes, quer de alunos, em todos os estudos desenvolvidos, mostram que existe já uma sensibilização para este tipo de reflexão por parte dos elementos das instituições deste nível de ensino, e da sua disponibilidade para participar no processo de construção de um sistema de avaliação.

No entanto, alguns dos participantes no processo levantaram a questão da validade dos instrumentos utilizados no processo de avaliação. Assim, a construção de instrumentos validados e que correspondam às expectativas dos futuros avaliados e respondentes deverá ser um dos primeiros passos a levar a cabo pelas instituições de ensino superior. Eles devem ser aferidos a cada contexto específico, daí que modelos gerais apenas devam ser considerados como base de trabalho para a construção de cada um deles.

Para a construção de instrumentos de avaliação docente é indispensável que se parta da definição de indicadores de qualidade docente adequados a cada instituição. Estes indicadores constituem um perfil de "bom professor" aceite pela instituição e deve partir do acordo de docentes e alunos. Este perfil deve constar dos objectivos definidos pela instituição para cada docente. Só conhecendo o que se espera dele, o docente poderá corresponder e cumprir o seu papel na plenitude. Por outro lado, isto permitirá fornecer elementos para que os docentes possam reflectir e consequentemente melhorar as suas práticas, no sentido que a instituição deseja.

A reflexão acerca do papel dos alunos na avaliação dos docentes, será outra das implicações a retirar do nosso trabalho. A legitimidade da sua participação não foi questionada, tendo sido mesmo concluído da sua importância pelos docentes participantes, confirmando o sentido revelado pela literatura revista. No entanto, nem todos os aspectos relativos à qualidade docente podem ser avaliados pelos alunos. Eles mesmo, nos nossos resultados, demonstraram a pouca valorização que dão a alguns aspectos, embora importantes, que a ela respeitam. Os aspectos relacionados com as actividades científicas dos docentes e com as variáveis de contexto (aspectos relacionados com a disciplina, com o próprio aluno e com a organização e gestão da instituição), por exemplo, não são passíveis de ser avaliados pelos alunos. Estes aspectos devem ter outra fonte de dados e portanto não fazer parte de dispositivos de avaliação dos docentes a serem preenchidos pelos alunos. Por fim, conclui-se da necessidade de construção de instrumentos de avaliação da qualidade do ensino, em instituições de ensino superior, atendendo obviamente à sua especificidade, que deverão ser contemplados e fornecer informação para o desenvolvimento de Planos Estratégicos da instituição e respectiva monitorização.

O nosso trabalho apenas deve ser entendido como uma proposta que sirva de ponto de partida para uma reflexão dentro do Instituto Politécnico de Viseu, dos seus órgãos directivos, docentes e alunos, para a construção de dispositivos de avaliação do desempenho docente. No entanto, "a qualidade do ensino é um conceito multifacetado e, quando muito, os questionários apreendem uma parte do todo que o define" (Morais, Almeida e Montenegro, 2006) e portanto devem ser consideradas diversas fontes e instrumentos quando se pretende uma avaliação credível e eficaz.

De qualquer forma, os indicadores que constituem a nossa proposta de perfil, e uma vez que reflectem a opinião de alunos e professores, poderão servir para um diagnóstico inicial da situação da instituição. Este dispositivo poderá vir a ser complementado com indicadores que resultem da evolução da reflexão decorrente do processo de diagnóstico, da investigação entretanto desenvolvida e das mudanças que os intervenientes forem sofrendo em consequência do próprio processo. Subjacente a qualquer procedimento de desenvolvimento de qualidade deve estar uma concepção de ciclo contínuo de actividades, sendo o início do ciclo seguinte, consequência e definido pelo final do anterior. Portanto estes instrumentos devem estar em permanente actualização e avaliação, implicando, em cada momento todos os elementos que dele fazem parte.

Concluindo, embora já com uma pequena história construída, a avaliação dos docentes do ensino superior ainda tem um longo caminho a percorrer para se instituir como prática validada em todos os países. Em Portugal urge avaliar as metodologias que têm sido levadas a cabo, bem como os instrumentos, e clarificar a utilização a ser feita com os resultados. Mas uma certeza existe já: é indispensável que a prática da avaliação dos docentes prossiga e que se institua como uma cultura em todas as instituições de ensino superior como garante de um processo crescente de qualidade. É necessário iniciar o processo de validação dos sistemas já iniciados e dos instrumentos e fontes de dados que têm sido utilizados.

Maria João Amante
Professora Adjunta da Escola Superior de Educação do Instituto Politécnico de Viseu

© copyright SNESup | Todos os direitos reservados

 
visitas