Classificação de dificuldade de questões de programação com base na inteligibilidade do enunciado

Resumo

Em grandes turmas de disciplinas de programação mediadas por juízes online, é preciso aleatorizar as questões selecionadas para testes de avaliação, a fim de evitar comportamento desonesto. O problema de uma aleatorização ingênua é a falta de equidade com respeito ao grau de dificuldade das questões. Assim, este artigo propõe um método para classificar a dificuldade de questões de programação com base em métricas de inteligibilidade de texto extraídas a partir de seus enunciados. Foram analisadas 450 questões, respondidas por 800 alunos em uma disciplina de introdução à programação entre os períodos letivos de 2017 a 2018. Verificou-se que uma abordagem baseada apenas nas métricas de inteligibilidade é subótima para a classificação de dificuldade de questões, porém não irrelevante.