Reconhecimento Automático de Representações de Rúbricas em Agrupamentos de Soluções de Exercícios de Programação

Márcia Gonçalves de Oliveira, Leonardo Leal Reblin, Mateus Batista de Souza, Elias Oliveira

Resumo


A avaliação de exercícios de programação é um processo complexo porque, para cada exercício que um professor aplica, é comum haver várias possibilidades de soluções. Como nem sempre o professor conhece todas as possíveis soluções de um exercício, é sempre um desafio para ele justificar todos os critérios de sua avaliação. Com o objetivo de apoiar o processo de avaliação de programação, este trabalho propõe uma estratégia baseada em técnicas de clustering e de Análise de Componentes Principais (PCA) para reconhecer, a partir de soluções desenvolvidas por alunos, exemplos de soluções que representem, em um esquema de rúbricas, os escores atribuídos por um professor. Os resultados dos experimentos em soluções reais de exercícios de programação indicam que o nosso método reconhece soluções com escores altos, médios e baixos demandando pouco esforço de avaliação de professores.

 


Palavras-chave


Clustering; Análise de Componentes Principais; Rubricas; Programação

Texto completo:

PDF

Referências


Karypis, G. (2002). Cluto-a clustering toolkit (Tech. Rep.). Retrieved from http://www.dtic.mil/get-tr-doc/pdf?AD=ADA439508.

Kwon, H., & Jo, M. (2005). Design and Implementation of the Automatic Rubric Generation System for the NEIS based Performance Assessment using Data Mining Technology. Journal Of the Korean Association of information Education, 9(1), 113-126. Retrieved from http://www.ndsl.kr/ndsl/search/detail/article/articleSearchResultDetail.do?cn=JAKO200532056743373 [GS Search].

Lindenbaum, M., Markovitch, S., & Rusakov, D. (2004, Feb 01). Selective sampling for nearest neighbor classifiers. Machine Learning, 54(2), 125–152. doi: 10.1023/B:MACH.0000011805.60520.fe. [GS Search].

Naudé, K. A., Greyling, J. H., & Vogts, D. (2010). Marking student programs using graph similarity. Computers & Education, 54(2), 545 - 561. doi: 10.1016/j.compedu.2009.09.005. [GS Search].

Oliveira, M. G., Basoni, H., Saúde, M., & Ciarelli, P. (2014). Combining clustering and classification approaches for reducing the effort of automatic tweets classification. In Proceedings of the International Conference on Knowledge Discovery and Information Retrieval - Volume 1: KDIR, (IC3K 2014) (p. 465-472). SciTePress. doi: 10.5220/0005159304650472. [GS Search].

Oliveira, M. G., Monroy, N., Daher, P., & Oliveira, E. (2015). Representação da diversidade de componentes latentes em exercícios de programação para classificação de perfis. In IV Congresso Brasileiro de Informática na Educação (CBIE 2015) (pp. 1177–1186). Maceió: Anais do SBIE 2015. doi: 10.5753/cbie.sbie.2015.1177. [GS Search].

Oliveira, M. G., Nogueira, M. A., & Oliveira, E. (2015). Sistema de Apoio à Prática Assistida de Programação por Execução em Massa e Análise de Programas. In XXIII Workshop sobre Educação em Computação (WEI) - CSBC 2015. Recife, PE: SBC. Retrieved from http://www.lbd.dcc.ufmg.br/colecoes/wei/2015/010.pdf. [GS Search].

Oliveira, M. G., Reblin, L., & Oliveira, E. (2016). Sistema de apoio a avaliação de atividades de programação por reconhecimento automático de modelos de soluções. In XXIV Workshop sobre Educação em Computação (WEI) – CSBC 2016. Porto Alegre, RS: SBC. Retrieved from http://ebooks.pucrs.br/edipucrs/anais/csbc/assets/2016/wei/40.pdf. [GS Search].

Oliveira, M. G., Souza, M., Reblin, L. L., & Oliveira, E. (2016). Reconhecimento automático de representações de rubricas em agrupamentos de soluções de exercícios de programação. In Anais do XXVII Simpósio Brasileiro de Informática na Educação (SBIE 2016) (pp. 1106–1115). doi: 10.5753/cbie.sbie.2016.1106. [GS Search].

Olmos, R., Guillermo, J. B., Luzón, J. M., Martín-Cordero, J. I., & Leao, J. A. (2016). Transforming LSA space dimensions into a rubric for an automatic assessment and feedback system. Information Processing & Management, 52(3), 359 – 373. doi: 10.1016/j.ipm.2015.12.002. [GS Search].

Panadero, E., & Jonsson, A. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130 - 144. doi: 10.1016/j.edurev.2013.01.002. [GS Search].

Perlman, C. (2003). Performance assessment: Designing appropriate performance tasks and scoring rubrics. Retrieved from https://eric.ed.gov/?id=ED480070. [GS Search].

Schaeffer, S. E. (2007). Graph clustering. Computer Science Review, 1(1), 27 - 64. doi: 10.1016/j.cosrev.2007.05.001. [GS Search].

Spalenza, M., Oliveira, E., Oliveira, M., & Nogueira, M. (2016). Uso de mapa de características na avaliação de textos curtos nos ambientes virtuais de aprendizagem. In Anais do SBIE 2016 (pp. 1165–1174). doi: 10.5753/cbie.sbie.2016.1165. [GS Search].

Srikant, S., & Aggarwal, V. (2014). A system to grade computer programming skills using machine learning. In Proceedings of the 20th acm sigkdd international conference on knowledge discovery and data mining (pp. 1887–1896). New York, NY, USA: ACM. doi: 10.1145/2623330.2623377. [GS Search].

Tuia, D., Pasolli, E., & Emery, W. (2011). Using active learning to adapt remote sensing image classifiers. Remote Sensing of Environment, 115(9), 2232 - 2242. doi: 10.1016/j.rse.2011.04.022. [GS Search].

Wall, M. E., Rechtsteiner, A., & Rocha, L. M. (2003). Singular value decomposition and principal component analysis. In D. P. Berrar, W. Dubitzky, & M. Granzow (Eds.), A practical approach to microarray data analysis (pp. 91–109). Boston, MA: Springer US. doi: 10.1007/0-306-47815-3_5. [GS Search].

Yamamoto, M., Umemura, N., & Kawano, H. (2018). Automated essay scoring system based on rubric. In R. Lee (Ed.), Applied computing & information technology (pp. 177–190). Cham: Springer International Publishing. doi: 10.1007/978-3-319-64051-8_11. [GS Search].




DOI: https://doi.org/10.5753/rbie.2018.26.02.60

DOI (PDF): https://doi.org/10.5753/rbie.2018.26.02.60

____________________________________________________________________________

Revista Brasileira de Informática na Educação (RBIE) (ISSN: 1414-5685; online: 2317-6121)
Brazilian Journal of Computers in Education (RBIE) (ISSN: 1414-5685; online: 2317-6121)