Testes Adaptativos Computadorizados Aplicados em Avaliações Educacionais

Débora Spenassato, Andréa Cristina Trierweiller, Dalton Francisco de Andrade, Antonio Cezar Bornia

Resumo


Os avanços na área da tecnologia contribuíram para aumentar a eficiência da avaliação do processo ensino-aprendizagem com o uso dos Testes Adaptativos Computadorizados (CAT). Esses testes adaptam a avaliação ao nível de conhecimento do respondente e apresentam inúmeras vantagens sobre os testes aplicados de forma convencional, denominados de papel e lápis – P&P (acrônimo em inglês – Paper & Pencil), principalmente para os programas que aplicam testes longos, como é o caso do Exame Nacional do Ensino Médio (Enem). Assim, este artigo visa apresentar as vantagens do uso desses testes e compará-los com os escores obtidos via P&P para o teste da área de Matemática e suas Tecnologias do Enem 2012, composto por 45 itens. Para tanto, uma simulação com dados reais foi realizada. Os escores via aplicação P&P foram divididos em intervalos para melhor análise da precisão e definição do comprimento do CAT. A partir dos resultados, definiu-se um comprimento de 33 itens para o CAT, o que gera uma redução de pelo menos 26,6% no comprimento do teste e, consequentemente, redução no tempo do teste e fadiga dos respondentes. Análises sobre o uso dos itens que compõem o banco de itens, também são apresentadas.


Palavras-chave


Testes Adaptativos Informatizados; Avaliação em Larga Escala; Teste de Matemática; Enem; Teoria da Resposta ao item

Texto completo:

PDF

Referências


Anatchkova, M. D., Rose, M., Ware, J. E., & Bjorner, J. B. (2012). Development of an item bank and computer adaptive test for role functioning. Quality of Life Research, 21(9), 1625-1637. DOI:10.1007/s11136-011-0076-4 [Google Scholar]

Anatchkova, M. D., Rose, M., Ware, J. E., & Bjorner, J. B. (2012). Development of an item bank and computer adaptive test for role functioning. Quality of Life Research, 21(9), 1625-1637. DOI:10.1007/s11136-011-0076-4 [Google Scholar]

Barrada, J. R., Abad, F. J., & Veldkamp, B. P. (2009). METODOLOGÍA: Comparison of methods for controlling maximum exposure rates in computerized adaptive testing. Psicothema, 21(2), 313-320. [Google Scholar]

Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. Statistical theories of mental test scores. [Google Scholar]

Bjorner, J. B., Chang, C. H., Thissen, D., & Reeve, B. B. (2007). Developing tailored instruments: item banking and computerized adaptive assessment. Quality of Life Research, 16(1), 95-108. DOI:10.1007/s11136-007-9168-6 [Google Scholar]

Bock, R. D., & Mislevy, R. J. (1982). Adaptive EAP estimation of ability in a microcomputer environment. Applied psychological measurement, 6(4), 431-444. DOI:10.1177/014662168200600405 [Google Scholar]

Bock, R. D., Gibbons, R., & Muraki, E. (1988). Full-information item factor analysis. Applied Psychological Measurement, 12(3), 261-280. DOI:10.1177/014662168801200305 [Google Scholar]

Bortolotti, S. L. V., Tezza, R., de Andrade, D. F., Bornia, A. C., & de Sousa Júnior, A. F. (2013). Relevance and advantages of using the item response theory. Quality & Quantity, 1-20. [Google Scholar]

Brasil. Ministério da Educação - Inep (2012). Guia do participante - entenda a sua nota no Enem, Brasília - DF. Disponível em:http://portal.inep.gov.br/web/enem/enem.

Brasil. Ministério da Educação - Inep (2014). Edital Enem 2014. http://download.inep.gov.br/educacao_basica/enem/edital/2014/edital_enem_2014.pdf

Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29. [Google Scholar]

Chang, H. H., & Ying, Z. (2009). Nonlinear sequential designs for logistic item response theory models with applications to computerized adaptive tests. The Annals of Statistics, 1466-1488. [JSTOR] [Google Scholar]

Cook, K. F., Choi, S. W., Crane, P. K., Deyo, R. A., Johnson, K. L., & Amtmann, D. (2008). Letting the CAT out of the Bag: Comparing Computer Adaptive Tests and an Eleven-Item Short Form of the Roland-Morris Disability Questionnaire. Spine, 33(12), 1378. [Google Scholar]

Davey, T. (2011). A Guide to Computer Adaptive Testing Systems. Council of Chief State School Officers. [Google Scholar]

de Andrade, D. F., Tavares, H. R., & da Cunha Valle, R. (2000). Teoria da Resposta ao Item: conceitos e aplicações. ABE, Sao Paulo. [Google Scholar]

De Ayala, R. J. (2013). The theory and practice of item response theory. Guilford Publications. [Google Scholar]

Edwards, M. C. (2009). An introduction to item response theory using the Need for Cognition Scale. Social and Personality Psychology Compass, 3(4), 507-529. DOI:10.1111/j.1751-9004.2009.00194.x [Google Scholar]

Finkelman, M., Nering, M. L., & Roussos, L. A. (2009). A conditional exposure control method for multidimensional adaptive testing. Journal of Educational Measurement, 46(1), 84-103. DOI:10.1111/j.1745-3984.2009.01070.x [Google Scholar]

Fliege, H., Becker, J., Walter, O. B., Rose, M., Bjorner, J. B., & Klapp, B. F. (2009). Evaluation of a computer-adaptive test for the assessment of depression (D-CAT) in clinical application. Int. J. Methods Psychiatr. Res, 18(1), 23-36. [Google Scholar]

Georgiadou, E. G., Triantafillou, E., & Economides, A. A. (2007). A review of item exposure control strategies for computerized adaptive testing developed from 1983 to 2005. The Journal of Technology, Learning and Assessment, 5(8). [Google Scholar]

Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Sage. [Google Scholar]

Huang, Y. M., Lin, Y. T., & Cheng, S. C. (2009). An adaptive testing system for supporting versatile educational assessment. Computers & Education, 52(1), 53-67. DOI:10.1016/j.compedu.2008.06.007 [Google Scholar]

Kopec, J. A., Badii, M., McKenna, M., Lima, V. D., Sayre, E. C., & Dvorak, M. (2008). Computerized adaptive testing in back pain: validation of the CAT-5D-QOL. Spine, 33(12), 1384-1390. DOI:10.1097/BRS.0b013e3181732a3b [Google Scholar]

Lai, J. S., Cella, D., Choi, S., Junghaenel, D. U., Christodoulou, C., Gershon, R., & Stone, A. (2011). How item banks and their application can influence measurement practice in rehabilitation medicine: a PROMIS fatigue item bank example. Archives of physical medicine and rehabilitation, 92(10), S20-S27. DOI:10.1016/j.apmr.2010.08.033 [Google Scholar]

Lazzarotto, L. L., de Paiva Oliveira, A., Braga, J. L., & dos Passos, F. J. V. (2011). A educação em ambientes virtuais: proposição de recursos computacionais para aumentar a eficiência do processo ensino-aprendizado. RBIE: Revista Brasileira de Informática na Educação / Brazilian Journal of Computers in Education, 19(02), 42. DOI:http://dx.doi.org/10.5753/RBIE.2011.19.02.42 [RBIE] [Google Scholar]

Leroux, A. J., Lopez, M., Hembry, I., & Dodd, B. G. (2013). A comparison of exposure control procedures in CATs using the 3PL model. Educational and Psychological Measurement, 73(5), 857-874. DOI:10.1177/0013164413486802 [Google Scholar]

Luecht, R. M., de Champlain, A., & Nungester, R. J. (1998). Maintaining content validity in computerized adaptive testing. Advances in Health Sciences Education, 3(1), 29-41. DOI:10.1023/A:1009789314011 [Google Scholar]

Magis, D., & Barrada, J. R. (2014). Open-source CAT software: R packages and Concerto. SOQOL-NL, Utrecht. Disponível em: http://www.isoqol.nl/sites/default/files/Symposia%20bestanden/David%20Magis%20Open%20source%20CAT%20software.pdf [Google Scholar]

Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48(8), 1-31. [Google Scholar]

Mislevy, R. J. (1986). Recent developments in the factor analysis of categorical variables. Journal of Educational and Behavioral Statistics, 11(1), 3-31. DOI:10.3102/10769986011001003 [Google Scholar]

Moreira Junior, F. J. (2011). Sistemática para a implantação de testes adaptativos informatizados baseados na teoria da resposta ao item (Doctoral dissertation, Tese de doutorado, Universidade Federal de Santa Catarina). [Google Scholar]

Nunes, C. H. S. S., Spenassato, D., Oliveira, C. M., Bornia, A. C., & Primi, R. (2015). Testes Adaptativos Computadorizados-CAT. Aplicações de métodos estatísticos avançados à avaliação psicológica e educacional. 1ed. São Paulo: Vetor, 37-76. [Google Scholar]

Ozyurt, H., Ozyurt, O., Baki, A., & Guven, B. (2012). An application of individualized assessment in educational hypermedia: Design of computerized adaptive testing system and its integration into uzwebmat. Procedia-Social and Behavioral Sciences, 46, 3191-3196. DOI:10.1016/j.sbspro.2012.06.035 [Google Scholar]

Parshall, C. G., Harmes, J. C., Davey, T., & Pashley, P. J. (2009). Innovative items for computerized testing. In Elements of adaptive testing (pp. 215-230). Springer New York. DOI:10.1007/978-0-387-85461-8_11 [Google Scholar]

Pilkonis, P. A., Yu, L., Dodds, N. E., Johnston, K. L., Maihoefer, C. C., & Lawrence, S. M. (2014). Validation of the depression item bank from the Patient-Reported Outcomes Measurement Information System (PROMIS®) in a three-month observational study. Journal of psychiatric research, 56, 112-119. DOI:10.1016/j.jpsychires.2014.05.010 [Google Scholar]

Revelle, W. (2014). psych: Procedures for psychological, psychometric, and personality research. Northwestern University, Evanston, Illinois, 165. [Google Scholar]

Schnipke, D. L., & Green, B. F. (1995). A comparison of item selection routines in linear and adaptive tests. Journal of Educational Measurement, 32(3), 227-242. DOI:10.1111/j.1745-3984.1995.tb00464.x [Google Scholar]

Spenassato, D., Bornia, A. C., & Tezza, R. (2015). Computerized adaptive testing: a review of research and technical characteristics. IEEE Latin America Transactions, 13(12), 3890-3898. DOI:10.1109/TLA.2015.7404924 [Google Scholar]

Stocking, M. L. (1994). Three practical issues for modern adaptive testing item pools (No. ETSRR-94-5): Educational Testing Service. Princeton, NJ. [Google Scholar]

Team, R. C. (2014). R: A language and environment for statistical computing (Version 3.0. 2). R Foundation for Statistical Computing, Vienna, Austria. Disponível em: http://www.Rproject.org/.

Thissen, D., Reeve, B. B., Bjorner, J. B., & Chang, C. H. (2007). Methodological issues for building item banks and computerized adaptive scales. Quality of Life Research, 16(1), 109-119. DOI:10.1007/s11136-007-9169-5 [Google Scholar]

Veldkamp, B. P., & Matteucci, M. (2013). Bayesian computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, 21(78), 57-82. [Google Scholar]

Wainer, H. (2000). CATs: Whither and whence. ETS Research Report Series, 2000(2). DOI:10.1002/j.2333-8504.2000.tb01835.x [Google Scholar]

Wang, T., & Kolen, M. J. (2001). Evaluating comparability in computerized adaptive testing: Issues, criteria and an example. Journal of Educational Measurement, 38(1), 19-49. DOI:10.1111/j.1745-3984.2001.tb01115.x [Google Scholar]

Wang, T., & Vispoel, W. P. (1998). Properties of ability estimation methods in computerized adaptive testing. Journal of Educational Measurement, 35(2), 109-135. DOI:10.1111/j.1745-3984.1998.tb00530.x [Google Scholar]

Wise, S. L. (2014). The utility of adaptive testing in addressing the problem of unmotivated examinees. Journal of Computerized Adaptive Testing, 2(3), 1-17. [Google Scholar]

Zaina, L. A. M., Ruggiero, W. V., & Bressan, G. (2004). Metodologia para Acompanhamento da Aprendizagem através da Web. RBIE: Revista Brasileira de Informática na Educação / Brazilian Journal of Computers in Education, 12(1), 20-28. [RBIE] [Google Scholar]

Zimowski, M., Muraki, E., Mislevy, R., & Bock, D. (2003). Software BILOG-MG V3. 0. Scientific Software International. [Google Scholar]




DOI: https://doi.org/10.5753/rbie.2016.24.02.1

DOI (PDF): https://doi.org/10.5753/rbie.2016.24.02.1

____________________________________________________________________________

Revista Brasileira de Informática na Educação (RBIE) (ISSN: 1414-5685; online: 2317-6121)
Brazilian Journal of Computers in Education (RBIE) (ISSN: 1414-5685; online: 2317-6121)