eprintid: 77500 rev_number: 8 eprint_status: archive userid: 1290 dir: disk0/00/07/75/00 datestamp: 2023-05-04 02:33:19 lastmod: 2023-05-04 02:33:19 status_changed: 2023-05-04 02:33:19 type: thesis metadata_visibility: show creators_name: Novianti, Andrea Vicky creators_name: Istiyono, Edi title: Pengembangan Instrumen Penilaian Literasi Membaca dan Literasi Numerasi Mata Pelajaran Fisika Berbasis Online. ispublished: unpub subjects: F2 divisions: pps_lit_evazdik full_text_status: restricted keywords: instrumen penilaian, literasi membaca, literasi numerasi, Item Response Theory (IRT) abstract: Penelitian ini bertujuan untuk (1) mengembangkan instrumen penilaian literasi membaca dan literasi numerasi mata pelajaran Fisika peserta didik kelas X SMA berbasis online dengan konstruksi yang baik, (2) mendeskripsikan kualitas instrumen yang dikembangkan, (3) mendeskripsikan profil kemampuan literasi membaca dan literasi numerasi mata pelajaran Fisika yang berhasil dipotret menggunakan instrumen yang dikembangkan, dan (4) mendeskripsikan efektifitas instrumen yang dikembangkan. Penelitian ini merupakan research development. Pemilihan subjek menggunakan teknik purposive sampling. Penelitian dilaksanakan di daerah selatan Kabupaten Wonogiri dengan 139 subjek uji coba terbatas dan 371 subjek uji coba skala luas. Teknik analisis data diantaranya, yaitu (1) Konstruk instrumen hasil kajian terhadap konstruk literasi membaca dan literasi numerasi sesuai aturan Pusmenjar (2) Kualitas instrumen dilihat dari validitas isi secara kualitatif melalui proses expert judgement dan dikuantifikasi dengan Formula Aiken, validitas konstruk dibuktikan dengan Exploratory Factor Analysis sedangkan relibilitas dianalisis dengan Alpha Cronbach, keduanya dianalisis dengan bantuan program SPSS (3) Karakteristik instrumen berupa tingkat kesukaran butir dan kemampuan peserta didik diestimasi menggunakan pendekatan Item Response Theory (IRT) model Rasch/PCM dengan bantuan program Quest, (4) Efektifitas instrumen literasi membaca dan literasi numerasi berbasis online dianalisis berdasarkan hasil respon peserta didik terhadap angket. Hasil penelitian ini adalah sebagai berikut. (1) Konstruksi instrumen penilaian literasi membaca dan literasi numerasi mencakup konten, konteks dan level kognitif serta cakupan materi Fisika kelas X SMA disajikan dalam bentuk online, (2) Kualitas instrumen penilaian ditinjau dari (a) nilai Aiken’s V kategori valid; (b) nilai Alpha Cronbach kategori sufficient reliability; (c) item fit model Rasch/PCM terbukti 33 dari 39 butir fit dengan model; dan (d) tingkat kesukaran butir pada rentang -2.81 sampai 2.95 untuk butir literasi membaca dan -0.74 sampai 2.20 untuk butir literasi numerasi, (3) Potret kemampuan peserta didik berdasarkan instrumen penilaian 65.23% berkemampuan tahap dasar literasi membaca dan 72.77% berkemampuan tahap dasar literasai numerasi, (4) Perangkat instrumen terbukti cukup efektif mengukur kemampuan literasi membaca dan literasi numerasi. date: 2023-01-30 date_type: published institution: Program Pascasarjana department: Penelitian dan Evaluasi Pendidikan thesis_type: tesis referencetext: Aiken, L. R. (1985). Three Coefficients for Analyzing the Reliability and Validity of Ratings. Educational and Psychological Measurement, 45. Anas, S.M et al. (2021). Experimental and Numerical Investigations on Performance of Reinforced Concrete Slabs Under Explosive-Induced Air- Blast Loading: A State-of-the-art Review. Structures. 31 p.428-461 Andiani, D., Hajizah, M. N., & Dahlan, J. A. (2020). Analisis Rancangan Assesmen Kompetensi Minimum (AKM) Numerasi Program Merdeka Belajar. Majamath: Jurnal Matematika Dan Pendidikan Matematika, 4(1), 80–90. http://ejurnal.unim.ac.id/index.php/majamath/article/view/1010/544 Andikayana, D.M., Datnes, N., Kertih, I.W. 2021. Pengembangan Instrumen Asesmen Kompetensi Minimum (AKM) Literasi Membaca Level 2 untuk Siswa Kelas 4 SD. Jurnal Penelitan dan Evaluasi Pendidikan. 11 (2). https://doi.org/10.23887/jpepi.v11i2.622. Anggraini, Y., & Patmanthara, S. (2017). Pengaruh Lingkungan Belajar Dan Disiplin Belajar Terhadap Hasil Belajar Kompetensi Keahlian Elektronika Industri Di Sekolah Menengah Kejuruan. Jurnal Pendidikan: Teori, Penelitian, Dan Pengembangan, 2(12), 1650–1655. Arikunto, S., & Jabar, A. S. C. (2018). Evaluasi Program Pendidikan. PT Bumi Aksara. Ayuningtyas, N., & Sukriyah, D. (2020). Analisis Pengetahuan Numerasi Mahasiswa Matematika Calon Guru. Jurnal Matematika dan Pendidikan Matematika, 9(02), 237–247. http://dx.doi.org/10.33387/dpi.v9i2.2299. 151 Azwar, S. (2012). Penyusunan Skala Psikologi. Pustaka Belajar. Azwar, S. (2016). Tes Prestasi (2nd e.). Pustaka Pelajar. Azwar, S. (2019). Reliabilitas dan Validitas (IV). Pustaka Pelajar. Balitbang Kemdikbud. (2019). Laporan Nasional PISA 2018 Indonesia. Kemdikbud RI. Brown, G. T. L. & Abdulnabi, H.H.A. (2017). Evaluating the Quality of Higher Education Instructor-Constructed Multiple-Choice Tests: Impact on Student Grades.Frontiers in education. https://doi.org/10.3389/feduc.2017.00024 Cahyanovianty, A.D., & Wahidin. (2021). Analisis Kemampuan Numerasi Peserta Didik Kelas VIII dalam Menyelesaikan Soa Asesmen Kompetensi Minimum (AKM) Cheong, J.M.Y., Walker, Z.M., & Rosenblatt, K. (2016). Numeracy Abilities of Children in Grade 4 to 6 with Mild Intellectual Disability in Singapore. International Journal of Disability, Development and Education. 64 (2). 150-168. https://doi.org/10.1080/1034912X.2016.1188891 Daryanto & Karim, S., 2017. Pembelajaran Abad 21. Yogyakarta: Gava Media. Fauziah, A., Sobari, E. F. D., & Robandi, B. (2021). Analisis Pemahaman Guru Sekolah Menengah Pertama (SMP) Mengenai Asesmen Kompetensi Minimum (AKM). Edukatif: Jurnal Ilmu Pendidikan, 3(4), 1550–1558. https://doi.org/10.31004/edukatif.v3i4.608 ISSN. Garcia-Retamero, R., Sobkow, A., Petrova, D., Garrido, D., & Traczyk, J. (2019). Numeracy and Risk Literacy: What Have We Learned so Far? The Sapanish Journal of Psychology, 22. https://doi.org/10.1017/sjp.2019.16 152 Graff, Harvey J. (2006). Literacy. Microsoft Encarta [DVD]. Redmood, WA: Microsoft Corporation. Hair, joseph F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate Data Analysis. In Technometrics (7th ed.). Pearson. https://doi.org/10.2307/1266874 Hambleton, R. K., & Swaminathan, H. (1985a). Item Response Theory Principles and Aplications. Kluwer Nijhoff Publishing. Hambleton, R. K., & Swaminathan, H. (1985b). Items Response Theory: Principles and Application. Kluwer-Nijjhoff Publish. Hambleton, R. K., Swaminathan, H., & Rogers, H. (1991). Fundamentals of Item Response Theory. Sage Publications. Hidayah, I. R., Kusmayadi, T. A., & Fitriana, L. (2021). Minimum Competency Assessment (Akm): An Effort To Photograph Numeracy. Journal of Mathematics and Mathematics Education, 11(1), 14. https://ejournal-pasca.undiksha.ac.id/index.php/jurnal_ipa/article/view/1093 Indriyani, V., Zaim, M., Atmazaki, A., & Ramadhan, S. (2019). Literasi Baca Tulis Dan Inovasi Kurikulum Bahasa. KEMBARA: Jurnal Keilmuan Bahasa, Sastra, Dan Pengajarannya, 5(1), 108. https://doi.org/10.22219/kembara.vol5.no1.108-118 Istiyono, E. (2018). Computer Adaptive Test as The Appropriate Model to Assess Physics Achievement in 21 st Century. 1st International Conference of Innovation in Education, 178. 153 Istiyono, E. (2018). Pengembangan Instrumen Penilaian dan Analisis Hasil Belajar Fisika Dengan Teori Tes Klasik dan Modern (First). UNY Press. Istiyono, E. (2019). Computer Adaptive Test as The Appropriate Model to Assess Physics Achievement in 21 st Century. Istiyono, E. (2020). Pengembangan Instrumen Penilaian dan Analisis Hasil Belajar Fisika. UNY Press. Istiyono, E. (2020). Pengembangan Instrumen Penilaian dan Analisis Hasil Belajar Fisika dengan Teori Tes Klasik dan Modern. UNY Press. Istiyono, E., Dwandaru, W. S. B., Setiawan, R., & Megawati, I. (2020). Developing of computerized adaptive testing to measure physics higher order thinking skills of senior high school students and its feasibility of use. European Journal of Educational Research, 9(1), 91–101. https://doi.org/10.12973/eu-jer.9.1.91. Jelatu, S., Mon, E. M., & San, S. (2019). Relasi Antara Kemampuan Numerik Dengan Prestasi Belajar Matematika. Lectura: Jurnal Pendidikan, 10(1). https://doi.org/10.31849/lectura.v10i1.2390 Kadi, T. & Awwaliyah, R. (2017). Inovasi Pendidikan: Upaya Penyelesaian Problematika Pendidikan di Indonesia. Jurnal Islam Nusantara. Vol. 1. Keeves, J. P., & Alagumalai. (1999). New Approach to Measurement. Pergamon, An Imprint of Elsevier Science. Kemdikbud RI. (2017). Materi Pendukung Literasi Numerasi. Kemdikbud RI. Kemdikbud RI. (2019). Buku Penilaian Berorientasi Higher Order Thinking Skill. Kemdikbud RI. 154 Kemdikbud RI. (2020). AKM dan Implikasinya pada Pembelajaran. Pusat Asesmen dan Pembelajaran Badan Penelitian dan Pengembangan dan Perbukuan Kementerian Pendidikan dan Kebudayaan Republik Indonesia. Kemdikbud RI. (2021a). Asesmen Kompetensi Minimum: Level Pembelajaran. Pusmenjar Kemdikbud RI. https://pusmenjar.kemdikbud.go.id/an/ Kemdikbud RI. (2021b). Asesmen Kompetensi Minimum (AKM). https://hasilun.puspendik.kemdikbud.go.id/akm/akm?j=1&l=5 Krathwol, D. R. (2002). A Revision of Bloom’s Taxonomy: An Overview. Theory Into Practice, 41(4). Kurniawati, S., Suryadarma, D., Bima, L., & Yusrina, A. (2018). Education in Indonesia: A White Elephant? Journal of Southeast Asian Economics, 35(2), 99–185. https://doi.org/10.1355/ae35-2e Kusaeri dan Suprananto. (2012). Pengukuran dan Penilaian Pendidikan. Yogyakarta: Graha Ilmu. Lawshe, C. H. (1975). A Quantitative Approach to Content Validity. Personnel Psychology, 28(4). Litbang Kemdikbud. (2019). Basic Numeracy: Building Blocks for The Future. Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems (1st ed.). Routledge. Mardapi, D. (2012). Pengukuran Penilaian dan Evaluasi Pendidikan. Nuha Medika. Mardapi, D. (2017). Pengukuran, penilaian, dan evaluasi pendidikan. Parama Publishing. 155 Meriana, T., & Murniarti, E. (2021). Analisis Pelatihan Asesmen Kompetensi Minimum. Jurnal Dinamika Pendidikan, 14(2), 110–116. https://doi.org/https://doi.org/10.51212/jdp.v14i2.7 Montoya, S. (2018). Defining Literacy: UNESCO. GALM Fifth Meeting. 17 – 18. Hamburg, Germany Mooi, E., & Sarstedt, M. (2011). A concise guide to Market research. Springer Heidelberg Dordrecht. Multivariat. Alex Media Komputindo. Mulvia, R., Ramalis, T. R., & Efendi, R. (2021). Mendeteksi Keajegan Butir Tes dengan Fungsi Informasi. Jurnal Pendidikan Indonesia, 2(1). https://doi.org/10.36418/japendi.v2i1.66 Muraki, E. (1992). A Generalized Partial Credit Model ‐ Application of an Em Algorithm. Applied Psychological Measurement, 16(2). Myszkowski, N. (2019). Development of the R library “jrt” : Automated Item- Response Theory procedures for judgment data and their application with the Consensual Assessment Technique. Psychology of Aesthetics Creativity and The Arts. https://doi.org/http://dx.doi.org/10.1037/aca0000287 Naga, D. S. (1992). Pengantar Teori Skor Pada Pengukuran Pendidikan. Penerbit Gunadharma. OECD. (2019). PISA 2018: insights and Interpretations. OECD. OECD. 2012. Equity and Quality in Education Supporting Disadvantaged Student and Schools. http://www.oecd.org/education/school/50293148.pdf Ojerinde, D. (2013). Classical Test Theory (CTT) VS Item Response Theory (IRT): An Evaluation of The Comparability of Item Analysis Result. Semantic 156 Scholar. https://www.semanticscholar.org/paper/Classical-Test-Theory-(- CTT-)-VS-Item-Response-(-)- Ojerinde/aa27637d699b7e26ee1f7578d0fe2b8173ad769f Oriondo, L. L., & Antonio, D. E. M. (1998). Evaluation Educational Outcomes. Rex Printing Compagny. Parwati, P. D., Ngabiyanto, Kiptiyah, S. M., & Widyatmoko, A. (2021). Modul Pendamping : Penyusunan Soal Try Out Asesmen Kompetensi Minimum (AKM) Berbasis IT untuk Jenjang Sekolah Dasar. Yogyakarta: LPPM Unnes Bildung. Oriondo, L. L., & Antonio, E. M. D. (1998). Evaluating Educational Outcomes (Test, Measurment, and Evaluation). Rex Printing Company. Pongkendek, J.J., Marpaung, D.N., Ahmar, D.S., Rahmatia, S. (2021). The Professional Competence Analysis of Chemistry Teacher of Senior High School in Merauke. Journal of Applied Science, Engineering, Technology and Education Vol. 3 No.1 Pramesti, G. (2014). Kupas Tuntas Data Penelitian dengan SPSS 22. PT Elex Media Komputindo. Pulungan, D. A. (2014). Pengembangan Instrumen Tes Literasi Matematika Model PISA. Journal of Educational Research and Evaluation, 3(2). Pumenjar. (2020). AKM dan Implikasinya pada Pembelajaran. Jakarta : Badan Penelitian dan Pengembangan dan Perbukuan Kementerian Pendidikan dan Kebudayaan. 157 Pusmenjar. (2020). Desain Pengembangan Soal Asesmen Kompetensi Minimum. Badan Penelitian dan Pengembangan dan Perbukuan Kementerian Pendidikan dan Kebudayaan. Pusmenjar. (2021). Asesmen Nasional: Lembar Tanya Jawab. Jakart : Badan Penelitian dan Pengembangan dan Perbukuan Kementerian Pendidikan dan Kebudayaan. Rachmawati, & Kurniawati, A. (2020). Pengembangan instrumen Penilaian Tes Berbasis Mobile Online pada Prodi Pendidikan Matematika. Prima: Jurnal Pendidikan Matematika, 4(1). https://doi.org/10.31000/prima.v4i1.1891 Retnawati, H. (2014). Teori Respons Butir dan Penerapannya. Parama Publishing. Retnawati, H. (2015). Perbandingan Estimasi Kemampuan Laten antara Metode Maksimum Likelihood dan Metode Bayes. Jurnal Penelitian Dan Evaluasi Pendidikan, 19(2). https://doi.org/10.21831/pep.v19i2.5575 Retnawati, H. (2016). Validitas Reliabilitas & Karakteristik Butir. Parama Publishing. Multivariat. Alex Media Komputindo. Rokhim, D. A., Rahayu, B. N., Alfiah, L. N., Peni, R., Wahyudi, B., Wahyudi, A., & Widarti, H. R. (2021). Analisis Kesiapan Peserta Didik dan Guru pada Asesmen Nasional (Asesmen Kompetensi Minimum, Survey Karakter, dan Survey Lingkungan Belajar ). Jurnal Administrasi Dan Manajemen Pendidikan, 4(1), 61–71. http://journal2.um.ac.id/index.php/jamp/ ISSN Samudra, G.B et al. (2014). Permasalahan-Permasalahan yang Dihadapi Siswa SMA di Kota Singaraja Dalam Mempelajari Fisika. Jurnal Pendidikan dan Pembelajaran IPA Indonesia., 4(1), 158 Samudra, G.B., Suastra, I.W., Suma, K (2014). Permasalahan-Permasalahan yang dihadapi Siswa SMA di Kota Singaraja Dalam mempelajari Fisika. Jurnal Pendidikan dan Pembelajaran IPA Indonesia. 4 (1). Sani, R. A. (2021). Pembelajaran Berorientasi AKM. PT Bumi Aksara. Shantika, E. G., & Istiyono, E. (2019). A diagnosis of students’ errors in answering the mathematics test in senior high school. Jurnal Penelitian Dan Evaluasi Pendidikan, 23(2). https://doi.org/https://doi.org/10.21831/pep.v23i2.16370 Sharma, S. (1996). Applied Multivariate Techniques. John Wiley & Sons. Sikora, J., Evans & Kelley, J. (2019). Scholarly culcure: How Book in Adolescence Enhance Adult literacy, numeracy and technology skills in 31 societies. National Library of Medicine. Smekalova et al. (2021) Identification of Transferable Competencies and their Impact on the Paradigm Change in Higher Education in the 21st Century. Rural Environment Education Personality. Vol.14. Subandono, J. (2022). Validitas dan Reliabilitas Instrumen Non Tes. Lakeisha. Suciati, Munadi, S., Sugiman, Ratna, W. D., & Febriyanti. (2020). Design and Validation of Mathematical Literacy Instrumens for Assessment for Learning in Indonesia. European Journal of Educational Research, 9(2), 865–875. https://doi.org/10.12973/eu-jer.9.2.865 Suciati, Vincentrisia, A., & Ismiyatin. (2015). Application of Learning Cycle Model (5E) Learning with Chart Variation Toward Students’ Creativity. Jurnal Pendidikan IPA Indonesia. https://doi.org/10.15294/jpii.v4i1.3502 159 Sulzby, E., Teale, & William. (1986). Emergent lliteracy: Writing and Reading. Nowood, NJ: Ablex Publishing Corporation Supranto, J. (2004). Analisis Multivariat Arti dan Interpretasi. Rineka Cipta. Supriadi, N., Syazali, M., Lestari, B. D., Dewi, E. S., Utami, L. F., Mardani, L. A., & Putra, F. G. (2018). The Utilization of Project Based Learning and Guided Discovery Learning: Effective Methods to Improve Students’ Mathematics Ability. Al-Ta’lim Journal, 25(3). Thiagrajan, S., Semmel, D. S., & Semmel, M. I. (1974). Instructional development for training teachers of exceptional children: A sourcebook. CITH Indiana University and CEC. Tju, M & Murniarti, E. (2021). Analisis Pelatihan Asesmen Kompetensi Minimum. Jurnal Dinamika Pendidikan. https://doi.org/10.51212/jdp.v14i2.7 Ulandari, L., Amry, Z., & Saragih, S. (2019). Development of Learning Materials Based on Realistic Mathematics Education Approach to Improve Students’ Mathematical Problem Solving Ability and Self-Efficacy. International Electronic Journal of Mathematics Education, 14(2), 375–383. https://doi.org/10.29333/iejme/5721 Wagner, D. A. (2018). Literacy. In: M. Bornstein (Ed.), Encyclopedia of Life-Span Human Development. NY: Sage Press. Wiberg, M. (2004). Classical Test Theory vs. Item Response Theory. Umea Universitet. Widarti, H. R., Rokhim, D. A., Septiani, M. O., & Dzikrulloh, M. H. A. (2022). Identification of Science Teacher Practices and Barriers in Preparation of 160 Minimum Competency Assessment in the Covid-19 Pandemic Era. Orbital: Electron Journal of Chemistry, 14(1), 63–67. Winata, A., Widiyanti dan Cacik, S. (2021). Analisis Kemampuan Numerasi dalam Pengembangan Soal Asesmen Kompetensi Minimal pada Peserta didik Kelas XI SMA untuk Menyellesaikan Permasalahan Science. Jurnal Educatio. https://doi.org/10.31949/educatio.v7i2.1090 Wright, B., & Stone, M. (1999). Measurement Essentials (2nd ed.). Wide Range. Xiao, F., Brak, B. L., Lan, W., & Burley, H. (2019). Examining Problem-Solving Skills in Technology Rich Environments As Related To Numeracy And Literacy. International Journal of Lifelong Education. 38 (3). 327-338. https://doi.org/10.1080/02601370.2019.1598507 Zubairi, A. M., & Kassim, N. L. A. (2006). Classical and rasch analyses of dichotomously scored reading comprehension test items. Malaysian Journal of ELT Research, 2(1), 1–20. citation: Novianti, Andrea Vicky and Istiyono, Edi (2023) Pengembangan Instrumen Penilaian Literasi Membaca dan Literasi Numerasi Mata Pelajaran Fisika Berbasis Online. S2 thesis, Program Pascasarjana. document_url: http://eprints.uny.ac.id/77500/1/tesis-andrea%20vicky%20novianti-18701251032.pdf