Merancang dan Melakukan Evaluasi Formatif

Konsep

Konsep utama yang mendasari bab ini adalah evaluasi formatif, yaitu Proses perancang digunakan untuk mendapatkan data untuk merevisi instruksi mereka agar yang dibuat  lebih efisien dan efektif. Penekanannya adalah pada pengumpulan dan analisis data dan revisi instruksi. Bila versi terakhir dari instruksi tersebut adalah diproduksi, evaluator lain mungkin mengumpulkan data untuk menentukan keefektifannya. Ini Jenis evaluasi terakhir sering disebut sebagai evaluasi sumatif: sumatif dalam instruksi itu sekarang dalam bentuk akhirnya, dan tepat untuk membandingkannya dengan bentuk instruksi serupa lainnya.

Ada tiga tahap dasar evaluasi formatif. Pertama, dalam evaluasi satu-ke-satu atau evaluasi klinis, perancang bekerja dengan pembelajar individual untuk mendapatkan data yang akan direvisi bahannya. Tahap kedua evaluasi formatif adalah evaluasi kelompok kecil. Sekelompok delapan sampai dua puluh peserta didik mewakili populasi sasaran mempelajari bahan mereka sendiri dan diuji untuk mengumpulkan data yang dibutuhkan. Tahap ketiga Evaluasi formatif biasanya merupakan percobaan lapangan. Jumlah peserta didik tidak konsekuensi tertentu; Sering tiga puluh sudah cukup. Penekanan dalam uji coba lapangan adalah pada prosedur pengujian yang diperlukan untuk menginstal instruksi dalam situasi yang dekat dengan "dunia nyata" mungkin. Tiga tahap evaluasi formatif biasanya didahului dengan review instruksi oleh spesialis yang tertarik yang tidak secara langsung terlibat dalam proyek pengembangan instruksional, namun memiliki keahlian yang relevan.

Desain Evaluasi Formatif

Kerangka acuan apa yang dapat Anda gunakan untuk merancang evaluasi formatif? Penyimpanan Dalam pikiran tujuan evaluasi formatif adalah untuk menentukan kesalahan spesifik dalam bahan untuk memperbaiki mereka, desain evaluasi-termasuk instrumen, prosedur, dan personil - harus menghasilkan informasi tentang lokasi dan lokasi alasan untuk masalah apapun Memfokuskan desain hanya pada tujuan dan sasaran instruksi terlalu terbatas Data tentang pencapaian tujuan dan sasaran peserta didik tidak mencukupi, meski penting, karena data ini hanya memberikan informasi tentang di mana kesalahan terjadi daripada mengapa hal itu terjadi. Begitu pula dengan pendekatan senapan Untuk koleksi data juga tidak tepat. Meski mengumpulkan data tentang segala hal yang bisa dibayangkan menghasilkan berbagai informasi, namun bisa menghasilkan beberapa data yang tidak relevan dan tidak lengkap.

Mungkin jangkar atau kerangka terbaik untuk desain evaluasi formatif adalah strategi instruksional. Karena strateginya adalah fondasi Menciptakan materi, kemungkinan akan memegang kunci sifat kesalahan yang Anda buat dalam memproduksinya. Menggunakan strategi instruksional sebagai kerangka acuan untuk mengembangkan instrumen dan prosedur evaluasi akan membantu Anda menghindari merancang evaluasi formatif yang terlalu terfokus atau terlalu sempit.

Salah satu cara strategi instruksional dapat digunakan untuk membantu perancangan evaluasi formatif adalah dengan menciptakan sebuah matriks yang mencantumkan komponen instruksional. strategi di satu sisi dan kategori pertanyaan utama tentang instruksi di sisi lain. Dalam kotak berpotongan dari matriks komponen-oleh-pertanyaan, Anda bisa menghasilkan pertanyaan yang harus dijawab dalam evaluasi yang terkait setiap area dan komponennya. Dengan menggunakan pertanyaan-pertanyaan ini, Anda kemudian dapat merencanakan instrumen dan prosedur yang sesuai untuk digunakan dan khalayak yang tepat untuk diberikan informasi.

Berbagai komponen strategi harus cukup familiar bagi Anda sekarang. Pertanyaan umum apa yang harus diajukan tentang masing-masing komponen bahan? Meskipun tidak diragukan lagi ada pertanyaan unik untuk serangkaian materi tertentu, lima bidang pertanyaan berikut secara langsung berkaitan dengan keputusan yang Anda buat sambil mengembangkan bahan sesuai untuk semua bahan:

1.      Apakah bahan sesuai untuk jenis hasil belajar? Resep khusus untuk pengembangan bahan dibuat berdasarkan apakah Tujuannya adalah kemampuan intelektual atau motorik, sikap, atau informasi lisan. Anda harus khawatir apakah bahan yang Anda hasilkan memang sesuai dengan saran untuk mempelajari setiap jenis kemampuan. Evaluator terbaik Aspek materi ini tidak diragukan lagi merupakan pakar dalam jenis pembelajaran terlibat.

2.      Lakukan materi termasuk instruksi yang memadai mengenai keterampilan bawahan, dan apakah keterampilan ini diurutkan dan dikelompokkan secara logis? Penilai terbaik untuk ini Bidang pertanyaan adalah pakar di bidang konten.

3.      Apakah bahan tersebut jelas dan mudah dipahami oleh anggota perwakilan dari kelompok sasaran? Jelas, hanya anggota kelompok sasaran yang bisa menjawab pertanyaan ini. Instruktur yang akrab dengan target peserta didik mungkin memberi Anda pendahuluan informasi, tapi hanya peserta didik yang pada akhirnya bisa menilai kejelasan materi.

4.      Berapakah nilai motivasional dari bahan tersebut? Apakah peserta didik menemukan bahannya relevan dengan kebutuhan dan minat mereka? Apakah mereka yakin saat mereka bekerja melalui bahannya? Apakah mereka puas dengan apa yang telah mereka pelajari? Sekali lagi, yang paling Hakim yang tepat dari aspek materi ini adalah anggota perwakilan dari kelompok sasaran

5.      Dapatkah bahan dikelola secara efisien dengan cara dimediasi? Baik peserta didik maupun instruktur sesuai untuk menjawab pertanyaan-pertanyaan ini.

Tabel 11.1 berisi contoh kerangka kerja yang disarankan untuk merancang evaluasi formatif. Menggunakan kerangka kerja semacam itu membantu memastikan bahwa Anda menyertakannya pertanyaan yang relevan tentang berbagai komponen bahan dan yang sesuai kelompok dan individu disertakan.

Perhatikan dua baris di bagian bawah matriks. Yang pertama menunjukkan individu atau kelompok yang paling tepat untuk mengevaluasi setiap aspek materi Yang kedua memberikan pengingat bahwa Anda harus mempertimbangkan bagaimana mengumpulkan setiap jenis informasi yang dibutuhkan dari evaluator. Anda mungkin ingin membuat daftar periksa atau daftar pertanyaan untuk menyertai bahan untuk meminta informasi dari spesialis yang Anda pilih Anda mungkin juga ingin mewawancarai mereka untuk menentukan alasannya Mereka percaya bagian-bagian tertentu dari materi tidak memadai, dan untuk memperolehnya saran tentang bagaimana bahan bisa diperbaiki

Dalam merancang instrumentasi untuk mengumpulkan informasi dari peserta didik, Anda harus mempertimbangkan fase (mis., percobaan satu-ke-satu, kelompok kecil, dan lapangan), setelannya (yaitu, konteks pembelajaran atau kinerja), dan sifat informasi Anda pertemuan. Dalam evaluasi satu-ke-satu, materi itu sendiri merupakan satu instrumen. Ajarkan peserta didik untuk melingkari kata atau kalimat dan menulis komentar langsung di bahan. Pertanyaan termasuk di blok berpotongan dari Matriks akan membantu Anda mengembangkan instrumen lain seperti daftar periksa untuk membimbing Anda observasi dan pertanyaan yang harus disertakan dalam wawancara dan kuesioner Anda. Ini penting untuk dicatat bahwa meskipun berbagai bidang pertanyaan tentang materi adalah dijelaskan secara terpisah di sini, itu tidak berarti menyiratkan bahwa mereka harus terpisah instrumen. Instrumen yang Anda produksi harus efisien dalam mengumpulkan informasi dari peserta.

Minimal, jenis data yang akan dikumpulkan meliputi:

•          Reaksi ahli materi pelajaran, yang bertanggung jawab untuk memverifikasi itu isi modul yang akurat dan terkini.

•          Reaksi seorang manajer atau atasan yang telah mengamati pembelajar menggunakan keterampilan dalam konteks kinerja.

•          Uji data yang dikumpulkan pada tes keterampilan masuk, pretest, dan posttests.

•          Komentar atau notasi yang dibuat oleh peserta didik kepada Anda atau ditandai pada instruksional bahan tentang kesulitan yang dihadapi pada titik-titik tertentu dalam bahan.

•          Data dikumpulkan pada kuesioner sikap atau komentar pembekalan dimana peserta didik mengungkapkan keseluruhan reaksi mereka terhadap instruksi dan persepsi mereka tentang di mana Kesulitannya terletak pada bahan dan prosedur instruksional pada umumnya.

•          Waktu yang dibutuhkan bagi peserta didik untuk melengkapi berbagai komponen instruksi. Pada bagian berikut, peran materi pelajaran, pembelajaran, dan spesialis pembelajar dalam evaluasi formatif dijelaskan. Tiga fase yang berorientasi pada pelajar dari Evaluasi formatif kemudian dijabarkan.

Peranan Subyek, Pembelajaran, dan Spesialis Pembelajar dalam Evaluasi FormatiF

Meskipun proses evaluasi formatif berfokus pada perolehan data dari peserta didik, penting juga untuk memiliki instruksi yang diulas oleh spesialis. Ini diasumsikan bahwa perancang memiliki pengetahuan tentang area konten atau sedang bekerja dengan spesialis konten dan juga memiliki pengetahuan tentang populasi sasaran. Namun, ada beberapa alasan bagus untuk meminta instruksi ditinjau ulang oleh pihak luar spesialis.

Saat draf pertama instruksi ditulis, perancang muncul mengalami masalah "hutan dan pohon". Mereka telah melihat begitu banyak sehingga mereka tidak bisa melakukannya lihat apapun; sangat berharga bagi perancang untuk membuat orang lain meninjau ulang apa yang telah terjadi dikembangkan. Seorang pakar materi pelajaran (SME), tipe resensi di luar proyek Yang memiliki keahlian khusus di bidang isi instruksi, harus berkomentar pada akurasi dan mata uang instruksi. Meski banyak saran untuk Perbaikan bisa diterima, perancang harus memberi banyak pemikiran sebelum melakukan perubahan yang bertentangan dengan strategi instruksional dikembangkan. Seorang spesialis dalam tipe hasil belajar yang terlibat juga harus dikonsultasikan Seorang rekan mengetahui saran untuk instruksi yang terkait dengan Jenis pembelajaran mungkin bisa mengkritisi strategi instruksional Anda terkait dengan apa diketahui tentang meningkatkan jenis pembelajaran tertentu.

Hal ini juga membantu untuk berbagi draf pertama dari instruksi tersebut dengan orang yang Sudah familiar dengan target populasi-seseorang yang bisa melihat instruksi melalui mata target populasi dan bereaksi. Spesialis ini mungkin bisa memberikan wawasan tentang kelayakan materi untuk konteks kinerja akhirnya.

Perancang tidak berkewajiban untuk menggunakan saran dari spesialis ini. Sana Mungkin beberapa rekomendasi yang mungkin ingin dipertimbangkan oleh perancang setelah data dari peserta didik telah dikumpulkan dan dirangkum. Setidaknya perancangnya peka terhadap masalah potensial sebelum peserta didik terlibat dalam formatif proses evaluasi.

Evaluasi Satu-ke-Satu dengan Peserta didik

Dalam pembahasan tiga tahap evaluasi formatif pengajaran ini, Kami berasumsi bahwa perancang telah mengembangkan instruksi asli. Selanjutnya Bagian, kita membahas perbedaan prosedur saat bahan yang ada digunakan atau saat instruksi instruktur telah dibuat.

Tujuan tahap pertama evaluasi formatif, tahap evaluasi satu-ke-satu, adalah untuk mengidentifikasi dan menghapus kesalahan yang paling jelas dalam instruksi dan untuk mendapatkan indikasi kinerja awal dan reaksi terhadap konten oleh peserta didik. Selama tahap interaksi langsung antara perancang dan pembelajar individual, Perancang bekerja secara individual dengan tiga atau lebih peserta didik yang representatif dari populasi target

Kriteria Selama pengembangan strategi instruksional dan pengajaran itu sendiri, perancang dan pengembang membuat segudang terjemahan dan keputusan yang menghubungkan konten, peserta didik, format instruksional, dan pengaturan instruksional. Itu Percobaan satu persatu memberi para desainer gambaran sekilas tentang kelangsungan hidup ini link dan terjemahan dari perspektif peserta didik. Tiga kriteria utama dan keputusan yang dibuat perancang selama evaluasi adalah sebagai berikut:

1.      Kejelasan: Apakah pesan, atau apa yang disajikan, jelas bagi target individu pelajar?

2.      Dampak: Apa dampak dari instruksi terhadap sikap peserta didik? dan pencapaian tujuan dan sasaran?

3.      Kelayakan: Seberapa layaknya pemberian diberikan sumber daya yang tersedia (waktu / konteks)?

Uji coba satu-ke-satu membantu memverifikasi apakah perancang dan pengembang ' firasat benar, atau mencerminkan kesalahpahaman kelompok sasaran.

Memilih Peserta didik Salah satu keputusan paling penting oleh perancang dalam evaluasi formatif adalah pemilihan peserta didik untuk berpartisipasi dalam penelitian ini. Ini bukan sebuah percobaan; Tidak perlu pilihan acak sejumlah besar peserta didik. Sebenarnya perancang harus memilih beberapa peserta didik yang mewakili kisaran Kemampuan dalam kelompok, karena sebelumnya belajar atau kemampuan biasanya salah satu yang utama penentu kemampuan untuk mempelajari keterampilan dan informasi baru. Perancang itu memilih setidaknya satu pelajar dari populasi sasaran yang berada di atas rata-rata kemampuan (tapi yang pasti bukan siswa papan atas), orang yang rata-rata, dan setidaknya satu pelajar siapa di bawah rata-rata Perancang kemudian bekerja secara individual dengan masing-masing pelajar. Setelah evaluasi awal dengan ketiga peserta didik, perancang mungkin menginginkannya untuk memilih lebih banyak peserta didik dari populasi sasaran untuk bekerja dalam mode satu-ke-satu, Meski tiga biasanya cukup.

Perancang harus waspada terhadap karakteristik peserta didik selain kemampuan yang mungkin sangat terkait dengan prestasi, dan karena itu harus diwakili secara sistematis dalam evaluasi formatif. Seperti yang tercantum dalam Bab Lima, sikap dan pengalaman sebelumnya bisa sangat penting, dan variabel semacam itu seharusnya sebuah pertimbangan selama evaluasi formatif. Untuk fase satu ke satu dari Evaluasi formatif, perancang mungkin ingin memilih satu pelajar dengan sangat sikap positif terhadap apa yang diajarkan, seseorang yang netral, dan satu siapa yang negatif Demikian juga, jika pengalaman di tempat kerja merupakan faktor penting, pilih seseorang yang telah bekerja sepuluh tahun atau lebih, yang telah berada di sana dua tahun sampai lima tahun, dan seseorang yang telah berada di sana kurang dari satu tahun. Intinya adalah kemampuan itu mungkin bukan satu-satunya faktor penting dalam memilih peserta didik untuk formatif evaluasi. Perancang harus membuat keputusan ini untuk masing-masing instruksional tertentu situasi desain

Pengumpulan Data Tiga kriteria utama dan keputusan yang harus dibuat selama percobaan satu-satunya membantu evaluator memusatkan perhatian pada jenis informasi yang akan berguna. Tabel 11.2 berisi jenis informasi yang dapat diperoleh untuk perbandingan dengan kriteria kejelasan, dampak, dan kelayakan. Daftar di masing-masing kategori kriteria adalah dimaksudkan untuk menjadi ilustratif daripada melelahkan, karena tingkat relevansinya dari setiap jenis informasi mungkin berbeda dengan kematangan peserta didik, konten instruksional, dan metode pengiriman.

Untuk kejelasan instruksi, ada tiga kategori utama yang menyinari informasi-pesan, link, dan prosedur. Kategori pertama, pesan, berhubungan Untuk mengetahui pesan dasar yang jelas bagi pelajar, ditentukan oleh faktor-faktor seperti kosakata, kompleksitas kalimat, dan struktur pesan. Terlepas dari apa pun Pembelajar membaca, mendengar, atau melihat pesannya, dia harus bisa mengikutinya. Kategori kedua, link, mengacu pada bagaimana pesan dasar disesuaikan untuk pelajar, termasuk konteks, contoh, analogi, ilustrasi, dan demonstrasi

Bila tautan ini juga asing bagi pelajar, pesan dasarnya tidak diragukan lagi lebih rumit. Area ketiga, prosedur, mengacu pada karakteristik instruksi, seperti urutan, ukuran segmen yang disajikan, transisi antara segmen, kecepatan, dan variasi yang ada dalam presentasi. Itu kejelasan instruksi dapat berubah untuk pelajar bila salah satu dari elemen-elemen ini tidak sesuai untuknya. Instruksinya bisa sangat lambat dan iteratif itu pelajar kehilangan minat, atau bisa berjalan begitu cepat sehingga pemahaman menjadi sulit.

Informasi deskriptif daripada data kuantitatif mungkin menghasilkan yang terbaik informasi tentang kejelasan untuk merevisi instruksi. Jika instruksi dikirimkan Melalui cetak, baik di atas kertas maupun di layar komputer, pelajar bisa diarahkan untuk menggarisbawahi atau menyoroti beberapa kata yang tidak biasa dan contoh yang tidak jelas, ilustrasi, dan paragraf, dan untuk menandai arah dalam gambar atau tabel apa pun itu membingungkan Pembelajar dapat diarahkan untuk menuliskan istilah dan catatan yang tidak jelas bahan membingungkan saat menggunakan video atau slide, atau diarahkan untuk menghentikan peralatan di ada gunanya untuk berinteraksi dengan evaluator tentang bagian-bagian atau istilah-istilah yang membingungkan. Terlepas dari format pengiriman selama percobaan satu-ke-satu, pelajar dapat ditanyai tentang karakteristik prosedural dari instruksi, seperti ukuran dan kecepatan segmen. Informasi tentang karakteristik prosedural juga dapat dikumpulkan dengan observasi saat pelajar mendengarkan instruktur, membaca materi, atau melihat layar. Observasi semacam itu dapat membantu evaluator menentukan apakah kecemasan, kebosanan, kelelahan, atau ketiga kondisi menjadi jelas pada titik-titik yang berbeda dalam instruksi.

Kriteria kedua pada Tabel 11.2, berdampak pada pelajar, berhubungan dengan peserta didik sikap tentang instruksi dan prestasinya atau pencapaiannya pada tujuan tertentu. Penilai harus menentukan apakah peserta didik merasakan instruksi sebagai Menjadi (1) pribadi yang relevan dengannya, (2) dapat dicapai dengan wajar usaha, dan (3) menarik dan memuaskan untuk dialami. Terkait prestasi, posttests membantu menentukan apakah individu dapat mengingat informasi dan melakukan tugas Format dari ukuran prestasi ini berbeda tergantung pada media pengiriman instruksional. Pertanyaan atau petunjuk untuk kinerja bisa disajikan secara lisan oleh instruktur. Peserta didik dapat diminta untuk menanggapi (1) menggunakan kertas dan pensil atau keyboard, (2) secara lisan sebagai tanggapan atas pertanyaan instruktur, atau (3) dengan mengembangkan atau melakukan sesuatu yang diminta.

Kriteria ketiga pada Tabel 11.2, kelayakan, berkaitan dengan manajemen yang berorientasi pertimbangan yang bisa diperiksa selama percobaan satu-ke-satu, termasuk kemampuan peserta didik, media pembelajaran, dan lingkungan instruksional. Contoh pertanyaan yang menarik meliputi:

1.      Bagaimana kematangan, kemandirian, dan motivasi peserta didik mempengaruhi jumlah waktu yang dibutuhkan untuk menyelesaikan instruksi?

2.      Dapatkah peserta didik seperti ini beroperasi atau mudah belajar mengoperasikan spesialis apapun peralatan yang dibutuhkan?

3.      Apakah pelajar merasa nyaman di lingkungan ini?

4.      Apakah biaya pengiriman instruksi ini wajar mengingat persyaratan waktu?

Prosedur Prosedur khas dalam evaluasi satu-ke-satu adalah menjelaskannya kepada pelajar bahwa seperangkat bahan ajar baru telah dirancang dan Anda ingin reaksinya terhadap mereka. Anda harus mengatakan bahwa setiap kesalahan peserta didik mungkin membuat mungkin karena kekurangan bahan, dan bukan milik mereka. Dorong peserta didik untuk santai dan membicarakan materi. Anda harus Mintalah peserta didik tidak hanya melalui materi instruksional tetapi juga memilikinya Ikuti tes yang diberikan beserta bahannya. Juga, perhatikan jumlah waktu yang dibutuhkan seorang pelajar untuk melengkapi materinya.

Perancang instruksional telah menemukan proses ini sangat berharga dalam persiapannya bahan. Ketika peserta didik menggunakan materi dengan cara ini, mereka menemukan tipografi kesalahan, kelalaian konten, halaman yang hilang, grafik yang diberi label tidak semestinya, link yang tidak pantas di halaman web mereka, dan kesulitan mekanis lainnya yang pasti terjadi Peserta didik sering bisa menggambarkan kesulitan yang mereka hadapi urutan pembelajaran dan konsep yang diajarkan. Mereka bisa mengkritik tes di Istilah apakah mereka pikir mereka mengukur tujuan Anda. Anda bisa menggunakan semua ini informasi untuk merevisi materi dan tes Anda dan memperbaiki masalah yang relatif bruto serta kesalahan kecil.

Berbeda dengan tahap awal desain instruksional, yang menekankan Kemampuan analitis perancang, ciri kritis pertama dari evaluasi formatif satu-ke-satu adalah ketergantungannya yang hampir total terhadap kemampuan perancang untuk menjalin hubungan baik dengan peserta didik dan kemudian berinteraksi secara efektif. Pelajar punya biasanya tidak pernah diminta untuk mengkritisi instruksi; Asumsi telah dibuat bahwa jika pembelajaran tidak terjadi, itu adalah kesalahan siswa. Peserta didik harus diyakinkan bahwa adalah sah untuk bersikap kritis terhadap apa yang disajikan kepada mereka. Ini kadang Sangat sulit bagi orang muda yang diminta untuk mengkritik figur otoritas. Perancang harus membangun suasana penerimaan dan dukungan untuk komentar negatif dari pelajar.

Ciri kritis kedua dari pendekatan one-to-one adalah proses interaktif. Kekuatan prosesnya sangat berkurang saat desainer Berikan instruksi kepada peserta didik dan katakan, "Ini, baca ini dan beri tahu saya apakah Anda memiliki masalah. "Duduk diagonal di samping pelajar, perancang harus membaca (diam-diam) dengan pelajar dan, pada poin yang telah ditentukan, diskusikan dengan pelajar apa yang telah disajikan dalam materi. Dialog itu bisa jadi fokus jawaban untuk mempraktikkan pertanyaan atau mungkin menjadi pertimbangan poin khusus yang dibuat dalam presentasi konten Sebelum masing-masing sesi satu-ke-satu, perancang harus merumuskan strategi tentang bagaimana interaksi akan berlangsung, dan bagaimana pelajar akan tahu kapan tepat untuk berbicara dengan evaluator.

Jelas bahwa sesi satu-ke-satu dapat berlangsung dengan hanya satu pelajar di a waktu; itu hanya tidak layak untuk melakukan proses dengan dua atau lebih peserta didik. Sebagai Perancang melanjutkan dengan evaluasi, perlu untuk mencatat komentar dan saran yang dibuat oleh peserta didik serta penjelasan alternatif yang dibuat oleh Perancang yang terkesan efektif. Ini dapat dicatat pada satu salinan instruksi, atau tape recorder dapat digunakan selama sesi berlangsung, yang, dari pengalaman kami, siswa tampaknya cukup mudah menyesuaikan diri.

Penilaian dan Kuesioner Setelah siswa dalam percobaan satu-ke-satu memiliki Setelah menyelesaikan instruksi, mereka harus meninjau kuesioner posttest dan attitude dengan cara yang sama. Setelah setiap item atau langkah dalam penilaian, tanyakan pada peserta didik mengapa mereka membuat tanggapan tertentu yang mereka lakukan. Ini membantu Anda melihat tidak hanya kesalahan, tapi juga alasan kesalahan, yang bisa sangat membantu selama ini proses revisi Juga, perhatikan bahwa beberapa item tes yang tampak sangat jelas Bagi Anda akan benar-benar disalahartikan oleh pelajar. Jika barang yang salah ini tetap ada Dalam penilaian evaluasi kelompok kecil, akan ada masalah besar di Indonesia menentukan apakah hanya item atau instruksi yang rusak. Mengerahkan sebanyak peduli dalam mengevaluasi instrumen penilaian Anda saat Anda melakukan instruksi itu sendiri.

Petunjuk arah dan rubrik untuk mengevaluasi pertunjukan dan produk seharusnya juga dievaluasi secara interaktif sebelum benar-benar digunakan untuk mengevaluasi ujian ' kerja. Sama seperti dengan tes kertas dan pensil, Anda harus memastikan bahwa arahnya adalah Jelas bagi peserta didik, dan bahwa peserta didik dapat mengikuti instruksi untuk menghasilkan kinerja atau produk yang diantisipasi

Anda juga harus mengevaluasi kegunaan instrumen evaluasi, terutama unsur-unsur berikut: (1) pengamatan masing-masing elemen untuk dinilai, (2) kejelasan cara mereka diparafrasekan, dan (3) efisiensi dari urutan sekuensing. Terkait dengan format tanggapan evaluator, Anda harus melakukannya periksa apakah kategori respon dan kriteria yang masuk akal dalam hal jumlah dan jenis penilaian yang harus Anda buat, dan waktu yang tersedia untuk Anda untuk mengamati, menilai, dan menandai penghakiman. Jika Anda tidak dapat mengikuti pemain, maka keakuratan penilaian Anda akan terpengaruh.

Keandalan penilaian Anda harus dievaluasi dengan menilai kinerja atau produk yang sama dua atau lebih kali dengan interval waktu intervensi. Kamu bisa Juga periksa reliabilitas dengan meminta dua atau lebih evaluator menggunakan instrumen tersebut untuk menilai kinerja atau produk yang sama. Bila multiple rank didapat dari single evaluator pada satu produk berbeda atau peringkat beberapa evaluator berbeda untuk satu produk, instrumen harus direvisi di area seperti nomornya elemen yang harus dinilai, jumlah tingkat penilaian yang harus dibuat, dan kejelasan kriteria untuk setiap level. Jumlah elemen yang harus diperhatikan dan jumlah kategori penilaian harus dikurangi ke titik di mana konsistensi adalah diperoleh, menyiratkan bahwa beberapa iterasi evaluasi instrumen diperlukan verifikasi kegunaan instrumen dan konsistensi penilaian yang dibuat dengannya.

Akhirnya, Anda harus mengevaluasi strategi penilaian Anda. Menggunakan data yang Anda kumpulkan selama evaluasi formatif instrumen, menggabungkan atau meringkas nilai elemen seperti yang direncanakan. Tinjau kembali skor gabungan ini dalam hal tingkat objektif dan kinerja keseluruhan. Apakah skor itu logis dan bisa ditafsirkan? Bisakah mereka digunakan? untuk mengevaluasi bagian instruksi dan kinerja tertentu? Jika tidak, maka ubah prosedur penilaian atau penilaian sampai data yang dapat digunakan diperoleh.

Waktu Belajar Salah satu kepentingan desain selama evaluasi satu-ke-satu adalah menentukan jumlah waktu yang dibutuhkan peserta didik untuk menyelesaikan instruksi, yang sangat Perkiraan kasar, karena interaksi antara pelajar dan perancang. Anda dapat mencoba untuk mengurangi persentase tertentu dari waktu dari total waktu, namun pengalaman menunjukkan bahwa perkiraan tersebut bisa sangat tidak akurat.

Satu komentar terakhir tentang proses evaluasi satu-ke-satu: Jarang ada peserta didik yang berada dalam posisi yang sangat rentan dan diminta untuk mengungkapkan ketidaktahuan mereka. Bahkan orang dewasa terkadang harus mengakui tidak mengetahui arti yang lumrah kata-mereka selalu bermaksud mencarinya di kamus tapi lupa. Dalam tahap satu-toone, perancang memegang kendali dan karenanya memiliki tanggung jawab untuk menyediakan a situasi kerja yang nyaman Karena peserta didik mungkin ragu untuk mengungkapkan kekurangan Dalam pengetahuan mereka saat ini, setiap upaya yang mungkin harus dilakukan untuk menjadi keduanya objektif tentang instruksi dan dukungan dari pelajar. Tanpa pelajar, tidak ada evaluasi formatif.

Interpretasi Data Informasi tentang kejernihan instruksi, dampaknya pelajar, dan kelayakan instruksi harus dirangkum dan difokuskan. Tertentu Aspek instruksi yang ditemukan lemah kemudian dapat dipertimbangkan kembali agar rencana revisi cenderung memperbaiki instruksi untuk pelajar sejenis. Satu hati-hati tentang penafsiran data dari percobaan satu-ke-satu sangat penting: Berhati-hatilah untuk tidak terlalu menghargai data yang dikumpulkan dari hanya satu individu. Meskipun memastikan bahwa peserta target yang berpartisipasi adalah perwakilan dari kelompok yang dimaksud membantu memastikan Reaksi itu khas dari anggota kelompok sasaran lainnya, tidak ada jaminan bahwa target pelajar kedua akan merespon dengan cara yang sama. Kemampuan, harapan, dan kemampuan pribadi yang berbeda antar anggota kelompok sasaran berbeda data dari masing-masing Informasi yang dikumpulkan dari percobaan satu-ke-satu harus dilihat sebagai "sekilas pertama" yang mungkin atau mungkin tidak menggeneralisasi. Kesalahan kotor dalam instruksi akan Kemungkinan menjadi jelas selama persidangan dan akan mengarah langsung dan akurat revisi. Bidang lain dari instruksi yang patut dipertanyakan mungkin tidak direvisi sampai setelah instruksi dicoba kembali dengan orang lain atau dengan kelompok kecil.

Hasil Hasil percobaan satu-ke-satu adalah instruksi yang (1) mengandung kosakata yang sesuai, kompleksitas bahasa, contoh, dan ilustrasi untuk peserta belajar; (2) apakah menghasilkan sikap dan prestasi pelajar yang masuk akal atau direvisi dengan tujuan untuk meningkatkan sikap atau kinerja pelajar selama uji coba berikutnya; dan (3) tampak layak untuk digunakan dengan peserta didik yang tersedia, sumber daya, dan setting. Instruksi tersebut dapat disempurnakan lebih lanjut dengan menggunakan uji coba kelompok kecil.

Di Bab Dua Belas, kita membahas bagaimana meringkas informasi dari percobaan satu-ke-satu dan bagaimana memutuskan revisi apa yang harus dilakukan. Dalam bab ini, Kami melanjutkan pembahasan tahap berikutnya dari evaluasi formatif, yang mana berlangsung setelah revisi dari evaluasi satu-ke-satu selesai.

Evaluasi Kelompok Kecil

Ada dua tujuan utama untuk evaluasi kelompok kecil: Pertama, tentukan keefektifan perubahan yang dilakukan mengikuti evaluasi dan identifikasi satu lawan satu masalah belajar yang tersisa yang mungkin dimiliki pelajar; dan kedua, tentukan apakah peserta didik dapat menggunakan instruksi tanpa berinteraksi dengan instruktur. (Pada titik ini dalam diskusi kita, kita terus mengasumsikan bahwa perancang menciptakan beberapa bentuk materi instruksional sendiri.)

Kriteria dan Data Langkah-langkah umum yang digunakan untuk mengevaluasi keefektifan instruksional termasuk skor kinerja peserta didik pada pretest dan posttests. Pretest biasanya meliputi keterampilan masuk serta tujuan instruksional, dan ukuran posttests kinerja peserta didik pada tujuan subordinat dan terminal untuk instruksi.

Selain tingkat kinerja peserta didik, sikap mereka tentang instruksi diperoleh melalui kuesioner sikap dan terkadang merupakan tindak lanjut wawancara. Informasi Mengumpulkan tentang kelayakan instruksi biasanya meliputi: (1) waktu yang dibutuhkan peserta didik untuk menyelesaikan baik instruksi maupun yang dipersyaratkan ukuran kinerja, (2) biaya dan kelangsungan menyampaikan instruksi dalam format dan lingkungan yang dimaksudkan, dan (3) sikap orang-orang yang menerapkan atau mengelola instruksi

Memilih Peserta didik Untuk evaluasi kelompok kecil, Anda harus memilih satu kelompok sekitar delapan sampai dua puluh peserta didik. Jika jumlah peserta didik kurang dari delapan, data mungkin tidak akan sangat mewakili populasi target. Namun, jika Anda mendapatkan data pada lebih dari dua puluh peserta didik, Anda mungkin menemukannya bahwa Anda memiliki lebih banyak informasi daripada yang Anda butuhkan dan data dari tambahan peserta didik tidak memberikan banyak informasi tambahan.

Pemilihan peserta didik untuk berpartisipasi dalam percobaan kelompok kecil Anda penting. Peserta didik yang mengevaluasi materi harus mewakili target Andapopulasi mungkin Dalam setting penelitian yang ideal, Anda akan memilih peserta didik secara acak, yang memungkinkan Anda menerapkan temuan Anda pada umumnya seluruh populasi sasaran Di sekolah biasa, industri, dan pendidikan orang dewasa, Namun, pengacakan sebenarnya seringkali tidak mungkin dan mungkin bahkan tidak diinginkan. Bila Anda tidak dapat memilih peserta didik secara acak atau kapan kelompok yang Anda miliki Tersedia untuk menarik dari relatif kecil, Anda harus memastikan bahwa Anda termasuk dalamsampel Anda setidaknya satu perwakilan dari setiap jenis subkelompok yang ada di blog Anda populasi, mungkin termasuk yang berikut:

•         Siswa dengan tingkat rendah, rata-rata, dan berprestasi tinggi

•         Peserta didik dengan berbagai bahasa asli

•         Peserta didik yang terbiasa dengan prosedur tertentu (mis., Instruksi berbasis web) dan peserta didik yang tidak

•         Siswa yang lebih muda atau tidak berpengalaman serta pelajar yang lebih dewasa

Bila kelompok sasaran Anda homogen, subkelompok ini tidak menjadi masalah. Bila populasi sasaran terdiri dari orang-orang dengan keterampilan bervariasi dan Latar belakang, desainer harus mempertimbangkan termasuk perwakilan masing-masing kelompok dalam kelompok kecil sampel. Misalnya, hampir tidak mungkin diprediksi bagaimana pelajar berprestasi rendah akan tampil berdasarkan materi Anda berdasarkan usaha seorang pelajar berprestasi tinggi. Memilih sampel yang representatif membantu Anda menjadi lebih Wawasan tentang perubahan yang harus dilakukan dalam instruksi Anda.

Peserta kelompok kecil terkadang merupakan sampel yang bias karena terdiri orang yang berpartisipasi lebih rela daripada kelompok pada umumnya. Perancang harus Sadar akan masalah ini dan dapatkan kelompok yang paling representatif, mengingat semua kendala biasanya hadir dalam mendapatkan peserta kelompok kecil percobaan. Penting juga untuk dicatat bahwa sementara tahap ini disebut sebagai kelompok kecil Evaluasi, istilahnya mengacu pada jumlah peserta didik dan bukan setting di mana Peserta didik benar-benar menggunakan materi. Misalnya, jika bahan Anda memerlukan penggunaan Peralatan yang sangat khusus, dan Anda hanya memiliki satu peralatan, maka Anda harus berusaha untuk mendapatkan delapan sampai dua puluh peserta didik yang akan menggunakan materi Anda dalam pengaturan individual. Tidak perlu membawa semua peserta didik bersama di satu ruangan pada satu waktu untuk melakukan evaluasi kelompok kecil.

Prosedur Prosedur dasar yang digunakan dalam evaluasi kelompok kecil sangat berbeda dari evaluasi satu lawan satu. Evaluator (atau instruktur) dimulai oleh menjelaskan bahwa materi tersebut dalam tahap perkembangan formatif dan itu diperlukan untuk mendapatkan umpan balik tentang bagaimana hal itu dapat diperbaiki. Setelah mengatakan ini, instruktur kemudian mengatur bahan sesuai dengan cara penggunaannya untuk digunakan saat mereka berada dalam bentuk akhir. Jika pretest harus digunakan, maka seharusnya diberikan dulu Instruktur harus melakukan intervensi sesedikit mungkin dalam prosesnya. Hanya dalam kasus-kasus ketika peralatan gagal atau saat pelajar menjadi macet di dalam proses belajar dan tidak bisa dilanjutkan semestinya instruktur ikut campur. Setiap pelajar Kesulitan dan solusinya pastilah dicatat sebagai bagian dari data revisi.

Penilaian dan Kuesioner Langkah tambahan dalam evaluasi kelompok kecil adalah administrasi kuesioner sikap dan, jika mungkin, pembekalan mendalam dengan beberapa peserta didik dalam kelompok tersebut. Tujuan utama untuk mendapatkan Reaksi pelajar terhadap instruksi tersebut adalah untuk mengidentifikasi, dari persepsi mereka, kelemahan dan kekuatan dalam implementasi strategi instruksional. Pertanyaan-pertanyaan Oleh karena itu harus mencerminkan berbagai komponen strategi. Pertanyaan berikut biasanya sesuai:

•         Apakah instruksi itu menarik?

•         Apakah Anda mengerti apa yang seharusnya Anda pelajari?

•         Apakah materi berhubungan langsung dengan tujuan?

•         Apakah latihan latihan yang cukup termasuk?

•         Apakah latihan itu relevan?

•         Apakah tes benar-benar mengukur pengetahuan Anda tentang tujuan?

•         Apakah Anda menerima umpan balik yang memadai tentang latihan latihan Anda?

•         Apakah Anda merasa yakin saat menjawab pertanyaan dalam tes?

Pertanyaan-pertanyaan ini mungkin termasuk dalam kuesioner sikap dan kemudian dikejar secara mendalam dalam sebuah diskusi dengan peserta didik. Dengan menggunakan pertanyaan yang diarahkan Komponen strategi instruksional, seperti yang baru saja dijelaskan, adalah mungkin untuk menghubungkan tanggapan peserta didik secara langsung dengan komponen tertentu dari bahan atau prosedur instruksional. Dalam diskusi dengan peserta didik setelah materi selesai, instruktur dapat mengajukan pertanyaan tentang fitur seperti mondar-mandir, minat, dan kesulitan materi.

Ringkasan Data dan Analisis Baik informasi kuantitatif dan deskriptif yang dikumpulkan selama persidangan harus diringkas dan dianalisis. Kuantitatif data terdiri dari nilai tes serta persyaratan waktu dan proyeksi biaya. Informasi deskriptif terdiri dari komentar yang dikumpulkan dari kuesioner sikap, wawancara, atau catatan evaluator yang ditulis selama persidangan.

Hasil Tujuan dari percobaan kelompok kecil dan revisi instruksional disempurnakan instruksi yang harus efektif dengan target peserta didik dalam setting yang diinginkan. Penyempitan yang dibutuhkan dalam instruksi mungkin sederhana, seperti contoh yang berubah dan kosa kata dalam item tes atau meningkatkan jumlah waktu yang dialokasikan untuk belajar. Modifikasi mungkin juga memerlukan perubahan besar dalam strategi instruksional (mis., strategi motivasi, urutan tujuan, format pengiriman instruksional) atau dalam sifat informasi yang disajikan kepada peserta didik. Setelah instruksi disempurnakan Secara memadai, percobaan lapangan bisa dimulai.

Percobaan lapangan

Pada tahap akhir evaluasi formatif, instruktur mencoba menggunakan konteks pembelajaran yang sangat mirip dengan konteks yang dimaksudkan untuk penggunaan akhir dari bahan ajar Salah satu tujuan dari tahap akhir evaluasi formatif ini adalah untuk menentukan apakah perubahan dalam instruksi yang dilakukan setelah kelompok kecil panggung efektif; Tujuan lain adalah untuk melihat apakah instruksi tersebut dapat digunakan dalam konteks yang dimaksudkannya-yaitu, apakah secara administratif memungkinkan gunakan instruksi dalam setting yang diinginkan?

Untuk menjawab pertanyaan ini, semua materi, termasuk tes dan instruktur manual, harus direvisi dan siap berangkat. Jika instruktur terlibat dalam menerapkan instruksi, perancang seharusnya tidak memainkan peran ini.

Lokasi Evaluasi Dalam memilih situs untuk evaluasi lapangan, Anda cenderung melakukannya Temui salah satu dari dua situasi: Pertama, jika bahan itu dicoba di kelas yang ada Saat ini menggunakan kelompok besar, mondar-mandir langkah kaki, lalu menggunakan bahan pembelajaran mandiri mungkin merupakan pengalaman yang sangat baru dan berbeda bagi peserta didik. Ini penting untuk meletakkan dasar untuk prosedur baru dengan menjelaskan kepada peserta didik bagaimana bahan harus digunakan dan bagaimana perbedaannya dari instruksi biasa mereka. Dalam semua Kemungkinan, Anda akan mendapatkan kenaikan bunga, jika tidak dalam kinerja, sederhana karena istirahat dalam pola pengajaran kelas yang khas.

Kedua, jika bahan dicoba di kelas individual, mungkin cukup Sulit untuk menemukan kelompok pelajar yang cukup besar yang siap untuk instruksional Anda bahan karena peserta didik akan "menyebar" dalam bahan yang sedang mereka pelajari.

Kriteria dan Data Percobaan di lapangan sangat mirip dengan latihan akhir di teater, karena instruksi dipoles dan dikirim dengan cara yang sedekat mungkin mungkin ke format akhir Juga mirip dengan gladi resik, tujuan utama dari uji coba lapangan adalah untuk menemukan dan menghilangkan masalah yang tersisa dalam instruksi. Ada banyak kesamaan antara percobaan kelompok kecil dan uji coba lapangan. Itu Keputusan yang harus dibuat selama kedua jenis uji coba tersebut adalah apakah kinerja pelajar memadai dan pengiriman instruksi layak dilakukan. Kesamaan lainnya adalah informasi dikumpulkan pada prestasi belajar dan sikap; prosedur instruktur dan sikap; dan sumber daya, seperti waktu, biaya, ruang, dan peralatan. Utama Perbedaan antara kedua uji coba tersebut berada dalam kecanggihan material aktual, peserta didik, prosedur, instruktur, dan setting.

Memilih Peserta didik  Anda harus mengidentifikasi sekelompok sekitar tiga puluh individu berpartisipasi dalam percobaan lapangan Anda. Sekali lagi, kelompok harus dipilih untuk memastikannya itu adalah perwakilan dari populasi target dimana bahan tersebut dimaksudkan. Karena kelompok "khas" kadang sulit ditemukan, desainer sering memilih beberapa kelompok yang berbeda untuk berpartisipasi dalam uji coba lapangan, memastikan bahwa data dikumpulkan dalam semua kondisi yang diinginkan, seperti ruang terbuka, pengajaran tradisional, Instruksi berbasis internet, atau beberapa kombinasi metode.

Penggunaan beberapa situs uji coba mungkin diperlukan jika situs semacam itu sangat bervariasi. Perancang mungkin tidak dapat hadir saat instruksi digunakan; karena itu, Adalah penting bahwa perancang menginformasikan instruktur tentang prosedur yang akan dilakukan diikuti dan data yang akan dikumpulkan.

Prosedur untuk Melakukan Uji Coba Lapangan Prosedur untuk melakukan lapangan Persidangan serupa dengan kelompok kecil, hanya dengan beberapa pengecualian. Yang utama Perubahan adalah peran perancang, siapa yang harus melakukan tidak lebih dari sekedar mengamati prosesnya. Instruksi harus diberikan atau disampaikan oleh instruktur yang khas, untuk siapa desainer mungkin harus merancang dan memberikan pelatihan khusus sehingga dia atau dia tahu persis bagaimana menggunakan instruksi tersebut.

Satu-satunya perubahan lainnya adalah pengurangan pengujian. Berdasarkan pengalaman di PT kelompok kecil, pretest dan posttest bisa dimodifikasi atau dikurangi untuk dinilai hanya perilaku dan keterampilan masuk yang paling penting untuk diajarkan, karena dengan ini Dalam proses pengembangan, perhatian utama dalam evaluasi formatif adalah kelayakan dalam konteks pembelajaran.

Kuesioner bisa dimodifikasi untuk fokus pada faktor lingkungan itu perancang percaya sangat penting untuk keberhasilan instruksi. Intinya, Pertanyaan harus fokus pada sesuatu yang mungkin mengganggu keberhasilan petunjuk. Pengamatan instruksi yang digunakan dan wawancara dengan peserta didik dan instruktur sangat berharga

Ringkasan Data dan Interpretasi Ringkasan data dan prosedur analisisnya adalah sama untuk percobaan kelompok kecil dan lapangan. Data prestasi harus disusun berdasarkan tujuan instruksional, dan informasi sikap dari kedua peserta didik dan instruktur juga harus berlabuh ke tujuan spesifik bila memungkinkan.

Meringkas data dalam format ini membantu menemukan lokasi tertentu dimana instruksi itu dan tidak efektif Informasi dari percobaan lapangan ini digunakan untuk merencanakan dan membuat revisi akhir dalam instruksi.

Hasil Tujuan dari uji coba lapangan dan revisi akhir adalah instruksi efektif yang dilakukan menghasilkan tingkat prestasi dan sikap belajar yang diinginkan dan yang berfungsi sebagai dimaksudkan dalam setting pembelajaran. Menggunakan data tentang area masalah yang dikumpulkan selama uji coba lapangan, revisi yang sesuai dibuat dalam instruksi.

Evaluasi Formatif Bahan yang Dipilih

Tiga tahap evaluasi formatif yang telah dijelaskan sebelumnya tidak sepenuhnya berlaku bila instruktur telah memilih bahan yang ada untuk dicoba dengan sekelompok pelajar. Jenis perubahan editorial dan konten dibuat sebagai hasil satu lawan satu dan evaluasi kelompok kecil biasanya tidak digunakan dengan bahan yang ada. Ini Prosedur dihindari bukan karena tidak produktif dalam memperbaiki Instruksinya, tapi karena pada kenyataannya instruktur yang memilih bahan yang ada jarang memiliki waktu atau sumber daya untuk melakukan fase ini. Selanjutnya ada bahan biasanya dilindungi hak cipta, dan mengubah materi berhak cipta dilarang tanpa izin yang memadai. Apa yang bisa dan sering terjadi terjadi berikut Evaluasi formatif bahan yang ada adalah penciptaan bahan tambahan untuk menemani mereka, seperti silabus, pemandu belajar, buku kerja siswa, atau tambahan pembacaan.

Evaluasi formatif bahan yang ada mencakup studi penilaian ahli dan percobaan lapangan. Tujuan dari tahap penilaian ahli adalah untuk menentukan apakah Instruksi yang digunakan saat ini atau calon lainnya memiliki potensi untuk memenuhi kebutuhan instruksional yang ditetapkan oleh organisasi. Kerangka untuk merancang formatif evaluasi pada Tabel 11.1 juga berguna untuk merancang fase penilaian ahli untuk mengevaluasi bahan yang ada. Kolom kiri tabel mencantumkan area bahan yang akan dievaluasi. Di bagian atas meja, pertanyaan tentang kesesuaian Materi untuk jenis pembelajaran dapat dinilai oleh para ahli dalam teori pembelajaran. Pertanyaan tentang mata uang, kelengkapan, dan keakuratan konten dapat dinilai oleh pakar konten Jika bahan yang ada dinilai tidak memadai oleh para ahli dan Mereka dinilai tidak mudah diatasi dengan bahan tambahan, maka sisa pertanyaan pada Tabel 11.1 tentang kejelasan material, motivasi, dan manajemen tidak relevan Demikian juga, percobaan lapangan dengan bahan yang tidak memadai tampaknya tidak pantas

Misalkan bahan yang ada dinilai menjanjikan oleh tenaga ahli belajar dan konten. Dalam keadaan ini, perancang harus melanjutkan langsung ke lapangan percobaan dengan sekelompok peserta didik, baik untuk menentukan apakah bahannya efektif dengan a populasi tertentu dan dalam setting tertentu, dan untuk mengidentifikasi cara penambahan atau penghapusan dari bahan atau perubahan prosedur instruksional dibuat untuk meningkatkan efektivitas.

Persiapan untuk uji coba lapangan bahan yang ada harus dilakukan sebagaimana mestinya akan menjadi percobaan lapangan bahan asli. Analisis harus dilakukan dokumentasi yang ada tentang pengembangan bahan, keefektifan bahan dengan kelompok yang didefinisikan, dan khususnya deskripsi prosedur digunakan selama evaluasi lapangan Deskripsi tentang bagaimana bahan harus digunakan harus Dikaji, alat uji apapun yang menyertai bahan harus diperiksa untuk hubungan mereka dengan tujuan kinerja, dan kebutuhan untuk tambahan evaluasi atau kuesioner sikap harus ditentukan.

Dalam studi persidangan lapangan, instruktur reguler harus mengelola pretest, kecuali jika dia mengetahui bahwa peserta didik sudah memiliki keterampilan masuk dan kurang pengetahuan. dari apa yang harus diajarkan Kuesioner posttest dan sikap harus dipastikan tersedia untuk mengevaluasi kinerja peserta didik dan pendapat mereka tentang materi.

Instruktur yang melakukan uji coba lapangan dapat mengamati kemajuan dan sikap peserta didik menggunakan seperangkat bahan yang diadopsi atau disesuaikan. Bahkan mungkin saja untuk memeriksa kinerja berbagai kelompok peserta didik menggunakan materi yang dimodifikasi atau yang tidak dimodifikasi untuk menentukan apakah perubahan tersebut meningkatkan keefektifannya dari bahan. Instruktur tentunya harus meluangkan waktu mengikuti lapangan evaluasi untuk memberi kesaksian kepada peserta didik secara menyeluruh terhadap reaksi mereka terhadap instruksi tersebut, karena wawasan tambahan tentang bahan atau prosedur dapat diperoleh selama sesi tanya jawab semacam itu. Setelah menyelesaikan uji coba lapangan material terpilih, instruktur seharusnya sudah mengumpulkan kira-kira jenis data yang sama telah dikumpulkan jika bahan asli sedang dievaluasi secara interaktif.

Evaluasi Formatif Instruktur-Led Instruction

Jika instruktur berencana untuk mengirimkan instruksi ke sekelompok siswa menggunakan sebuah Panduan instruktur, maka tujuan evaluasi formatif sama saja karena mereka adalah untuk evaluasi formatif bahan instruksional independen-untuk tentukan apakah instruksi tersebut efektif dan memutuskan bagaimana memperbaikinya. Sekali Sekali lagi, evaluasi formatif dari rencana instruksional hampir mendekati tahap ujicoba lapangan untuk bahan ajar. Kemungkinan besar, akan ada Sedikit waktu untuk evaluasi satu-ke-satu atau bahkan kelompok kecil.

Dalam mempersiapkan percobaan lapangan instruksi instruktur, instruktur harus melakukannya prihatin dengan keterampilan masuk dan pengetahuan sebelumnya, pengetahuan posttest, dan sikap peserta didik. Selain itu, instruktur berada dalam posisi yang unik memberikan latihan dan umpan balik interaktif, yang harus disertakan dalam strategi instruksional untuk memberi peserta didik kesempatan untuk menunjukkan yang spesifik keterampilan yang mereka dapatkan. Sesi ini juga berfungsi untuk mengidentifikasi keterampilan yang belum ada diperoleh Bentuk praktik dan penilaian dalam proses ini dapat diberikan dalam salah satu dari dua format, baik secara lisan ke berbagai peserta didik sambil mencatat kinerja mereka, atau dengan mendistribusikan secara berkala berbagai praktik cetak dan latihan umpan balik selama pelajaran. Pendekatan terakhir ini memberikan bukti nyata kemajuan peserta didik.

Instruktur juga dapat menggunakan uji coba lapangan sebagai kesempatan untuk mengevaluasi prosedur instruksional. Pengamatan terhadap proses instruksional harus menunjukkan kesesuaian pola pengelompokan, alokasi waktu, dan minat pelajar di berbagai bidang kegiatan kelas.

Banyak instruktur sudah menggunakan jenis evaluasi formatif ini petunjuk. Poin kami adalah menekankan penggunaan teknik ini secara menyeluruh dan sistematis untuk mengumpulkan dan menganalisis data guna merevisi rencana pelajaran. Untuk mengidentifikasi poin lemah dalam rencana pelajaran dan memberikan petunjuk untuk koreksi mereka, dalam-kemajuan data dapat dibandingkan dengan hasil yang diperoleh dengan posttest, attitude questionnaire, dan komentar siswa selama sesi tanya jawab.

Sangat sering, pengujian lapangan terhadap material terpilih dan pengujian lapangan instruksi instruktur yang dipimpin terjalin. Seringkali, penggunaan bahan yang dipilih membutuhkan peran interaktif untuk instruktur dan, juga, penggunaan instruktur panduan mungkin melibatkan penggunaan beberapa bahan ajar yang disiapkan. Dibawah baik keadaan, kira-kira sama jenis prosedur evaluasi lapangan harus digunakan dan jenis revisi serupa dilakukan.

Pengumpulan Data untuk Materi yang Dipilih dan Instruktur-Led Instruction

Sebagian besar informasi berhubungan dengan pengumpulan data dalam percobaan lapangan yang asli bahan ajar berlaku sama baiknya dengan prosedur pengumpulan data yang digunakan dalam evaluasi bahan pilihan dan prosedur instruksional. Misalnya, itu sangat penting bahwa peralatan apapun yang akan digunakan selama instruksi berlangsung dengan baik menjalankan perintah dan bahwa lingkungan di mana percobaan lapangan dilakukan kondusif untuk belajar .

Saat instruktur mengevaluasi materi instruksional, bahan pilihan, atau panduan instruktur, hubungan yang ada dengan pelajar bisa menjadi keuntungan besar. Hal ini penting selama evaluasi bahan dan panduan bahwa siswa memahami sifat kritis partisipasi mereka dan kontribusi terhadap penelitian ini. Itu instruktur, dalam bekerja dengan pelajar yang familiar, juga memiliki pengetahuan tentang peserta didik ' keterampilan masuk dan, sangat mungkin, mampu memprediksi secara akurat kinerja pretest siswa. Instruktur harus, bagaimanapun, hindari mengandalkan sepenuhnya pada ramalan semacam itu. Jika ada keraguan sama sekali tentang penampilan peserta didik, mereka harus melakukannya diuji untuk memverifikasi kebutuhan akan instruksi dalam keterampilan tertentu.

Ketika instruktur memilih bahan untuk menerapkan strategi instruksional, sejumlah masalah unik muncul. Informasi dapat dikumpulkan tentang masalah ini dengan observasi dan penggunaan kuesioner. Pertanyaan utamanya adalah, "Apakah instruksi memiliki kesatuan? "Untuk menjawab pertanyaan ini, instruktur harus menentukan kecukupan panduan pelajar dalam mengarahkan siswa ke berbagai sumber. Redundansi dan kesenjangan dalam materi instruksional harus diperhatikan. Sudah cukup pengulangan dan review dibangun ke dalam strategi? Jika instruktur mempresentasikannya instruksi, maka kejadian yang mencerminkan jenis masalah yang sama harus diperhatikan presentasi berlangsung. Jenis pertanyaan yang diajukan oleh peserta didik memberikan a kunci kekurangan strategi.

Menyangkut yang Mempengaruhi Evaluasi Formatif

Komponen evaluasi formatif membedakan proses perancangan instruksional dari pendekatan filosofis atau teoretis. Alih - alih berspekulasi tentang Efektivitas instruksional materi Anda, Anda mengujinya dengan peserta didik; karena itu, Anda harus melakukan pekerjaan terbaik untuk mengumpulkan data yang benar-benar mencerminkan keefektifan materi Anda. Ada beberapa Menyangkut tentang evaluasi formatif konteks dan peserta didik yang berpartisipasi dalam evaluasi yang harus dilakukan perancang Ingatlah saat merencanakan dan menerapkan prosedur pengumpulan data.

Konteks Menyangkut Untuk evaluasi bahan yang tepat, pastikan teknis apapun peralatan beroperasi secara efektif. Lebih dari satu instruktur telah berkecil hati karena satu set bahan ajar baru diujicobakan dengan potongan tertentu peralatan, dan peralatan tersebut gagal beroperasi dengan benar. Data peserta didik tidak sah, dan instruktur belajar sedikit lebih banyak dari pada peralatan itu beroperasi secara efektif untuk mencoba bahan.

Hal ini juga penting pada tahap awal evaluasi formatif, terutama di Percobaan satu-ke-satu, bahwa Anda bekerja dengan peserta didik dalam suasana yang sepi di mana Anda dapat memerintahkan perhatian penuh mereka. Pada titik ini, Anda prihatin tentang bagaimana bahannya bekerja di bawah kondisi terbaik. Saat Anda pindah ke sesi kelompok kecil dan percobaan lapangan, Anda semakin khawatir dengan bagaimana bahan bekerja lebih banyak konteks yang khas Jika setting tipikal adalah kelas individual dengan relatif Tingkat kebisingan yang tinggi, maka Anda ingin tahu apakah bahan itu bekerja dalam situasi itu; Namun, Anda seharusnya tidak memulai evaluasi formatif dalam kondisi ini.

Menyangkut tentang peserta didik Dalam pemilihan peserta didik untuk berpartisipasi dalam pembelajaran Tahap evaluasi formatif, hindari tergantung sepenuhnya pada instruktur untuk menilai pengetahuan masuk peserta didik. Bila memungkinkan, berikan keterampilan masuk tes kepada peserta didik untuk memverifikasi bahwa mereka sebenarnya adalah anggota populasi sasaran untuk siapa bahan itu dimaksudkan Pengalaman telah menunjukkan bahwa instruktur, untuk Apapun alasannya, terkadang membuat perkiraan miskin tentang kesiapan peserta didik yang direkomendasikan untuk berpartisipasi dalam studi evaluasi formatif. Lakukan apa Bisa untuk memverifikasi pengetahuan masuk peserta didik.

Bila Anda mendapatkan informasi tentang pengetahuan dan keterampilan masuk peserta didik, Anda Kadang menghadapi masalah apa yang harus dilakukan dengan peserta didik yang sudah menguasai beberapa atau semua keterampilan yang akan diajarkan, atau peserta didik yang tidak memiliki keterampilan masuk yang dibutuhkan Apakah Anda menjatuhkannya dari evaluasi formatif? Ini Sebaiknya sertakan beberapa peserta didik yang tidak sesuai dengan profil keterampilan populasi target sesungguhnya Mereka yang sudah tahu beberapa konten bisa melayani sebagai "subjek-matter sophisticates" yang bisa menjadi indikator bagaimana siswa lain Siapa yang tidak tahu isinya akan merespon. Anda juga bisa menentukan apakah Anda Instruksi bisa membawa peserta didik ini mencapai kinerja sekitar 100 persen. Jika tidak bekerja untuk peserta didik ini, maka tidak mungkin efektif dengan peserta didik yang kurang memasukkan pengetahuan.

Peserta didik yang tidak memiliki keterampilan masuk juga harus disertakan dalam evaluasi formatif. Keterampilan masuk telah diturunkan secara teoritis, dan karenanya membutuhkan validasi. Jika peserta didik yang tidak dapat menunjukkan keterampilan masuknya, Sebenarnya, perjuangan melalui instruksi dengan sedikit keberhasilan, sedangkan yang memiliki Keterampilan masuk berhasil, ini menunjukkan bahwa Anda telah mengidentifikasi keterampilan yang dimiliki peserta didik harus memulai instruksi. Jika, bagaimanapun, peserta didik tanpa keterampilan masuk berhasil dengan instruksi, maka Anda harus mempertimbangkan kembali keabsahannya secara serius dari keterampilan masuk yang telah Anda identifikasi.

Kami telah menyarankan bahwa dalam evaluasi formatif satu-ke-satu, perancang Sebaiknya gunakan setidaknya tiga peserta didik-satu tinggi, satu rata-rata, dan satu rendah kemampuan. Ini adalah rekomendasi samar yang bisa dibuat lebih spesifik dengan mengidentifikasi a Kemampuan belajar tinggi sebagai orang yang sudah mengetahui beberapa konten yang akan diajarkan. Itu Rata-rata pelajar dapat diidentifikasi sebagai orang yang memiliki keterampilan masuk tapi tidak memiliki pengetahuan keterampilan yang harus diajarkan, dan kemampuan rendah yang dimiliki seseorang yang tidak memiliki beberapa atau semua keterampilan masuk. Dengan menggunakan definisi ini, perancang bisa jauh lebih yakin mendapatkan berbagai kemampuan yang diinginkan. Penelitian menunjukkan bahwa ketiga jenis ini peserta didik memberikan informasi yang berbeda namun bermanfaat bagi perancang, dan dengan demikian ketiganya harus disertakan dalam evaluasi formatif.

Menyangkut tentang Hasil Evaluasi Formatif Kata terakhir hati-hati: Bersiaplah untuk mendapatkan informasi yang menunjukkan bahwa materi Anda tidak seefektif Anda. pikir mereka akan setelah melalui desain instruksional yang ekstensif proses. Adalah hal yang biasa terjadi saat menjadi hebat banyak waktu dan usaha dalam berbagai jenis proyek. Sama lazimnya dengan tajam kecewa ketika Anda menemukan bahwa usaha Anda belum sepenuhnya memuaskan.

Anda harus mencatat, bagaimanapun, bahwa dalam proses evaluasi formatif, positif umpan balik dari siswa memberi Anda sedikit informasi tentang bagaimana keadaan Anda lanjutkan untuk mengubah apapun Umpan balik positif hanya menunjukkan bahwa apa yang Anda miliki efektif dengan siswa yang menggunakan materi. Anda kemudian bisa hanya membuat Keterbatasan terbatas bahwa materi harus efektif dengan peserta didik yang memiliki Kemampuan dan motivasi serupa.

Saat Anda melakukan proses evaluasi formatif, mungkin Anda bisa membantu untuk berpura-pura bahwa instruktur lain telah mengembangkan materi dan materi Anda hanya melakukan evaluasi formatif untuk orang tersebut. Kami tidak menyarankan bahwa Anda menyesatkan peserta didik tentang hal itu, namun Anda mengadopsi hal ini tanpa keterlibatan psikologis dalam rangka untuk mendengarkan apa yang peserta didik, instruktur, dan UKM mungkin mengatakan. Umpan balik jenis ini harus diintegrasikan ke dalam penilaian yang obyektif dari sejauh mana materi Anda memenuhi tujuan yang telah Anda tetapkan untuknya dan bagaimana mereka bisa diperbaiki.

Menyangkut tentang Penerapan Evaluasi Formatif Meskipun proses perancangan instruksional yang ideal adalah melakukan tiga tahap evaluasi formatif sebelum membagikan instruksi untuk penggunaan umum, terkadang tidak mungkin untuk mengikuti prosedur ini Dalam banyak kasus, tidak ada cukup waktu untuk melakukan formatif evaluasi atau tidak ada dana yang dianggarkan untuk melakukannya. Tanggung jawab apa yang Perancang punya dalam situasi ini?

Pertimbangan pertama harus menentukan apakah ada bentuk formatif evaluasi dapat dilakukan sebelum penggunaan instruksi secara formal. Adalah Ada cara untuk menggabungkan beberapa teknik one-to-one dengan uji coba lapangan? Bisa kita mendapatkan seseorang untuk membaca materi dan melihat apakah mereka masuk akal? Bisakah kita berjalan melalui permainan peran untuk memastikannya berhasil? Kebanyakan desainer akan melakukannya Mengakui bahwa dengan menggunakan instruksi yang baru dirancang tanpa beberapa jenis ujicoba sangat berisiko, tapi terkadang tidak dapat dihindari.

Jika instruksi digunakan dengan populasi target tanpa manfaat apapun Evaluasi formatif, masih dimungkinkan untuk menggunakan kesempatan itu untuk mengumpulkan informasi yang berguna untuk merevisi pengajaran. Dalam situasi ini, prosedurnya biasanya yang diterapkan adalah percobaan di lapangan. Data kuesioner dan informasi asesmen dapat dikombinasikan dengan pengamatan peserta didik dan diskusi langsung tentang instruksi untuk menentukan jenis perubahan yang harus dilakukan.

Prinsip umum perancang adalah bahwa evaluasi formatif selalu dilakukan dilakukan; Ini hanya pertanyaan kapan, dimana, dan bagaimana caranya. Terkadang ada cukup waktu dan sumber daya untuk melakukan tiga tahap evaluasi formatifdijelaskan disini Bila tidak memungkinkan melakukannya, itu adalah tanggung jawab perancang untuk berimprovisasi cara mengumpulkan sebanyak mungkin informasi tentang instruksi tersebut sehingga bisa direvisi secara tepat.

Pemecahan Masalah selama Desain Instruksional

Dalam proses perancangan instruksional, perancang sering dihadapkan dengan pertanyaan itu Jawaban terbaik bisa dijawab dengan data peserta didik. Sangat menarik untuk mengetahui seberapa sering mungkin untuk menyelesaikan argumen desain dengan mengatakan, "Mari kita memberitahu peserta didik jawaban untuk itu. "Keseluruhan proses evaluasi formatif adalah salah satu pertemuan data dari peserta didik untuk menjawab pertanyaan yang mungkin Anda (atau mungkin tidak) miliki tentang Anda petunjuk.

Asumsikan bahwa mengikuti serangkaian evaluasi satu lawan satu, menjadi jelas bahwa Ada pertanyaan tentang penggunaan ilustrasi dalam instruksi Anda. Beberapa siswa menyukai dan menggunakannya, sedangkan beberapa lainnya mengatakan bahwa mereka tidak berguna. Karena itu Mungkin mahal untuk menggunakan ilustrasi dalam instruksi, sebuah pertanyaan yang penting harus dilakukan menjawab: "Haruskah ilustrasi digunakan dalam instruksi saya?"

Untuk menjawab pertanyaan ini, perancang bisa mengembangkan dua versi instruksi untuk digunakan dalam evaluasi kelompok kecil. Sepuluh dipilih secara acak peserta didik mungkin menerima instruksi tersebut dengan ilustrasi, sedangkan sepuluh menerimanya tanpa ilustrasi Maka kinerja dan sikap kedua kelompok bisa dibandingkan. Bagaimana mereka melakukannya di posttest? Bagaimana mereka melakukannya pada barang-barang itu langsung berhubungan dengan ilustrasi? Apa yang mereka katakan tentang pertanyaan sikap tentang penggunaan (atau tidak adanya) ilustrasi? Bagaimana waktu belajar dari dua kelompok membandingkan?

Apakah penelitian ini? Tidak juga. Tujuannya adalah membuat keputusan tentang apa untuk melakukan dengan unit instruksi tertentu, bukan untuk menentukan manfaat penggunaan ilustrasi dalam instruksi Perancang bisa mengumpulkan cukup data secara formatif evaluasi tentang ilustrasi untuk membuat setidaknya keputusan tentatif tentang mereka terus gunakan dalam instruksi. Metodologi yang sama ini bisa digunakan untuk menjawab Berbagai macam pertanyaan yang tak terelakkan muncul selama proses perancangan. 

RINGKASAN

Evaluasi formatif bahan ajar adalah dilakukan untuk mengetahui efektifitas bahan dan untuk merevisi mereka di daerah di mana mereka tidak efektif Evaluasi formatif seharusnya dilakukan dilakukan pada bahan yang baru dikembangkan juga sebagai bahan yang ada yang dipilih berdasarkan strategi instruksional Evaluasi diperlukan untuk materi yang disajikan oleh mediasi dan instruktur. Evaluasi harus dirancang untuk menghasilkan data untuk menentukan area spesifik dimana instruksinya salah dan menyarankan bagaimana harus direvisi.


Proses berulang dari evaluasi formatif yang mengandung setidaknya tiga siklus pengumpulan data, analisis, dan revisi direkomendasikan. Setiap siklus berfokus pada berbagai aspek kualitas. Siklus pertama, one-to-one Evaluasi dilakukan untuk mengetahui kesalahan kotor pada bahan. Kesalahan ini biasanya berhubungan dengan kejelasan kosakata, konsep, dan contoh yang digunakan, dan nilai motivasi dari kelima komponen bahan ajar Evaluasi juga bisa dilakukan dengan konten ahli dan individu akrab dengan karakteristik target peserta didik. Satu-ke-satu evaluasi harus dilakukan dengan perwakilan dari populasi target Wawancara interaktif Prosesnya digunakan agar evaluator bisa belajar apa adanya salah dengan materi dan mengapa itu salah .


Siklus kedua, evaluasi kelompok kecil, berikut koreksi kesalahan besar yang diidentifikasi dalam intruksi. Kelompok ini biasanya terdiri dari delapan sampai dua puluh anggota perwakilan dari target populasi. Tujuan evaluasi kelompok kecil adalah untuk menemukan kesalahan tambahan dalam instruksional bahan dan prosedur manajemen. Itu unsur strategi instruksional lagi jangkar untuk instrumen dan prosedur evaluasi. Selama siklus ini, evaluator bermain kurang Peran interaktif, kinerja dan data sikap dikumpulkan, dan pendalaman mendalam dilakukan mendapatkan data kuantitatif dan kualitatif .


Siklus terakhir, percobaan lapangan, dilakukan mengikuti penyempurnaan bahan berdasarkan kelompok kecil evaluasi. Tujuan dari evaluasi ini adalah untuk Tunjukkan kesalahan pada bahan saat digunakan seperti yang ditentukan dalam pengaturan yang dimaksud. Mirip dengan dua siklus pertama, evaluasi instrumentasi dan prosedur harus berlabuh di lima komponen pembelajaran dari strategi instruksional Instrumen untuk mengumpulkan data tentang kinerja dan sikap peserta didikpenting. Pengumpulan data manajemen, seperti waktu yang dibutuhkan untuk menggunakan bahan dan Kelayakan rencana pengelolaan, juga penting. Selama uji coba lapangan, evaluator tidak ikut campur karena data dikumpulkan dari peserta didik atau instruktur, Meski pengamatan sementara bahan yang digunakan bisa memberikan wawasan untuk menafsirkan data.

Ada tiga siklus evaluasi formatif yaitu evaluasi one to one, evaluasi kelompok kecil dan evaluasi percobaan lapangan. Bagaimana jika evaluasi kelompok kecil tidak dilaksanakan dalam evaluasi formatif? Apakah bisa, jelaskan pendapat anda!