1.       INTRODUCTION

ICT (Information and Communication Technology) is the digital equipment which can store, process, and communicate the information. The omnipresent ICT has been a special interest topic in educational institute, because ICT could replace the aids tools, textbooks and chalkboards, for the teacher.

In Singapore the education authorities encourages the use of computer to upgrade teaching and learning by conveying computer hardware and software as infrastructure , and training teachers in first stage of the information technology (IT) master plan (MP1) from 1997 to 2002.  It aims that every student would have access to technology in learning (Ministry of Education, 1997). In the second stage of the master plan(MP2), the aim is to rule the ICT in bringing together key areas of education such as curriculum, assessment, instruction, and professional development to build school environments that  are conducive for engaged and holistic learning (Ministry of Education, 2002).

The goals of the MP1, integration of ICT to enhance the mathematical experience, objectives in following ways:

1. As “integrate” would imply, ICT should not merely be a bit-part player, but rather, it should feature prominently in mathematics classrooms.
2. “Integrate” also implies that ICT should be weaved tightly into other components of teaching practice to form a well-coordinated whole.
3. Students are expected to use technological tools directly in order to “enhance the mathematical experience.”

The aim of using ICT to enhance mathematical learning continues with “effective use” in MP2 which shifted “integration” in MP1

2.       LOCAL RESEARCH ON USE OF ICT IN MATHEMATICS EDUCATION

The effectuation of MP1 with ICT infrastructure in the schools has increased the number of studies on the use of ICT in the teaching and learning of mathematics in Singapore classrooms. The broad agendas which most local research directions are showed below:

• ICT-use  as a ”better” way for teaching mathematics
• ICT-use  as a ”better” way for learning mathematics
• ICT-use in relation to other factors in the instructional environment

ICT-use relates with the use of ICT tools and the term “better” relates with research studies that share common claims of ICT-use as being superior in some visible ways.

3.       ICT-USE AS A “BETTER” WAY FOR TEACHING MATHEMATICS

This agenda stress on how the teachers use the ICT features to improve the quality of mathematics teaching and learning. Solving mathematical problems in teaching would be better conveyed by using a technological tool. A case, a fictitious lottery game by using excel, is the random function in program. The equipment can generate 4-digit numbers, and it is also capable of producing the quick and random generation of numbers easier than manual.

Wu (2002) demonstrated a simulation of throwing an unbiased die in excel. The software that is not available in static media can simulate the experiment and represent the data in the table and diagram. Using the technological tools impacts the students to extend their understanding of statistical graphs. In this case, the ability of students used four excel templates, constructed using certain features of statistic, technology and pedagogy.

Ang (2006) demonstrated the analytic solution of certain differential equations. By using the graphing software, it is easier the students to view the portrayal as the solution in graphical solution.

Yu, Lam, and Mok (2004) describe the use of hand-held graphing calculators in teaching the transformation of graphs and the sketching of polar curves. Graphing calculators help the students to understand the pattern changes and features of the graphs. The translation from graph of Y=f(x) to graph of Y=f(x+c) and the changes in the number of “petals” of polar graphs are examples of the graphing calculators.

The intention of all technological tools reviewed above demonstrates how the aid of relevant software can help the teacher to enhance mathematics teaching and to solve the mathematics problem. It shows that mathematics teaching can be better with the aid of particular software.

4.       ICT-USE AS A “BETTER” WAY FOR LEARNING MATHEMATICS

The uses of ICT are conducted chronically by making a number of experimental to increase students’ achievement scores. Lee and Pereira-Mendoza (2002) used Logo software learning angle concepts in a primary 4 class. They compared between students treatment class with logo and other eight classes in the same grade level that did not use logo software. The result was found that students treatment class are capable of doing overall examination performance in two out of three items without loss in performance on the standard angle objectives as described in the curriculums.

Yeo (2006) also inquired about the Livemath, a type of computer algebra system (CAS) performing algebraic operations as well as displays update of changes in functional values graphically, in secondary 4 classes. He compared between treatment class that use software and the control class that didn’t use the software in two paper-and-pencils test. On the result, the treatment class did better than control class.

In another study, Ong (2002) did the study with Sketchpad which intended geometrical results and theorems and Ng (2004) applied the TI-92 CAS graphing calculator in a CAS intervention Programme (CASIP) for secondary 3. The result test compared that the students use software more interest in exploring mathematical concepts.

The reports above just involve each study in small sample size of a class and the studies were conducted over a short period. It also assumed that technology in itself possesses some intrinsic qualities that can enhance students learning by virtue of its mere inclusion in classroom teaching. It is more important to understand the role and the use of ICT within broader context of other factors which influence teaching and learning process.

5.       ICT-USE AS IN RELATION TO OTHER FACTORS IN THE INSTRUCTIONAL ENVIRONMENT

How technological tools can be used in conjunction with pedagogical approach that might influence the quality of instruction? Leong (2003) studied the relation between sketchpad application and the instruction approach. Three secondary 2 classes labeled A, B, and C participated in the study. The students were taught the same topics in transformation geometry over a period of three weeks. In class A, the students were given a sketchpad template to test the theories with the guided inquiry pedagogy by the teacher. In class C, the teacher served to expound the student without the software sketchpad as model the learning environment. The mode of sketchpad use in class B was somewhat “in between” that of class A and class C.

Then all students were given the paper-and-pencil test. Five of them selected randomly were observed the performance. There is no significant difference in conventional achievement between the classes that indicate the use of sketchpad, but in verbal assessment showed up some qualitative differences between the responses of students from class A and those from the other two classes. The students in class were better able to identify the transformation in object-image pairs and more competent in providing the full descriptions of the transformations. It indicates that the sketchpad use can develop an understanding of the concept images of inherent geometrical ideas.

Ang (2006) suspected that the teachers are demanded to take care into other aspects of teaching, such as examination-relevance although there are many ways IT can be utilised in classroom teaching. He doubted teachers’ motivation in wanting to use the ICT tools in normal classroom because most of the common software is currently not permitted in local examinations.

ICT use also to look the technical bugs as another important consideration to steady the robustness of computer systems. In Chua (2006) study of students using video-conferencing to interact with other students in different area. Lapses in hardware or software can “cause the considerable frustration to students and impinge on their learning when they are unable to keep up with  disrupted lessons” (p.94).

6.       CONCLUSION

There are many facets of the use of ICT that have not been research yet in mathematics education. In the hope of the focus on the specific use of ICT tools in predefined context, with a fixed approach toward mathematics teaching and learning.

The ICT implementation should be able to realize a sufficiently in-depth understanding of the complexity of teachings in actual classroom. And the educational professionals demand to continue the initiate of new research and turn over the variations of current research as the impact of the different ICT tools and approaches on teaching and learning.

ICT implementation also needs the teachers’ initiative to determine the suitable matter for their students, so they can create the opportunities for active learning that enable the development of a wide variety of content knowledge, skills, processes, and attitudes that they bring with them into the real world.

Denny Haris

A mathematics lecturer in Unimed (State University of Medan)

Wawancara adalah suatu metode atau cara yang digunakan untuk mendapatkan jawaban dari respondent dengan jalan tanya jawab sepihak, secara lisan, berhadapan muka dengan arah serta tujuan yang telah ditentukan (Djaali, 2008).

Wawancara pada dasarnya dapat dilakukan denga dua cara yaitu  interview bebas dan interview terpimpin.

• Tujuan pengembangan Wawancara

Wawancara dalam suatu penelitia bertujuan untuk mengumpulkan keterangan tentang kehidupan manusia dalam suatu masyarakat serta pendirian-pendirian mereka itu. Wawancara juga merupakan suatu pembantu utama dari metode observasi. Selain untuk mengumpulkan data penelitian, metode wawancara juga dipergunakan oleh wartawan untuk mencari berita, pimpinan perusahaan utk seleksi calon pegawai baru, atau psikoanalisis utk diagnosa dan terapi.

• Jenis-jenis Wawancara

Wawancara dapat digolongkan kedalam beberapa jenis, diantaranya:

1. Menurut responden yang mengikutinya

• Wawancara langsung
• Wawancara tak langsung

2. Menurut prosedur pelaksanaannya

• Wawancara terstruktur
• Wawancara tidak terstruktur
• Wawancara terarah

3. Menurut situasi ketika mengadakan wawancara

• Wawancara formal
• Wawancara informal

4. Menurut sasaran yang dituju

• Wawancara sekolah/pendidikan
• Wawancara klinis
• Wawancara industry
• Wawancara sosial dan masyarakat

5. Menurut sifat wawancara

• Terpimpin : iteer sengaja mengarahkan wawancara atau menggunakan dengan guide.
• Bebas terpimpin : ada guide tetapi pertanyaan tidak harus dinyatakan semua, disesuaikan dengan kondisi subject
• Pribadi : wawancara hanya dengan 1 orang mengkhususkan pada masalah pribadi
• Kelompok  : wawancara lebih dari satu orang, masalah yang dibicarakan relatif merupakan topik umum.
• Free talk : hubungan antar item dan item relatif tanpa jarak, tidak menggunakan guide interview, sebagai panduan karena pembicaraan mengalir. Free talk biasa digunakan dalam action research dan interaksi klinis dokter dan pasien.
• Diskusi : seperti freetalk tetapi perbincangan yang terjadi sampai pada tahap pencarian solusi atau sesuatu masalah tertentu.

6. Menurut fungsi dari wawancara

• Wawancara riset : dilakukan sebagai metode memperoleh data /informasi tertentu tentang suatu fenomena yang diteliti.
• Wawancara diagnostik/assessment : berfungsi untk melakukan pemeriksaan psikologis.
• Wawancara terapiutik : biasanya terjadi dalam helping relatonship, fungsinya untuk konseling, terapi, pemulihan.

 7. Menurut tujuan yang ingin dicapai

• Wawancara pekerjaan: untuk kepentingan bekerja, seleksi dan promosi
• Wawancara Informatif: untuk memperoleh informasi, misal wawancara pada liputan 6, wwcr yang dilakukan reporter Koran
• Wawancara administratif: untuk mendisiplinkan aturan, misal siswa yang bolos pelajaran dipanggil guru untuk mengingatkan
• Wawancara konseling (intake inerview): untuk mengetahui permasalahan yang terjadi pada klien dalam rangka membantu mengatasi masalah klien

8. Menurut waktu yang akan digunakan

• Wawancara pendek : 10 – 15 menit
• Wawancara penjang : lebih dari 1 jam
• Wawancara repetitif : dilakukan berulang – ulang

• Kelebihan dan Kekurangan Wawancara

Ada beberapa kelebihan dari wawancara yaitu :

(1). Wawancara dapat memberikan keterangan keadan pribadi hal ini tergantung pada hubungan baik antara pewawancara dengan objek.

(2). Wawancara dapat dilaksanakan untuk setiap umur dan mudah dalam pelaksaannya.

(3). Wawancara dapat dilaksanakan serempak dengan observasi data tentang keadaan individu lebih banyak diperoleh dan lebih tepat dibandingkan dengan observasi dan angket.

(4). Wawancara dapat menimbulkan hubungan yang baik antara si pewawancara dengan objek.

Sedangkan kelemahan wawancara adalah:

(1). Keberhasilan wawancara dapat dipengaruhi oleh kesediaan, kemampuan individu yang diwawancarai

(2). Kelancaran wawancara dapat dipengaruhi oleh keadaan sekitar pelaksaan wawancara.

(3). Wawancara menuntut penguasaan bahasa yang baik dan sempurna daripewawancara.

(4). Adanya pengaruh subjektif dari pewawancara dapat mempengaruhi hasil wawancara

• Langkah-langkah Pengembangan Wawancara.

(1). Merumuskan tujuan

(2). Merumuskan kegiatan atau aspek-aspek yang dinilai

(3). Menyusun kisi-kisi

(4). Menyusun pedoman wawancara

(5). Menyusun Lembaran penilaian

d. Pemeriksaan Dokumen (Documentary Analisis)

Evaluasi mengenai kemajuan, perkembangan atau keberhasilan belajar peserta didik tanpa menguji (tehnik nontes) juga dapat dilengkapi atau diperkaya dengan cara melakukan pemerikasaan terhadap dokumen-dokumen; misalnya dokumen yang memuat infomasi mengenai riwayat hidup (auto biography). Riwayat hidup adalah gambaran tentang keadaan seseorang selama dalam masa kehidupannya. Dengan mempelajari riwayat hidup, maka subjek evaluasi akan dapat menarik suatu

Pemeriksaan dokumen lainnya misalnya dokumen yang memuat informasi mengenai kapan siswa itu diterima di sekolah tersebut, apakah ia pernah meraih kejuaraan sebagai siswa yang berprestasi di sekolahnya, apakah ia memiliki keterampilan khusus, apakah ia pernah meraih kejuaraan atau penghargaan khusus atas keterampilannya itu, dll.kesimpulan tentang kepribadian kebiasaan atau sikap dari obyek yang dinilai.

Berbagai informasi, baik mengenai peserta didik, orangtua dan lingkungannya itu bukan tidak mungkin pada saat-saat tertentu sangat diperlukan sebagai bahan pelengkap bagi pendidik dalam melakukan evaluasi hasil belajar terhadap peserta didik.

Teknik penilaian non tes berarti tehnik penilaian dengan tidak menggunakan tes. Tehnik penilaian ini umumnya untuk menilai kepribadian anak secara menyeluruh meliputi sikap, tingkah laku, sifat, sikap sosial, ucapan, riwayat hidup dan lain-lain. Yang berhubungan dengan kegiatan belajar dalam pendidikan, baik secara individu maupun secara kelompok. Alat penilaian non-test, yang biasanya menyertai atau inheren dalam pelaksanaan proses belajar mengajar sangat banyak macamnya. Di antaranya bisa disebutkan adalah angket (kuesioner), observasi, wawancara, sosiometri, checklist, concept map, portfolio, student journal, pertanyaan-pertanyaan, dan sebagainya. Keberhasilan siswa dalam proses belajar-mengajar tidak dapat diukur dengan alat tes. Sebab masih banyak aspek-aspek kemampuan siswa yang sulit diukur secara kuantitatif dan mencakup objektifitas misalnya aspek efektif psikomotor.

 Jenis-jenis Instrument Non Tes

Berikut ini adalah beberapa instrument yang tergolong ke dalam non tes yaitu:

a. Kuesioner

Kuesioner juga sering dikenal sebagai angket. Pada dasarnya, quesioner adalah sebuah daftar pertanyaan yang harus diisi oleh orang yang akan diukur (responden). Pada umumnya tujuan penggunaan angket atau kuesioner dalam proses pembelajaran terutama adalah untuk memperoleh data mengenai latar belakang peserta didik sebagai salah satu bahan dalam menganalisis tingkah laku dan proses belajar mereka. Hal ini juga disampaikan oleh Yusuf (dalam Arniatiu, 2010) yang menyatakan kuisioner adalah suatu rangkaian pertanyaan yang berhubungan dengan objek yang dinilai dengan maksud untuk mendapatkan data atau inform.

Selain itu, data yang dihimpun melalui angket biasanya juga berupa data yang berkenaan dengan kesulitan-kesulitan yang dihadapi oleh siswa dalam mengikuti pelajaran. Misalnya: cara belajar, bimbingan guru dan orang tua, sikap belajar dan lain sebagainya.

Angket pada umumnya dipergunakan untuk menilai hasil belajar pada ranah afektif. Angket dapat disajikan dalam bentuk pilihan ganda atau skala sikap.

• Tujuan Pengembangan Kuesionar (Angket)

Adapun beberapa tujuan dari pengembangan angket adalah :

(1). Mengumpulkan informasi sebanyak mungkin dari siswa tentang pembelajaran matematika.

(2).Membimbing siswa untuk belajar efektif sampai tingkat penguasaan tertentu.

(3). Mendorong siswa untuk lebih kreatif dalam belajar.

(4). Membantu anak yang lemah dalam belajar.

(5).Untuk mengetahui kesulitan – kesulitan siswa dalam pembelajaran matematika.

• Jenis-jenis kuesioner (menurut Yusuf , dalam Artiatiu, 2010)

1.      Kuesioner dari segi isi dapat dibedakan atas 4 bagian yaitu:

• Pertanyaan fakta adalah pertanyaan yang menanyakan tentang fakta antara lain seperti jumlah sekolah, jumlah jam belajar, dll.
• Pertanyaan perilaku adalah apabila guru menginginkan tingkah laku seseorang siswa dalam kegiatan di sekolah atau dalam proses belajar mengajar.
• Pertanyaan informasi adalah apabila melalui instrument itu guru ingin mengungkapkan berbagai informasi atau menggunakan fakta.
• Pertanyaan pendapat dan sikap adalah kuesioner yang berkaitan dengan perasaan, kepercayaan predisposisi, dan nilai-nilai yang berhubungan dengan objek yang dinilai.

2.      Kuesioner dari jenisnya dapat dibedakan atas 3 yaitu :

• Tertutup, kuesioner yang alternative jawaban sudah ditentukan terlebih dahulu. Responden hanya memilih diantara alternative yang telah disediakan.
• Terbuka, kuesioner ini memberikan kesempatan pada siswa untuk mengemukakan pendapatnya tentang sesuatu yang ditanyakan sesuai dengan pandangan dan kemampuannya. Alternative jawaban tidak disediakan. Mereka menciptakan sendiri jawabannya dan menyusun kalimat dalam bahasa sendiri
• Tertutup dan terbuka, kuesioner ini merupakan gabungan dari kedua bentuk yang telah dibicarakan. Yang berarti bahwa dalam bentuk ini, disamping disediakan alternative, diberi juga kesempatan keoada siswa/mahasiswa untuk mengemukakan alternative jawabannya sendiri, apabila alternative yang disediakan tidak sesuai dengan keadaan yang bersangkutan.

3.      Kuesioner dari segi yang menjawab dapat dibedakan atas 2, yaitu :

• Kuesioner langsung, yaitu kuesioner yang langsung dijawab/diisi oleh individu yang akan diminta keterangannya.
• Kuesioner tidak langsung, yaitu kuesioner yang diisi oleh orang lain,  (orang yang tidak diminta keterangannya).

4.      Kuesioner dari sisi bagaimana kuesioner itu diadministrasikan pada responden dapat dibedakan atas 2, yaitu :

• Kuesioner yang dikirimkan (Mail Questionaire)
• Kuesioner yang dapat dibagikan langsung pada responden.

• Kelebihan dan Kekurangan Angket

Ada beberapa hal yang menjadi kelebihan angket sebagai instrument evaluasi, diantaranya yaitu:

(1). Dengan angket kita dapat memperoleh data dari sejumlah anak yang banyak yang hanya membutuhkan waktu yang sigkat.

(2). Setiap anak dapat memperoleh sejumlah pertanyaan yang sama

(3). Dengan angket anak pengaruh subjektif dari guru dapat dihindarkan

Sedangkan kelemahan angket, antara lain:

(1). Pertanyaan yang diberikan melalui angket adalah terbatas, sehingga apabila ada hal-hal yang kurang jelas maka sulit untuk diterangkan kembali

(2). Kadang-kadang pertanyaan yang diberikan tidak dijawab oleh semua anak, atau mungkin dijawab tetapi tidak sesuai dengan kenyataan yang sebenarnya. Karena anak merasa bebas menjawab dan tidak diawasi secara mendetail.

(3). Ada kemungkinan angket yang diberikan tidak dapat dikumpulkan semua, sebab banyak anak yang merasa kurang perlu hasil dari angket yang diterima, sehingga tidak memberikan kembali angketnya.

• Langkah-langkah Pengembangan Angket

Adapun cara penyusunan atau pengembangan angket adalah sebagai berikut:

(1). Merumuskan tujuan

(2). Merumuskan kegiatan

(3). Menyusun langkah-langkah

(4). Menyusun kisi-kisi

(5). Menyusun panduan angket

(6). Menyusun alat penilaian

b. Pengamatan (observation)

Pengamatan observasi adalah suatu tehnik yang dilakukan dengan cara mengadakan pengamatan secara teliti serta pencatatan secara sistematis terhadap fenomena-fenomena yang dijadikan objek pengamatan

Observasi sebagai alat evaluasi banyak digunakan untuk menilai tingkahlaku individu atau proses terjadinya suatu kegiatan yang dapat diamati. Observasi yang dapat menilai atau mengukur hasil belajar adalah tingkah laku para siswa ketika guru sedang mengajar.

• Tujuan Pengembangan Observasi

Sebagai alat evaluasi , observasi digunakan untuk:

a) Menilai minat, sikap dan nilai yang terkandung dalam diri siswa.

b) Melihat proses kegiatan yang dilakukan oleh siswa maupun kelompok.

c) Suatu tes essay / obyektif tidak dapat menunjukan seberapa kemampuan siswa dapat menjelaskan pendapatnya secara lisan, dalam bekerja kelompok dan juga kemampuan siswa dalam mengumpulkan data.

• Jenis-jenis Observasi

Observasi atau pengamatan dapat dilakukan dalam berbagai cara. Berdasarkan cara dan tujuan, onservasi dapat dibedakan menjadi 3 yaitu:

1)      Observasi partisipatif dan nonpartisipatif

Observasi partisipatif adalah yaitu observasi yang dilakuakan oleh pengamat diamna pengamat sendiri memasuki atau mengikuti kegiatan kelompok yang sedang diamati. Sedangkan observasi nonpartisipatif, observasi tidak mengambil bagian dalam kegiatan yang dilakukan oleh objeknya. Atau evaluator berada “diluar garis” seolah-olah sebagai penonton belaka.

Contoh observasi partisipatif : Misalnya guru mengamati setiap anak. Kalau observasi nonpartisipatif, guru hanya sebagai pengamat, dan tidak ikut bermain.

2)      Observasi sistematis dan observasi nonsitematis

Observasi sistematis adalah observasi yang sebelum dilakukan, observer sudah mengatur sruktur yang berisi kategori atau kriteria, masalah yang akan diamati Sedangkan observasi nonsistematis yaitu apabila dalam pengamatan tidak terdapat stuktur ketegori yang akan diamati.

Contoh observasi sistematis misalnya guru yang sedang mengamati anak-anak menanam bunga. Disini sebelum guru melaksanakan observasi sudah membuat kategori-kategori yang akan diamati, misalnya tentang: kerajinan, kesiapan, kedisiplinan, ketangkasan, kerjasama dan kebersihan. Kemudian ketegori-kategori itu dicocokkan dengan tingkah laku murid dalam menanam bunga. Kalau observasi nonsistematis maka guru tidak membuat kategori-kategori diatas, tetapi langsung mengamati anak yang sedang menanam bunga.

3)      Observasi experimental, yaitu observasi yang dilakukan dalan situasi yang dibuat atau dirancang oleh observer.

• Kelebihan dan Kekurangan Observasi

Observasi sebagai alat penilain nontes, mempunyai beberapa kelebihan, antara lain:

(1). Observasi dapat memperoleh data sebagai aspek tingkah laku anak.

(2).   Dalam observasi memungkinkan pencatatan yang serempak dengan terjadinya suatu gejala atau kejadian yang penting

(3). Observasi dapat dilakukan untuk melengkapi dan mencek data yang diperoleh dari teknik lain, misalnya wawancara atau angket.

(4). Observer tidak perlu menggunakan bahasa untuk berkomunikasi dengan objek yang diamati, kalaupun menggunakan, maka hanya sebentar dan tidak langsung memegang peran.

 Sedangkan kelemahan dari observasi adalah:

(1). Observer tiidak dapat mengungkapkan kehidupan pribadi seseorag yang sangat dirahasiakan.

(2). Apabila si objek yang diobservasikan mengetahui kalau sedang diobservasi maka tidak mustahil tingkah lakunya dibuat-buat, agar observer merasa senang.

(3). Observer banyak tergantung kepada faktor-faktor yang tidak dapat dapat dikontrol sebelumya.

• Langkah-langkah Pengembangan Observasi

1. Merumuskan tujuan

2. Merumuskan kegiatan

3. Menyusun langkah-langkah

4. Menyusun kisi-kisi

5. Menyusun panduan observasi

6. Menyusun alat penilaian

Dalam mengembangkan atau menyusun sebuah tes hasil belajar supaya tes tersebut memiliki karakteristik tes yang baik, harus ditempuh sejumlah langkah-langkah sebagai berikut:

• Menetapkan tujuan penilaian atau tujuan tes

Setiap orang yang mau melakukan kegiatan penilaian, harus sadar apa tujuan dia melakukan penilaian tersebut. Artinya keputusan apa yang akan dia ambil dari dari hasil penilaian tersebut. Secara umum tujuan kegiatan evaluasi atau keputusan yang dapat di ambil oleh guru di sekolah dapat dikelompokkan kedalam tes formatif, tes sumatif, tes diagnostik, tes penempatan atau seleksi. Untuk jenis-jenis tes ini telah dijelaskan pada uraian sebelumnya.

• Menganalisis dokumen-dokumen

Setelah seorang guru menetapkan tujuan apa yang ingin dicapai dengan melakukan penilaian tersebut adalah menelaah dokumen-dokemen. Dokumen  yang di maksud adalah:

1)        GBPP atau silabus

Tujuan kegiatan ini adalah untuk menelaah materi apa yang seharusnya sudah disampaikan dalam kurun waktu tertentu (ruang lingkup pelajaran).

2)        Percana Pelajaran (RP) atau satuan pelajaran

Dengan menganalisi rencana pembelajaran (renpel) atau satuan pelajaran (satpel) guru akan atau tujuan pelajaran apa saja yang sudah dirumuskan dalam setiap kegiatan belajar.

3)        Program pembelajaran (program mingguan atau bulanan atau semesteran)

Dengan menganalisis dokumen ini, akan teridentifikasi ruang lingkup materi pelajaran sampai kurun waktu tertentu. Jadi dokumen ini akan saling melengkapi dengan silabus atau GBPP yang ada.

4)        Buku sumber

Dengan menganalisi buku sumber yang digunakan, baik buku sumber yang dijadikan acuan oleh guru maupun buku pegangan siswa, guru akan mengetahui kedalaman atau keluasan materi yang menjadi pokok bahan penyusunan soal.

5)        Agenda mengajar guru

Guru harus memiliki agenda mengajar. Buku agaenda guru merupakan dokumen otentik yang dapat dijadikan dasar dalam penyusunan soal. Dengan menganalisis agenda mengajar yang dibuat guru, guru sendiri akan tahu materi pelajaran mana yang nyata-nyata telah diajarkan disuatu kelas.

• Mengembangkan kisi-kisi

Kisi-kisi adalah format atau matrik yang memuat informasi yang dapat dijadikan pedoman oleh penulis soal untuk menulis soal atau merakit soal menjadi tes. Dengan berpedom kepada kisi-kisi ini penulis soal akan dapat mengahasilkan soal-soal yang sesuai dengan tujuan tes dan perakit tes dapat menyusun perangkat tes dengan mudah. Dengan kisi-kisi yang baik walaupun penulis soal berbeda akan dapat menghasilkan soal-soal yang relatif sama, baik tingkat kedalaman maupun cakupan materi yang harus diungkap.

Dalam kisi-kisi terdapat dua komponen utama, yaitu komponen identitas dan komponen komponen matrik.

• Komponen identitas mencakup aspek :

1)   Jenis sekolah atau jenjang sekolah

2)   Mata pelajaran

3)   Kurikulum yang diacu

4)   Tingkat kelas

5)   Alokasi waktu

6)   Jumlah soal

• Komponen matrik paling tidak mencakup hal-hal :

1)   Komponen yang ingin di ungkap

2)   Indikator hasil belajar

3)   Tema/konsep/pokok bahasan/sub pokok bahasan

4)   Pokok materi soal

5)   Bentuk soal

6)   Nomor soal

Dalam memilih materi ada beberapa kriteria yang dapat digunakan adalah:

1)   Urgensi yaitu pokok bahasan atau materi yang secara teoritis mutlak harus dikuasai oleh siswa.

2)   Kontinuitas yaitu merupakan pokok bahasan lanjutan yang merupakan pendalaman dari satu atau lebih pokok bahasan yang sudah dipelajari sebelumnya, baik dalam jenjang yang sama maupun antar jenjang.

3)   Relevansi maksudnya pokok bahasan atau materi pelajaran terpilih harus merupakan pokok bahasan yang diperlukan untuk mempelajari atau memahami bidang studi lain.

4)   Keterpakaian maksudnya pokok bahasan atau materi itu harus merupakan materi yang memiliki nilai terapan tinggi dalam kehidupan sehari-hari

Dalam pembuatan kisi-kisi pencantuman komponen-komponen diatas bukan merupakan suatu yang baku, yang harus seperi itu. Penyusun kisi-kisi dapat mengurangi atau menambah komponen tersebut sesuai keperluan atau tujuan tes. Bahkan dalam ulangan yang sifatnya formatif kisi-kisi tidak perlu dirumuskan. Yang penting soal-soal yang dibuat harus memiliki keterkaitan kuat dengan indikator hasil belajar yang telah dirumuskan atau yang dipilih dari silabus yang diacu.

• Menulis soal

Setelah kisi-kisi dibuat, langkah berikutnya adalah menulis soal. Dalam menulis soal ada dua hal yang harus diperhatikan, yaitu kisi-kisi dan aturan atau kaidah penulisan soal. Dari kisi-kisi yang harus diperhatiksn betul adalah mengenai indikator hasil belajar. Dalam setiap indikator akan terdapat ranah atau tingkatan kognitif yang ingin diungkap (misalnya menyebutkan, menjelaskan, memberi contoh, menghitung, menguraikan dan menyimpulkan)

Hal kedua yang harus diperhatikan adalah kaidah atau aturan penulisan soal. Kaidah-kaidah penulisan soal merupakan petunjuk atau pedoman yang perlu diikuti, agar soal yang dihasilkan memiliki mutu yang baik. Aturan penulisan soal tersebut ada yang berlaku untuk semua jenis soal (aturan umum), ada juga aturan khusus yang berlaku untuk jenis soal tertentu. Berikut ini akan diuraikan aturan-aturan penulisan soal bentuk soal pilihan ganda dan bentuk uraian.

Aturan umum penulisan soal:

1)   Gunakan bahasa yang mudah dipahami, jangan berbelit-belit. Jangan menggunakan bahasa yang hanya berlaku setempat (kecuali dalam pelajaran bahasa daerah).

2)   Jangan mengutip langsung kalimat dari buku. Jika hal ini terjadi akan mendorong siswa untuk menyontek atau membuka buku.

3)   Bila merupakan pandangan seseorang, sebutkan pendapat siapakah itu.

4)   Soal tidak memberi isyarat jawaban bagi soal lain.

5)   Hindarkan soal yang menanyakan hal-hal yang sepele.

6)   Hindarkan kebergantungan suatu soal pada soal lain.

7)   Pokok soal harus dirumuskan secara tegas dan jelas

Selain kaidah atau aturan berlaku untuk semua jenis soal seperti diatas, setiap jenis soal memiliki kaidah. Untuk soal pilihan ganda kaidah tersebut adalah :

1)   Materi

1. Rumusan soal harus sesuai dengan indikator
2. Pengecoh harus berfungsi, jangan terlalu kelihatan salahnya
3. Setiap soal harus mempunyai satu jawaban yang benar atau paling benar

2)   Kontruksi

1. Pokok soal harus dirumuskan secara tegas dan jelas.
2. Rumusan pokok soal dan pilihan jawaban harus merupakan pertanyaan yang diperlukan saja.
3. Pokok soal jangan memberi petunjuk ke arah jawaban yang benar.
4. Pokok soal jangan mengandung pernyataan yang bersifat negatif ganda.
5. Pilihan jawaban harus homogen dan logis ditinjau dari segi materi.
6. Panjang rumusan pilihan jawaban harus relatif sama.
7. Pilihan jawaban jangan mengandung pertanyaan.
8. Pilihan jawaban yang berbentuk angka atau waktu harus disusun berdasarkan urutan besar kecilnya nilai angka tersebut atau kronologis waktunya.
9. Gambar, grafik, tabel, diagram dan sejenisnya yang terdapat pada soal harus jelas dan berfungsi.
10. Butir soal jangan bergantung pada jawaban soal sebelumnya

3)   Bahasa

1. Setiap soal harus menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia.
2. Bahasa yang digunakan harus komunikatif, sehingga mudah dimengerti siswa.
3. Jangan menggunakan bahasa yang berlaku setempat, jika soal akan digunakan untuk daerah lain atau nasional.
4. Pilihan jawaban jangan mengulang kata atau frase yang bukan merupakan satu kesatuan pengertian.

Kaidah penulis soal uraian, antara lain:

1)   Rumusan butir soal harus mengacu pada indikator yang telah dirumuskan

2)   Batasan jawaban atau ruang lingkup yang hendak diukur harus jelas dan terukur.

3)   Harus mengunakan kata tanya atau perintah yang menuntut jawaban uraian

4)   Hindari pertanyaan : siapa, apa,  bila

5)   Menggunakan bahasa yang baku

6)   Menghindari menggunakan kata-kata yang dapat ditafsirkan ganda

7)   Buat petunjuk yang jelas bagaimana soal itu dikerjakan

8)   Buat kunci jawaban berbarengan dengan membuat soal

9)   Buat pedoman penskorannya

• Analisis rasional

Maksudnya adalah soal yang telah dirumuskan dianalisis kembali, ditimbang (di judge) baik oleh sendiri maupun oleh orang lain dengan berpedoman kepada kisi-kisi dan aturan penulisan soal seperti yang yang telah diuraikan diatas.

• Revisi soal

Bila dalam satu rumusan soal terdapat tanda cek (V) pada kolom TIDAK, maka soal tersebut harus diperbaiki sesuai dengan aspek tersebut.

• Merakit soal

Setelah soal diperbaiki sesuai dengan aspek diatas, maka seluruh soal diorganisasikan kedalam jenis atau kelompoknya.

• Uji coba lapangan

Setelah soal dianalisis kemudian ditarik berdasarkan kelompoknya, langkah berikutnya adalah uji coba kepada sekelompok siswa. Uji coba ini dilakukan bila soal akan dibakukan dan diguanakan pada kelompok yang lebih luas.

• Analisis hasil uji coba (analisi empiris)

Bila soal akan dibakukan, setelah uji coba lapangan soal dianalisis secara empiris. Hal yang di analisis mencakup analisis butir soal dan analisis tes secara keseluruhan.

• Revisi dan perakitan ulang soal

Dari hasil analisis empiris memungkinkan masih adanya beberapa soal yang tidak valid. Soal-soal tersebut direvisi dan di rakit kembali menjadi perangkat tes yang baku.

• Perbanyakan intrumen

Setelah direvisi dan dirakit ulang, akhirnya soal siap untuk diperbanyak dan digunakan. Agar soal benar-benar terjaga kerahasiannya, keamanan saat penggandaan harus diperhatikan.

• Pelaksanaan tes

Setelah digandakan intrumen siap untuk digunakan. Dalam pelaksanaan tes perlu memperhatikan beberapa hal antara lain:

1. Jumlah peserta dalam satu ruangan
2. Pengawasan
3. Kondisi ruangan
4. Skoring

Langkah berikutnya setelah tes dilaksanakan adalah pengolahan atau skoring. Dalam skoring, bisa dilakukan secara manual atau dengan menggunakan program komputer (scenner).

• Pemanfaatan hasil

Langkah terakhir adalah pemanfaatan hasil tes. Dalam pemanfaatan hasil tes hal yang perlu diperhatikan adalah tujuan awal tes itu sendiri, untuk apa tes itu dilakukan. Teknik pengolahan skor akan tergantung juga pada tujuan tersebut.

Dalam Djaali (2008) disebutkan bahwa secara umum tes diartikan sebagai alat yang digunakan untuk mengukur pengetahuan atau penguasaan obyek ukur terhadap seperangkat konten dan materi tertentu. Menurut Sudiyono (1996) dalam Djaali (2008), tes adalah alat atau prosedur yang digunakan dalam rangka pengukuran dan penilaian.

Tes dapat juga diartikan sebagai alat pengukur yang mempunyai standar objektif, sehingga dapat dipergunakan secara meluas, serta betul-betul dapat digunakan untuk mengukur dan membandingkan keadaan pskis atau tingkah laku individu. Tes merupakan suatu prosedur yang sistematis untuk mengamati atau mendeskripsikan satu atau lebih karakteristik seseorang dangan menggunakan standar numeric atau system kategori.

Fungsi tes

Secara umum ada beberapa macam fungsi tes di dalam dunia pendidikan, yaitu:

• Pertama, tes dapat berfungsi sebagai alat untuk mengukur prestasi belajar siswa dan juga sebagai alat untuk mengukur keberhasilan program pengajaran.

Hal ini berarti tes dimaksudkan untuk mengukur tingkat perkembangan atau kemajuan yang telah dicapai siswa setelah menempuh proses belajar mengajar dalam jangka waktu tertentu. Dalam kaitannya untuk mengukur keberhasilan program, tes berfungsi untuk menunjukkan seberapa jauh program pengajaran yang telah ditentukan dapat dicapai, dan seberapa banyak yang belum tercapai dan menentukan langkah apa yang perlu dilakukan untuk mencapainya.

• Kedua, tes berfungsi sebagai motivator dalam pembelajaran.

Berkaitan dengan point ini, Thorndike (1991) mengemukakan bahwa siswa akan belajar lebih giat dan berusaha lebih keras apabila mereka mengetahui bahwa di akhir program yang sedang ditempuh aka nada tes untuk mengetahui nilai dan prestasi mereka. Selain itu, Ebel (1979) mengemukakan bahwa tes kadang-kadang dianggap sebagai motivator ekstrinsik.

• Ketiga, tes dapat berfungsi untuk upaya perbaikan kualitas pembelajaran.

Dalam rangka perbaikan kualitas pembelajaran ada tiga jenis tes yang perlu dibahas yaitu tes penempatan, tes diagnosis, dan tes formatif.

Tes formatif adalah penilaian tentang prestasi siswa, yang terintegrasi dalam rencana pelajaran. Penilaian yang terus menerus dilakukan berfungsi untuk  memberikan arah dalam melakukan kegiatan berikutnya. Tes formatif dilakukan pada setiap periode waktu tertentu dan digunakan untuk memonitor kemajuan siswa (Silverius, 1991: 4-5).

Tujuan tes formatif adalah untuk membantu siswa dan guru dalam proses belajar mengajar pada materi-materi yang khusus (tertentu) sehingga siswa mempunyai penguasaan yang tuntas (mastery). Tes formatif dapat digunakan untuk memantau kemajuan belajar siswa selama proses belajar mengajar berlangsung dalam satu program tertentu (missal caturwulan/semester). Dilihat dari bentuknya, tes formatif dapat dibagi menjadi dua yaitu: (i) tes uraian dan (ii) tes objektif.

1. Bentuk Tes Uraian

Tes subjektif atau yang biasa disebut dengan tes uraian adalah salah satu bentuk tes untuk memperoleh skor yang dipengaruhi oleh opini atau penilaian dari seseorang. Jenis tes uraian menghendaki siswa merumuskan jawaban sendiri. Siswa tidak memilih jawaban melainkan memberi jawaban dengan kata-katanya sendiri.

Pemberian tes uraian dimaksudkan untuk mengembangkan secara penuh respons siswa. Selain ingatan dan penerapan akan suatu konsep, ketajaman analisis dan interpretasi sangat diperlukan dalam menjawab tes uraian. Dengan tes uraian, pemberi tes/guru dapat dengan mudah mengetahui apakah siswa telah mengetahui suatu konsep atau belum, dan sejauh/sedalam mana daya analisis yang dimiliki siswa. Di sisi lain pekerjaan pemberi tes/guru menjadi berat, sebab mengoreksi jawaban tes uraian harus teliti, cermat membutuhkan waktu banyak, mempunyai wawasan luas tentang kemungkinan-kemungkinan jawaban yang muncul, dan memberikan skor setiap jawaban siswa agak sulit. Butir-butir tes uraian sangat efektif mengukur hasil belajar tingkat yang tinggi, seperti analisis, sintesis, dan evaluasi (Charles D. Hopkins and Richard L. Antes, 1990:185).

Ada beberapa hal yang harus diperhatikan dalam penyusunan bentuk tes uraian yaitu: (1) dari segi isi yang diukur hendaknya ditentukan dengan jelas abilitasnya (pemahaman konsep, aplikasi suatu konsep, analisis dari suatu permasalahan, dan aspek kognitif lainnya), (2) dari segi bahasa, gunakan bahasa yang baik dan benar, sederhana, singkat, jelas apa yang hendak ditanyakan, (3) dari segi teknis penyajian soal, jangan mengulang-ulang pertanyaan terhadap materi yang sama. Perhatikan waktu yang disediakan untuk mengerjakan soal tersebut. Bedakan bobot penilaian untuk setiap soal disesuaikan dengan tingkat kesukaran soal, (4) dari segi jawaban, setiap pertanyaan yang hendak diajukan sebaiknya telah ditentukan jawaban yang diharapkan atau dengan kata lain adanya satu jawaban yang benar.

2. Bentuk Tes Pilihan Ganda (Obyektif)

Tes objektif adalah tes yang dapat diskor secara objektif, karena pemeriksaannya atau penskorannya tidak selalu dilakukan oleh manusia tapi dapat dilakukan oleh mesin.

Secara umum terdapat tiga tipe tes objektif yaitu: pilihan ganda (multiple choice), benar-salah (true-false), dan menjodohkan (matching). Untuk bentuk tes pilihan ganda yang pada umumnya terdiri atas satu kalimat pernyataan atau kalimat pertanyaan yang disebut item dan beberapa pilihan jawaban yang disebut alternatif atau options. Biasanya digunakan 3 atau 4 alternatif jawaban untuk sekolah dasar dan 5 alternatif jawaban untuk sekolah menengah. Jadi, tes pilihan ganda adalah seperangkat tes yang setiap butirnya menyediakan beberapa alternatif jawaban dimana salah satunya merupakan jawaban yang benar dan lainnya merupakan pengecoh (distractor).

Menurut Ebel dan Frisbie (!986: 66-67), beberapa hal yang perlu diperhatikan dalam menyusun pengecoh dengan baik adalah: (1) masing-masing pengecoh harus dibuat sama panjang, (2) dapat dipikirkan sebagai gabungan beberapa pernyataan untuk menjawab pertanyaan, (3) jika butir soal menghendaki jawaban ya atau tidak maka alternatif jawaban harus disertai penjelasan, (4) perlu digunakan kombinasi dua elemen dalam alternatif jawaban, (5) jika alternatif jawaban masih sukar dipahami perlu dipertimbangkan kembali pokok soalnya.

Bryant (1996: 3) mengungkapkan keunggulan tes pilihan ganda sebagai berikut: (1) dapat secara komprehensif untuk materi yang luas, karena banyak pertanyaan yang dapat dibuat, (2) dapat digunakan untuk mengetes berbagai tingkatan belajar, (3) mempunyai reliabilitas yang tinggi dalam pengukuran dan pemberian sekor, (4) memerlukan biaya tinggi tetapi dapat digunakan secara efektif, (5) dapat dikembangkan menjadi tes baku, dan (6) dapat digunakan dengan baik untuk mengetahui kesulitan siswa jika options yang dipilih salah.

• Keempat, tes dengan tujuan untuk menentukan keberhasilan yang dicapai oleh siswa.

Evaluasi ini dimaksudkan untuk mengukur tingkat keberhasilan siswa dalam mempelajari suatu pelajaran. Hasil dari evaluasi digunakan untuk menentukan posisi siswa dalam pelajaran tersebut, seperti untuk menentukan angka nilai dalam rapot, menentukan kenaikan kelas dan menentukan kelulusan siswa. Contoh evaluasi ini seperti Ujian Akhir Semester (UAS).

• Kelima, tes yang dimaksudkan untuk menentukan berhasil atau tidaknya siswa sebagai syarat untuk melanjutkan pendidikan yang lebih tinggi.

Untuk keperluan ini di kenal istilah tes sumatif yaitu tes hasil belajar yang dilaksanakan setelah sekumpulan materi pelajaran atau suatu pogram pengajaran selesai diberikan. Dalam pelaksanaannya tes formatif ini merupakan ulangan umum yang diadakan pada akhir caturwulan atau semesteran.

Jenis-Jenis Tes

Pada dasarnya tes memiliki banyak jenis yang berbeda-beda sesuai dari aspek tertentu, berikut ini adalah jenis-jenis dari tes tersebut menurut Djaali (2008):

• Ditinjau dari fungsinya, tes dibedakan menjadi 6 golongan yaitu tes awal, tes akhir, tes seleksi, tes diagnosis, tes formatif, tes sumatif.
• Ditinjau dari aspek psikis yang akan diungkap, tes digolongkan kedalam 5 golongan yaitu tes intelegensi, tes kemampuan yang dikenal yang dikenal dengan istilah aptitude test, tes sikap yang dinekal dengan istilah attitude test, tes kepribadian yang dikenal dengan istilah personality test, dan tes hasil belajar yang dikenal dengan istilah achievement test.
• Ditinjau dari peserta yang mengikuti tes, maka tes dibedakan menjadi dua golongan yaitu tes individu yang dikenal dengan individual test, dan yang kedua adalah tes kelompok yang dikenal dengan goup test.
• Ditinjau dari waktu yang disediakan bagi peserta tes untuk menjawan butir-butir tes, maka tes dibedakan menjadi dua golongan. Yang pertama, power test yaitu tes dimana waktu yang disediakan bagi peserta tes untuk menyelesaikan tes tidak dibatasi. Yang kedua adalah speed test, yaitu tes diaman waktu yang diberikan kepada peserta tes dibatasi.
• Ditinjau dari respon, tes dibedakan menjadi tiga golongan. Pertama, tes tertulis yang dikenal denga pencil and paper test. Kedua, tes tidak tertulis yang dikenal dengan isltilah non-paper and pencil test. Ketiga, tes perbuatan yang diberikan dalam bentuk tugas atau instruksi.
• Ditinjau dari cara mengajukan pertanyaan ada dua golongan yaitu secara lisan dan secara tulisan.

• Experimental research is unique in that it is the only type of research that directly attempts to influence a particular variable, and it is the only type that, when used properly, can really test hypotheses about cause-and-effect relationships. Experimental designs are some of the strongest available for educational researchers to use in determining cause and effect.

Essential Characteristics of Experimental Research

• Experiments differ from other types of research in two basic ways ― comparison of treatments and the direct manipulation of one or more independent variables by the researcher.

Randomization

• Random assignment is an important ingredient in the best kinds of experiments. It means that every individual who is participating in the experiment has an equal chance of being assigned to any of the experimental or control conditions that are being compared.

Control of Extraneous Variables

• The researcher in an experimental study has an opportunity to exercise far more control than in most other forms of research.
• Some of the most common ways to control for the possibility of differential subject characteristics (in the various groups being compared) are randomization, holding certain variables constant, building the variable into the design, matching, using subjects as their own controls, and using analysis of the covariance.

Weak Experimental Designs

• The essential ingredient of a true experiment is random assignment of subjects to treatment groups.
• In a one-shot case study, a single group is exposed to a treatment or event, and its effects assessed.
• In the one-group pretest-posttest design, a single group is measured or observed both before and after exposure to a treatment.
• In the static-group comparison design, two intact groups receive different treatments.

True Experimental Designs

• Several stronger designs that are more commonly used are true experimental designs, matching designs, counterbalanced designs, time-series designs, and factorial designs. These designs do have at least some controls built into the design to control for threats to internal validity.
• The randomized posttest-only control group design involves two groups formed by random assignment.
• The randomized pretest-posttest control group design differs from the randomized posttest-only control group only in the use of a pretest.
• The randomized Solomon four-group design involves random assignment of subjects to four groups, with two being pretested and two not.

Matching

• To increase the likelihood that groups of subjects will be equivalent, pairs of subjects may be matched on certain variables. The members of the matched groups are then assigned to the experiment and control groups.
• Matching may be either mechanical or statistical.
• Mechanical matching is a process of pairing two persons whose scores on a particular variable are similar.
• Two difficulties with mechanical matching are that it is very difficult to match on more than two or three variables, and that in order to match, some subjects must be eliminated from the study, when no matches can be found.
• Statistical matching does not necessitate a loss of subjects.

Quasi-Experimental Designs

• In a counterbalanced design, all groups are exposed to all treatments, but in a different order.
• A time-series design involves repeated measurements or observations over time, both before and after treatment.

Factorial Designs

• Factorial designs extend the number of relationships that may be examined in an experimental study.

Reference

Fraenkel, Jack R. and Wallen, Norman E. How to Design and Evaluate Research in Education. McGraw-Hill (2010)

• The term qualitative research refers to the quality of relationships, activities, situations, or materials.
• The natural setting is a direct source of data, and the researcher is a key part of the instrumentation process in qualitative research.
• Qualitative data are collected mainly in the form of words or pictures and seldom involve numbers. Content analysis is a primary method of data analysis.
• Qualitative researchers are especially interested in how things occur and particularly in the perspectives of the subjects of a study.
• Qualitative researchers do not, usually, formulate a hypothesis beforehand and then seek to test it. Rather, they allow hypotheses to emerge as a study develops.
• Qualitative and quantitative research differ in the philosophic assumptions that underlie the two approaches.

Steps Involved in Qualitative Research

• The steps involved in conducting a qualitative study are not as distinct as they are in quantitative studies. They often overlap and sometimes are even conducted concurrently.
• All qualitative studies begin with a foreshadowed problem; the particular phenomenon the researcher is interested in investigating.
• Researchers who engage in a qualitative study of some type usually select a purposive sample. Several types of purposive samples exist.
• There is no treatment in a qualitative study, nor is there any manipulation of variables.
• The collection of data in a qualitative study is ongoing.
• Conclusions are drawn continuously throughout the course of a qualitative study.

Approaches to Qualitative Research

• A biographical study tells the story of the special events in the life of a single individual.
• A researcher studies an individual’s reactions to a particular phenomenon in a phenomenological study. He or she attempts to identify the commonalities among different individual perceptions.
• In a grounded theory study, a researcher forms a theory that is formed inductively from the data that is collected as part of the study.
• A case study is a detailed study of one or (at most) a few individuals or other social units, such as a classroom, a school, or a neighborhood. It can also be a study of an event, an activity, or an ongoing process.

Generalization in Qualitative Research

• Generalizing is possible in qualitative research, but it is of a type different from that found in quantitative studies. Most likely it will be done by interested practitioners.

Ethics and Qualitative Research

• The identities of all participants in a qualitative study should be protected, and they should be treated with respect.

Reconsidering Qualitative and Quantitative Research

• Aspects of both qualitative and quantitative research often are used together in a study. Increased attention is being given to such mixed-methods studies.
• Whether qualitative or quantitative research is the most appropriate boils down to what the researcher wants to find out.

Reference

Fraenkel, Jack R. and Wallen, Norman E. How to Design and Evaluate Research in Education. McGraw-Hill (2010)

Title: The Effects of Writing in a Secondary Applied Mathematics Class: A Collaborative Action Research Project (2007)

Researcher (Author): Louis Lim and David K. Pugalee

Reviewer: Rully Charitas Indra Prahmana

Introduction

An action research study was conducted in a grade 10 applied mathematics class to examine the National Council of Teachers of Mathematics’ (2000) posit that students “communicate to learn mathematics and they learn to communicate mathematically” (p. 60).  The project grew out of communication and collaboration between a high school teacher in greater Toronto and a university professor from the southeastern United States whose research focus is in language and mathematics.

Communication is central to teaching and learning (Steele, 2001).  This level of importance is reflected in the National Council of Teachers of Mathematics’ Principles and Standards for School Mathematics (2000) with (written and oral) communication identified as one of the five process standards for school mathematics.  Students “communicate to learn mathematics, and they learn to communicate mathematically” (p. 60) by organizing, consolidating, and conveying their thinking to others using precise mathematical language, and analyzing and evaluating their peers’ thinking to enhance their own understanding.  This document has had a tremendous impact on mathematics curriculum policy and procedure throughout Canada and the United States.

Research Problem

• What are the effects of a writing intensive programme (journals, autobiographies, free-writing, formal reports, portfolios, tests) on students’ understanding of mathematics?
• What are students’ reactions to a writing intensive mathematics programme?

Goals (Purpose)

With the increased importance of mathematical literacy, along with the benefits to writing-to-learn mathematics, this study explored the following questions in a grade 10 applied mathematics class:

1. What are the effects of a writing intensive programme (journals, autobiographies, free-writing, formal reports, portfolios, tests) on students’ understanding of mathematics?
2. What are students’ reactions to a writing intensive mathematics programme?

Hypothesis

The research literature lists four benefits to writing-to-learn mathematics:  student reflection on learning, metacognition, teacher benefits, and affective.

Theoretical Framework

• This study extends the work of Lim & Colgan (2005), which was an action research study that documented the first author’s journey (successes and challenges) of implementing multiple assessments in a grade 9 applied mathematics class.
• Writing is a form of learning that promotes active and reflective learning:  “Now we are beginning to realize that writing is not just the end product of learning; it is a process by which learning takes place” (Griffin, 1983, p. 121).
• Recent work by Boscolo & Mason (2001), Nelson (2001), Pugalee (2005), and Tynjala, Mason, & Lonka (2001) use writing-to-learn mathematics.
• Nelson states that writing allows students to engage in authentic practices of the discipline as well as gain authority of the topic/concept.
• Students analyze, compare, reflect, and synthesize existing information and make connections between ideas, texts, authors, and across disciplines, which can improve understanding and retention of ideas and concepts (Farrell, 1978; Nelson).
• Pugalee adds that students actively take control of what is studied since they own the writing as well as the mathematical ideas and concepts.
• Writing is a tool that can allow students to construct and transform their thinking and ideas as they manipulate, integrate, and restructure knowledge through using and reflecting on prior knowledge, concepts, and beliefs (Boscolo & Mason; Tynjala, Mason, & Lonka).
• Such cognitive engagement facilitates the development of meaningful understanding: “The basic purpose is to help students become independent, active learners by creating for themselves the language essential to their personal understanding” (Connolly & Vilardi, 1989, p. 6).
• Vygotsky (1978)’s social constructivist theory has gained popularity over the transmission model (i.e., students are empty slates ready to be filled with knowledge).  Vygotsky believes that people reorganize their web of meaning when they connect new knowledge with current knowledge, and through language, students develop higher-order thinking.
• Sfard (2003) adds, “without social interaction in human learning, no conceptual learning would be possible” (p. 371).
• Sierpinska (1998) describes the teacher’s role as a facilitator since “mathematics cannot be taught be telling” (p. 56).

Research Methodology

• Method

1. To answer the questions posed, a qualitative case study incorporating action research was employed. Bogdan & Biklen (2003) describe qualitative research as “rich in description of people, places, and conversations not easily handled by statistical procedures” (p. 2).
2. Stevens (2005) defines action research as “systematic study of my own practice designed to improve my practice.”
3. Action research was conducted in the first author’s classroom using Kemmis & McTaggart’s (1988) iterative model:  plan, act, observe, and reflect.
4. Hannay (1998) describes action research as taking voluntary action through a “journey of discovery” with collaborative and critical dialogue, resulting in professional and personal growth.

• Participants

1. The classroom teacher was in his 8th year of teaching at the time of the study, teaching in the greater Toronto, Ontario area.  In addition to teaching 3 classes in the semester, he had added responsibilities as department head while pursuing a doctorate as a part-time student.
2. This study received ethical approval from the first author’s board of education and principal since it addresses the importance of literacy across the curriculum, with a grade 10 literacy test being a graduation requirement here in Ontario.
3. The grade 10 applied mathematics class consisted of 15 students (10 males and 5 females) or according to ethnicity, 6 Asians, 1 Indian, and 8 Whites.  Ten of the fifteen students came from grade 9 academic mathematics.  These were students who struggled with the academic programme and made the move to the applied programme.  This particular class was chosen for the study since both researchers felt that writing could help make mathematics accessible for them.

• Data sources

1. The classroom teacher maintained a field journal to record thoughts, reactions, issues, concerns, interpretations and analysis of data, informal conversations with students, along with communications with the university mentor.
2. Students’ work samples were photocopied from each of the writing genres.  Expository writing occurred in journals, which students wrote step-by-step explanations to a procedure or skill.
3. Journals were collected at the end of the class period, with descriptive feedback provided.
4. To assess students’ writing, a rubric was provided at the beginning of the study:  uses clear explanations; use of mathematical language, vocabulary, and symbols; selects algorithms and demonstrates computational proficiency using algorithms.
5. The rubric was created and revised after several communications between the classroom teacher and university professor.
6. Students also completed three anonymous questionnaires that occurred at the beginning, middle, and at the end of the course, inviting students to express their views to the writing programme as well opportunities to confirm inferences made.

Figure 1 Journal Rubric

Results

• This study was conducted to provide classroom-based evidence to support the effects of writing to help students learn mathematics.
• In particular, the reflective stage was extremely valuable since classroom teachers often do not have time to engage in critical reflection, with seemingly endless responsibilities.
• Such a study is needed since mathematics curricula in Ontario will not undergo major overhauls in the near future. Hence, the onus is on teachers to incorporate alternative instructional practices to improve student learning.
• The classroom teacher maintained a field journal documenting thoughts and reflections through regular communication with the university mentor.
• The use of writing is now an important component of both researchers’ professional practices.
• The classroom teacher was enthused with the positive effects writing has on students, both cognitively and affectively, and has continued to incorporate writing in subsequent classes.
• Collecting student work samples and sharing with other teachers is important to encourage others to realize the potential benefits that writing can have on student learning.
• Providing students with formative feedback resulted in addressing misconceptions in future lessons.  Further, the classroom teacher found himself teaching to address students’ needs, rather than just “covering” the curriculum.  Also, engaging in action research was professionally rewarding since it invited the classroom teacher to explore alternative strategies and dialogue with the university researcher and fellow teaching colleagues.  Such dialogue is vital since talking with others often resulted in new insight.  Unanticipated was the student resistance to free-writing, which gradually grew.  When the free-writing entries were read at mid-term, the classroom teacher was pleased that all students had focused their entries on mathematics.  It was not until the end of the study that the classroom teacher learned that entries became shorter and many entries were similar in content.
• The anonymous questionnaires allowed for student voices, which we believe are important as reforms continue to occur.  After the study, the two researchers reflected on why students resisted free-writing, resulting in a revised free-writing study. Such dialogue was important since free-writing does have potential; it was just the implementation process that required some fine-tuning.
• This project also served as an impetus for the university researcher to implement a substantive writing program as part of his middle grades mathematics methods courses.  While engaged in the action research project, he developed a clearer appreciation for the importance of writing as both a tool for constructing and assessing mathematical understanding.
• Each week students in the methods course were given a writing assignment to complete as a homework assignment.  Students employed the same rubric used in the action research project with the secondary students to engage in peer assessment.  The university professor routinely reviewed a random sample of the assessments to establish acceptable reliability.  Throughout the course, samples from the students’ writings were used to clarify mathematical concepts while also promoting good mathematical communication.
• The discussion and sharing of ideas related to the secondary mathematics project provided opportunities for reflection that led the university professor to extend the role of writing in his methods courses.  An analysis of the students’ writing to determine the effect of the implementation is currently being conducted.
• In addition to a revised study of free-writing through prompts for students to choose from, we wonder how many teachers actually incorporate writing in their programmes.  Hence, a future study could be to randomly survey teachers on the extent and practices of writing in mathematics.  Then, we would like to identify several teachers who use writing extensively in order to document their best practices.  Other potential areas include conducting an analysis of this study for differences in gender and ethnicity.
• The paper ends with some comments about the implications to policy development.  Our action research illustrated the great strides in professional development through supportive collaboration.  We believe that teachers need to be provided with opportunities during the school day to discuss their challenges and share best practices.  Also, an increase in the number of professional development days with quality learning is needed to sustain the reforms mandated.  Teachers are professionals and need to feel empowered in what they do in order for optimal student learning.

• We believe that understanding is generally enhanced by the demonstration of relationships or connections.
• Understanding of relationships helps us to explain the nature of the world in which we live.

Variables

• A variable is any characteristic or quality that varies among the members of a particular group.
• A constant is any characteristic or quality that is the same for all members of a particular group.
• Several kinds of variables are studied in educational research, the most common being independent and dependent variables.
• An independent variable is a variable presumed to affect or influence other variables.
• A dependent (or outcome) variable a variable presumed to be affected by one or more independent variables.
• A quantitative variable is a variable that varies in amount or degree, but not in kind.
• A categorical variable is a variable that varies only in kind, not in degree or amount.
• A moderator variable is a special type of independent variable. The inclusion of it in a study can provide considerably more information that just studying a single independent variable alone.
• An extraneous variable is an independent variable that may have unintended effects on a dependent variable in a particular study. One way to control extraneous variables is to hold them constant.

Hypotheses

• The term “hypothesis,” as used in research, usually refers to a prediction of results made before a study commences.
• A significant hypothesis is one that is likely to lead, if it is supported, to a greater amount of important knowledge than a non significant hypothesis.
• Stating a research question as a hypothesis has both advantages and disadvantages.
• The advantages of stating hypotheses are forcing us to think more deeply and specifically about the possible outcomes of a study, involving a philosophy of science, and helping us see if we are, or are not, investigating a relationship.
• The disadvantages of stating hypotheses are leading to a bias, either conscious or unconscious, sometimes being unnecessary, or even inappropriate, in research projects of certain types, such as descriptive surveys and ethnographic studies, and focusing attention on a hypothesis may prevent researchers from noticing other phenomena that might be important to study.
• Significant hypothesis may lead to more useful knowledge and also seems to us that the information to be obtained will be of more use to people interested in the research question.
• A directional hypothesis is a prediction about the specific nature of a relationship — for example, method A is more effective than method B.
• A non directional hypothesis is a prediction that a relationship exists without specifying its exact nature — for example, there will be a difference between method A and method B (without saying which will be more effective).

Reference

Fraenkel, Jack R. and Wallen, Norman E. How to Design and Evaluate Research in Education. McGraw-Hill (2010)