Merancang penelitian usability (part 1)

Alih alih menghemat, penelitian usability justru akan membuang banyak waktu, uang dan tenaga jika tidak direncanakan dengan baik. Untuk merancang usability study yang baik, kita perlu menjawab beberapa pertanyaan seperti berikut ini :

  1. Tipe partisipan apa yang kita butuhkan?
  2. Berapa jumlah partisipan yang kita perlukan?
  3. Apakah kita akan membandingkan data dari kelompok tunggal partisipan dengan beberapa kelompok partisipan yang berbeda?
  4. Apakah kita memerlukan penyeimbang untuk beberapa tugas?

Memilih partisipan

Tiga pertanyaan penting saat memilih partisipan yaitu :

  1. Seberapa baik partisipan menggambarkan target audiens kita?
  • Pilihlah partisipan yang benar-benar dapat menggambarkan usability testing. Contoh : untuk aplikasi kesehatan, pilihlah partisipan dokter, perawat, ataupun bidan. Untuk aplikasi sekolah, pilihlah partisipan guru, murid, kepala sekolah, atau penggiat pendidikan.
  1. Apakah kita akan membagi grup partisipan berdasarkan tipe partisipan yang berbeda? Pikirkanlah tentang grup apa dan berapa jumlah partisipan tiap-tiap grup. Berikut ini beberapa tipe kelompok atau segmen yang umum digunakan dalam penelitian usability.
  • Self reported expertise in some domain (novice, intermediate, expert)
  • Frequency of use (jumlah pengunjung web, jumlah interaksi per bulan)
  • Amount of experience with something (hari, bulan, tahun)
  • Demographics (jenis kelamin, umur, lokasi)
  • Activities (menggunakan fungsi partikular atau fitur)
  1. Tujuan besar penelitian usability agar dapat temuan dapat digeneralisasi untuk populasi yang jumlahnya lebih besar. Berikut teknik-teknik dalam mengambil sampel.
  • Random sampling (setiap anggota populasi memiliki kemungkinan untuk menjadi partisipan penelitian).
  • Systematic sampling (pemilihan sampel berdasarkan kriteria yang telah ditentukan, misalkan responden yang telah memiliki nilai TOEFL lebih dari 500).
  • Stratified sampling (pemilihan partisipan untuk memastikan jumlah sample yang dibutuhkan pada setiap kelompok, misalkan 50% kelompok berjenis kelamin laki-laki, 50% kelompok berjenis perempuan).
  • Sample of convinience (pendekatan ini umum digunakan pada penelitian usability, termasuk setiap orang yang ingin berpartisipasi dalam penelitian. Menempatkan partisipan dalam lab dan mengamati perilaku user).

Jumlah sampel

Berapa jumlah sampel ideal untuk melakukan penelitian usability? Jika anda tertarik untuk mengidentifikasi persoalan-persoalan usability yang besar sebagai bagian dalam proses desain iteratif, maka 3 atau 4 partisipan representatif cukup untuk dijadikan sampel. Tabel dibawah ini menunjukkan bahwa jika kita menggunakan 100 partisipan, dan 80 dari partisipan sukses melakukan tugas (task), maka dapat dikatakan bahwa 71 sampai 86 persen dari populasi yang besar akan mampu melakukan tugas tersebut (dengan 95% confidence interval).

Penelitian dalam kelompok atau antar kelompok

Keputusan penting lain untuk dipikirkan adalah apakah kita akan membandingkan data yang berbeda dari setiap partisipan(dari desain atau produk yang berbeda), atau data dari setiap partisipan (dari rata-rata kesuksesan mengerjakan task pada kelompok yang berbeda).

Penelitian dalam kelompok (within subjects) merupakan penelitian yang umum digunakan. Peneliti dapat melakukan pengukuran berulang, sebelum dan sesudah menggunakan sebuah produk, atau pengukuran dua buah produk berbeda pada partisipan yang sama.

Penelitian antar kelompok (between subjects) contohnya membandingkan kepuasan antara novice dan expert user, atau membandingkan waktu yang dibutuhkan dalam menyelesaikan tugas dari pengguna yang berpendidikan SMA dan pengguna berpendidikan SD.

Counterbalance (mengimbangi)

Terkadang urutan peserta melakukan tugasnya memiliki dampak signifikan terhadap hasilnya. Peserta biasanya belajar produk karena pengalaman mereka berkembang. Akibatnya, Anda harus mempertimbangkan urutan pengumpulan data, yang biasanya merupakan urutan tugas. Mungkin saja Anda melihat peningkatan kinerja atau kepuasan karena sesi kegunaan terus berlanjut. Dapatkah Anda menentukan apakah perbaikan terjadi karena tugas kelima lebih mudah daripada tugas pertama atau jika beberapa pembelajaran terjadi antara tugas pertama dan kelima yang membuat tugas kelima lebih mudah dilakukan? Satu-satunya cara untuk menjawab pertanyaan ini adalah mengendalikan efek pesanan melalui teknik yang disebut penyeimbang. Tabel berikut merupakan contoh bagaimana cara menyeimbangkan tugas berdasarkan 4 partisipan dan 4 tugas.

Variabel bebas dan variabel tergantung

Seperti halnya penjelasan pada bidang statistika, variabel independen (independent variable) adalah tipe variabel yang menjelaskan atau mempengaruhi variabel yang lain. Variabel dependen (dependent variable) adalah tipe variabel yang dijelaskan atau dipengaruhi oleh variabel independen. Misalkan, kepuasan pengguna (variabel dependen) tergantung dari kecepatan download, waktu loading web, dan kemudahan web saat digunakan (variabel independen).

Dari buku Tom Tullis, Measuring The User Experience

Yogyakarta, 15 Juni 2017

Leave a Reply