Analogi sup yang dimodifikasi

Ketika koki lain mencicicipi sup : exploratory

Ketika koki menilai untuk resep tertentu : predictive

Ketika koki mencicipi sup saat memasaknya : formative

Ketika tamu mencicipi sup : summative

Beberapa definisi usability :

Shackel 1991  : efektifitas, kemudahan dipelajari, fleksibilitas, dan sikap

Jordan 1998 : kemampuan menebak, kemampuan dipelajari, performansi pengalaman pengguna, potensial sistem (secara teori, seberapa efisien  tugas yang diberikan dapat dilengkapi oleh sistem yang bersangkutan), dan kegunaan kembali.

ISO/DIS 9241-11 : efektifitas, efisiensi , kepuasan.

Efektifitas : akurasi dan kelengkapan dengan yang dispesifikasikan user dapat dicapai tujuan spesifik dalam lingkungan tertentu.

Efisiensi : jumlah sumber daya yang dikeluarkan dibangingkan dengan akurasi dan kelengkapan tujuan yang dicapai.

Kepuasan : kenyamanan dan penerimaan sistem untuk pengguna dan orang lain yang di sebabkan dari penggunaan

 

Ada 4 buah tipe evaluasi, berdasarkan tujuan evaluasi

  1. Exploratory – bagaimana penggunaannya?

Dilakukan sebelum pembangunan interface

Mempelajari bagaimana s/w digunakan, seberapa sering dan untuk apa

Mengumpulkan data yang digunakan – catatan statistik dan observasi dari penggunaan

  1. Predictive – memprediksi (akan) seberapa baik ?

Memperkirakan seluruh kualitas dari interface (seperti summative evaluation, tapi prediksi dilakukan di muka

Dilakukan sekali saat desain selesai dibuat, tapi sebelum proses implementasi

  1. Formative – bagaimana dapat menjadi lebih baik ?

Memberitahukan proses desain dan membantu meningkatkan interface selama desain

Dilakukan selama pembangunan interface

Mempelajari mengapa sesuatu menjadi salah , tidak hanya pada saat terjadi kesalahan

Mengumpulkan data proses-pengamatan kualitatif dari apa yang terjadi dan bagaimana

  1. Summative – seberapa baik?

Penilaian dari semua kualitas dari interface

Dilakukan satu kali pada interface (kurang lebih) telah selesai

Membandingkan desain alternatif, atau menguji kebutuhan performansi yang telah di definisikan

Method category Name of method Described in (among others)

Empirical methods

Usability test (also called thinking aloud method)(Lewis, 1982)

User performance test(Nielsen, 1993)

Remote usability test(Hilbert & Redmiles, 1998)

Beta test(Smilowitz et al., 1993)

Forum test(Smilowitz et al., 1993)

Cooperative evaluation(Wright & Monk, 1991b)

Coaching method(Nielsen, 1993)

Inspection method

Expert review(Hammond et al., 1984)

Heuristic evaluation(Nielsen & Molich, 1990)

Cognitive walkthrough (CW)(Lewis et al., 1990)

Pluralistic walkthrough(Bias, 1994)

Structured heuristic evaluation(Kurosu et al., 1999)

Perspective-based inspection(Zhang et al., 1998)

Inquiry methods

User satisfaction questionnaire(Kirakowski & Dillon, 1988)

Field observation(Gould, 1988)

Focus group(Zirkler & Ballman, 1994)

Interviews(Gould, 1988)

 

Thesis User Evaluation Methods, Nielsen, 1999

 

 

Title : Comparing University Ranking

Author : Isidro F. Aguillo • Judit Bar-Ilan • Mark Levene • Jose ´ Luis Ortega

Journal : Scientometrics (2010) 85:243–256, DOI 10.1007/s11192-010-0190-z

REVIEW RESULT

Dalam penelitian ini, Isidro, dkk membandingkan sejumlah hasil pemeringkatan universitas di dunia. Terdaoat setidaknya 5 jenis pemeringkatan perguruan tinggi yang digunakan sebagai perbandingan. Hasil perbandingan metode pemeringkatan dapat dilihat pada tabel berikut ini :

Dari hasil perhitungan similaritas, maka berdasarkan sample dari perguruan tinggi di Eropa, dapat disimpulkann bahwa perbedaan terbesar metode perangkingan terdapat pada  QS-THE dan WR. Sedangkan kesamaan tertinggi terdapat pada perangkingan HEEACT dan CWTS. Secara keseluruhan kemiripannya akan meningkat jika perbandingan dilakukan terbatas pada universitas-universitas di Eropa.

 

Kelemahan peringkat2 diatas antara lain :

  1. THE-QS didasarkan pada jumlah perguruan tinggi yang sedikit, dan survey yang dianggap kurang representatif, terutama terdapat representasi yang berlebihan pada universitas di UK dan Australia.
  2. Webometrics merupakan perangkingan yang paling berbeda, hal ini dimungkinkan karena praktik buruk dalam penamaan web universitas, memiliki 2 atau lebih domain, perubahan url web universitas, dan aktivitas lain.

Dari segi metodologi, hendaknya diperhatikan beberapa aspek yaitu :

  1. Teknik similaritas tidak diimbangi dengan uji korelasi, di duga terdapat kemungkinan dapat menggambarkan nilai yang lebih tinggi jika menggunakan korelasi peringkat.
  2. Dengan cara yang berbeda, nilai2 ini di normalisasi. Hal ini menjelaskan mengapa tes tersebut tidak memberikan hasil yang serupa.
  3. Terkait dengan kriteria inklusi, yaitu daftar universitas yang digunakan dalam metode peringkat yang digunakan dalam penelitian ini tidak sama. Misalkan , CWTS memiliki kebijakan untuk menggabungkan universitas2 maju, sedangkan organisasi dengan publikasi yang rendah tidak dimasukkan dalam perankingan.

Purwokerto, 5 Agustus 2017

 

Mengapa perlu ada peringkat institusi perguruan tinggi?

Pada dasarnya langkah untuk melakukan pemeringkatan Perguruan Tinggi dilakukan untuk berbagai macam tujuan, antara lain : 

  1. Merespon permintaan masyarakat agar dapat dengan mudah mendapatkan informasi tentang keberadaan sebuah Perguruan Tinggi;
  2. Merangsang persaingan diantara Perguruan Tinggi;
  3. Menyediakan beberapa alasan untuk pengalokasian dana;
  4. Membantu membedakan antara berbagai jenis institusi dan berbagai program disiplin ilmu;
  5. Berkontribusi pada “kualitas” Perguruan Tinggi di negara tertentu ( dengan ditambahkan penilaian kualitas dan review secara independen).

Apakah Berlin Principles itu?

Berawal dari pendirian International Ranking Expert Group (IREG) pada tahun 2014 oleh UNESCO pusat Eropa untuk Pendidikan Tinggi di Bucharest dan Institut kebijakan Pendidikan Tinggi di Washington DC. Pada pertemuan kedua, di kota Berlin, 18-20 Mei 2006, diadakan kesepakatan untuk mempertimbangkan seperangkat praktik baik dalam peringkat Perguruan Tinggi pada lembaga Pendidikan.

16 prinsip Berlin (dibagi 4 sub bab)

Tujuan Perangkingan

  1. Menggunakan salah satu dari  sejumlah pendekatan yang beragam terhadap penilaian Perguruan Tinggi, meliputi masukan , proses, dan keluaran.
  2. Memiliki tujuan dan target kelompok yang jelas.
  3. Kenali keragaman institusi dan ambil berbagai misi dan sasaran lembaga.
  4. Berikan kejelasan tentang berbagai sumber informasi untuk ranking dan pesan yang dihasilkan dari sumber.
  5. Tentukan konteks bahasa, budaya, ekonomi, dan sejarah sistem pendidikan yang akan di ranking.

Desain dan pembobotan indikator

  1. Metodologi yang digunakan dalam perankingan harus transparan.
  2. Pemilihan indikator berdasarkan relevansi dan validitas.
  3. Pengukuran hasil berdasarkan input yang sesuai.
  4. Buat bobot yang ditetapkan ke berbagai indikator dan batasi perubahannya

Pengumpulan dan pemrosesan data

  1. Perhatikan dengan seksama standar etika dan rekomendasi praktik yang baik yang disampaikan dalam Prinsip ini.
  2. Gunakan data yang diaudit dan dapat diverifikasi bila memungkinkan.
  3. Termasuk data yang dikumpulkan dengan prosedur yang tepat untuk pengumpulan data ilmiah.
  4. Terapkan ukuran jaminan kualitas untuk menentukan proses sendiri.
  5. Terapkan ukuran organisasi yang meningkatkan kredibilitas peringkat.

Penyajian hasil perankingan

  1. Berikan konsumen pemahaman yang jelas tentang semua faktor yang digunakan untuk mengembangkan peringkat, dan menawarkan pilihan bagaimana peringkat ditampilkan.
  2. Dikompilasi dengan cara yang menghilangkan atau mengurangi kesalahan pada data asli, dan menjadi terorganisir dan diterbitkan dengan cara dimana kesalahan dapat diperbaiki.

Berlin, 20 Mei 2006

 

International Conference on Engineering and Applied Technology (ICEAT)

Venue : Mataram, Lombok, Indonesia

Important date

  • August 1, 2017 Deadine for paper submission
  • September 1, 2017 Notificiation of accepted paper
  • October 1, 2017 Deadline for camera reardy paper
  • November 29-30, 2017 Conference Due

Link : 

http://conference.fgdt-ptm.or.id/index.php/iceat


International Conference on Informatics and Computing (ICIC)

Venue : Jayapura, Papua, Indonesia

Important date

  • 31 July 2017 Paper Submission
  • 5 August 2017 Decision Notification
  • 15 August 2017 Camera Ready Version
  • 1 September 2017 Early Registration
  • 15 September 2017 Final Registration and Payment
  • 1-3 November 2017 Conference Day

Link :

http://icic-aptikom.org/


International Conference on Information and Communication Technology (ICONICT)

Venue : Medan, Sumatera Utara, Indonesia

Important Dates :

  • July 08 2017 Abstract Submission
  • July 07, 2017 Notification Of Acceptance
  • July 31, 2017 Fullpaper Submission
  • 31 Juli , 2017 Camera Ready
  • 25-26 August 2017 Conference Day

Link :

https://easychair.org/cfp/IConICT-2017


East Indonesia Conference on Computer and Information Technology (EIConCIT)

Venue : Samarinda, East Kalimantan, Indonesia

Apa yang Anda pertimbangkan dalam memilih perguruan tinggi? Pernahkah Anda mendengar peringkat sebuah universitas? Mengapa sebuah universitas memiliki peringkat berbeda2? Saya akan membahas nya satu persatu.

Pada umumnya, pemeringkatan sebuah universitas dilakukan untuk mempermudah calon mahasiswa dalam memilih perguruan tinggi, memperlihatkan “kualitas” perguruan tinggi yang bersangkutan, atau melihat dimana “posisi” kampus kita. Hal ini mendukung adanya keinginan setiap perguruan tinggi menjadi World Class University. Kualitas perguruan tinggi yang diakui oleh internasional akan menjadi tolak ukur keberhasilan dalam mencapai tujuan menjadi universitas kelas dunia. Akan tetapi, metode dan kriteria sebuah lembaga pemeringkat perguruan tinggi sangat bervariasi, sehingga, hasilnya akan berbeda satu sama lain. Beberapa versi pemeringkatan universitas antara lain webometrics, uniRank, eduroute, QS, dan DIKTI.

Webometrics

Merupakan peringkat universitas yang populer di Indonesia, bahkan sering dijadikan “acuan” kualitas perguruan tinggi. Webometrics digagas oleh sejumlah peneliti dari Cybermetrics Lab, Spanyol sejak 2004. Webometrics rilis setiap semester (setahun 2 kali) dengan meranking sekitar 12 ribu universitas di seluruh dunia. Mereka menggunakan metode penilaian 50% impact dan 50% activity (dibagi lagi menjadi 3 kriteria yaitu presence, openess dan scholar).

Webometrics menghitung sejumlah aktifitas sebuah perguruan tinggi di dunia maya. Semakin populer (dilihat dari impact — jumlah link yang merujuk pada halaman web), semakin eksis (dilihat dari banyaknya jumah halaman web, dan frekuensi update web), semakin terbuka (dilihat dari banyaknya jumlah file pdf yang dapat diakses pengguna), dan semakin aktif meneliti (dilihat dari banyaknya jumlah publikasi dosen, mahasiswa dan staff yang di share), maka semakin baik rankingnya. Webometrics menggunakan tools majesticSEO dan ahrefs untuk melihat indikator jumlah backlink, serta google scholar dan schimago untuk melihat indikator publikasi. Jumlah file terbuka yang dapat diindeks oleh google juga dijadikan indikator penilaian.

Indikator webometrics sangat bergantung pada komitmen institusi terhadap publikasi web. Dengan demikian, terdapat kemungkinan beberapa universitas dengan kualitas akademik tinggi  berada pada peringkat rendah dari yang diharapkan, dikarenakan kebijakan publikasi web yang dibatasi. Sebagai contoh, sebuah universitas memiliki kebijakan privasi perguruan tinggi untuk tidak membuka akses publikasi ilmiah dosen dan mahasiswa, sehingga pengguna internet tidak dapat leluasa mengunduh artikel2 karya ilmiah tersebut.

uniRank

uniRank (dulu disebut 4 International Colleges & Universities or 4icu.org) merupakan pemeringkatan universitas berdasarkan popularitas website. Sejak tahun 2005, uniRank merilis peringkat sekitar 12,358 universitas, pada 200 negara. Kriteria penilaian berdasarkan algoritma 5 metrik yang independen dan tidak bias bersumber dari 4 web intelligence :

  1. Moz Domain Authority
  2. Alexa Global Rank
  3. SimilarWeb Global Rank
  4. Majestic Referring Domains
  5. Majestic Trust Flow

Metodologi yang digunakan dalam situs ini menempatkan perguruan tinggi dan universitas berdasarkan popularitas dan penggunaan situs web mereka; sesuai klaim mereka, uniRank tidak mengukur kualitas sekolah atau program mereka berdasarkan kualitas pendidikan atau kualitas layanan.

eduroute

Eduroute fokus meneliti dan mengevaluasi situs web universitas dan bukan kinerja sebuah universitas. Indikator yang digunakan dalam ranking universitas adalah quality of links and content, volume, online scientific information, dan links quantity.

 

Mesin peringkat universitas melewati tiga tahap utama dan penting yaitu:

1. Evaluasi otomatis yang terjadi tiga kali sebulan sebelum ranking resmi diumumkan.

2. Perhitungan rata-rata antara hasil yang diperoleh untuk evaluasi otomatis untuk memastikan integritas dan keakuratan data.

3. Pengujian manual acak yang dilakukan dengan mengambil sampel acak sebanyak 25% dari 1000 universitas teratas dan kemudian sampel 5% dari universitas lainnya.

Eduroute merilis ranking perguruan tinggi pada tahun 2011, namun sayangnya tidak melanjutkan perankingan hingga saat ini.

Quacquarelli Symonds (QS)

QS telah memproduksi peringkat sejak peluncuran QS World University Rankings® pada tahun 2004. Indikator penilaian QS rank adalah : 

  1. Reputasi akademis (bobot 30%): Survei dilakukan ke kalangan akademisi kampus di setiap jurusan/pogram studi untuk mengukur kekuatan jurusan/program studi tersebut
  2. Reputasi karyawan (bobot 20%): Mensurvei karyawan administrasi perguruan tinggi untuk mengukur kualitas layanan administasi perguruan tinggi.
  3. Rasio fakultas/mahasiswa (bobot 20%): Dihitung dari rasio jumlah dosen dengan jumlah mahasiswa yang lulus dari setiap program studi di perguruan tinggi
  4. Penghargaan hasil riset (bobot 15%): Indikatornya adalah jumlah riset ilmiah perguruan tinggi yang mendapatkan penghargaan sebagai tolok ukur reputasi karya ilmiah tersebut, yang dianalisis dengan program Scopus.
  5. Jumlah riset ilmiah per fakultas (bobot 15%): Dengan menggunakan aplikasi Scopus, jumlah riset ilmiah per fakultas dikalkulasi menjadi skor dengan bobot penilaian 15%.
  6. Proporsi fakultas internasional (2,5%) dan mahasiswa internasional (2,5%): Indikator ini menganalisis jumlah program studi internasional yang ada di perguruan tinggi tersebut. Sementara itu, pengukuran jumlah mahasiswa program studi internasional itu dilihat dari rasio jumlah mahasiswa internasional dibandingkan dengan pegawai administrasi PT sebagai penentu kualitas layanan administrasi program studi internasional tersebut.
  7. Proporsi pertukaran mahasiswa ke luar negeri (2,5%) dan proporsi penerimaan pertukaran mahasiswa dari luar negeri: Indikator ini dilihat dari jumlah mahasiswa yang dikirim ke luar negeri dalam rangka program pertukaran mahasiswa serta penerimaan mahasiswa dari luar negeri dalam rangka program tersebut.

Dikarenakan peringkatnya didasarkan pada penilaian peer review dan employer review, maka hal ini tidak terlalu menguntungkan bagi universitas yang belum benar2 memenuhi standar, terutama pada negara2 tertentu. Jumlah riset dengan pengindeks scopus tentu memiliki konsekuensi biaya yang tidak sedikit. Sedangkan proporsi pertukaran mahasiswa ke luar negeri merupakan indikator yang lumayan sulit untuk negara2 berkembang.

DIKTI

Ranking DIKTI  dibuat oleh pemerintah Indonesia. Direktorat Jenderal Pendidikan Tinggi (Dikti) melakukan pemeringkatan terhadap 3.320 (tiga ribu tiga ratus dua puluh) perguruan tinggi di Indonesia berdasarkan kriteria sebagai berikut:

  1. Dosen (12%): menghitung jumlah dosen berpendidikan doktor, dan memiliki jabatan fungsional lektor kepala / guru besar, serta kecukupan jumlah dosen tetap
  2. Kualitas dosen (18%): menghitung jumlah dosen tetap terhadap jumlah mahasiswa pada perguruan tinggi bersangkutan
  3. Akreditasi (30%): menilai akreditasi institusi maupun jumlah program studi terakreditasi A maupun B.
  4. Kualitas kegiatan kemahasiswaan (10%): menilai prestasi mahasiswa
  5. Kualitas kegiatan penelitian (30%): menghitung capaian kinerja penelitian sesuai kreteria yang ditentukan serta jumlah dokumen yang terindeks scopus.

Masih banyak lagi kriteria penilaian perguruan tinggi yang lain, beberapa indikatornya ada yang mirip, ada pula yang beda sama sekali. Demikianlah ulasan mengenai ranking2 perguruan tinggi, postingan selanjutnya, saya akan membahas tentang IREG dan Berlin Principles. International Ranking Expert Group (IREG) merupakan organisasi yang didirikan pada tahun 2004 oleh Pusat Pendidikan Tinggi Eropa UNESCO (UNESCO-CEPES) di Bucharest dan Institut Kebijakan Pendidikan Tinggi di Washington, DC. Atas inisiatif inilah IREG’s pada pertemuan kedua (Berlin, 18 sampai 20 Mei, 2006) telah diadakan perundingan untuk mempertimbangkan seperangkat prinsip kualitas dan praktik yang baik dalam peringkat Higher Education Institution (disebut dengan Berlin Principles).

Purwokerto, 30 Juni – 1 Juli 2017

*dalam renungan malam yang dingin dan secangkir kopi panas

 

 

Link terkait :
http://www.webometrics.info/en/About_Us
https://www.topuniversities.com/university-rankings
http://www.4icu.org/about/
http://www.eduroute.info/University-Ranking-System.aspx
http://halokampus.com/kuliah/peringkat-ranking- universitas-indonesia/
https://en.wikipedia.org/wiki/College_and_university_rankings

Abstrak

Kualitas perangkat lunak merupakan kunci sukses dalam bisnis teknologi informasi. Oleh karena itu, sebelum dipasarkan, perlu dilakukan pengukuran kualitas perangkat lunak untuk memenuhi kebutuhan pengguna. Beberapa metode pengukuran kualitas perangkat lunak telah diteliti dalam perspektif yang berbeda, kami menyajikan metode perangkat lunak tersebut dalam perspektif pengguna dan pakar. Penelitian ini bertujuan memetakan metode pengukuran kualitas perangkat lunak dalam berbagai model kualitas. Menggunakan metode Systematic Mapping Study, kami melakukan pencarian dan penyaringan makalah menggunakan inclusion dan exclusion kriteria, dan didapatkan 42 paper yang relevan. Hasil pemetaan menunjukkan meskipun model ISO SQuaRE telah banyak digunakan dalam 5 tahun terakhir, dan mengalami dinamika naik dan turun, namun penelitian di Indonesia masih memakai ISO 9126 sampai akhir tahun 2016. Metode pengukuran kualitas perangkat lunak yang paling banyak digunakan adalah metode empiris, dan beberapa peneliti telah melakukan pendekatan AHP dan fuzzy dalam perhitungan kualitas perangkat lunak.

Background

Kualitas produk perangkat lunak merupakan faktor penting dalam bisnis[1]. Kualitas produk perangkat lunak ditentukan oleh seberapa banyak produk memenuhi kebutuhan pengguna, seberapa banyak produk melakukan kinerjanya, dan seberapa banyak jumlah cacat dalam perangkat lunak tersebut[2]. Oleh karena itu, perlu dilakukan pengecekan kualitas sebelum produk perangkat lunak dipasarkan, sebab perbaikan setelah pengiriman dinilai sangat mahal dan mempengaruhi kredibilitas perusahaan[3]. Kualitas produk perangkat lunak telah diteliti oleh beberapa peneliti dalam perspektif yang berbeda, seperti Model Boehm[4], Model Dromey[5], Model McCall[6], ISO/IEC 9126[7] dan ISO/IEC SQuaRE[8]. Berdasarkan model yang telah ditentukan, kualitas produk perangkat lunak diukur dalam hal kemampuan untuk memenuhi tujuan pengembang dan kebutuhan para pengguna[9]. Berdasarkan hal tersebut, faktor manusia sebagai pengguna perlu dilibatkan  dalam metode pengukuran perangkat lunak. Mengadopsi dari istilah Usability Evaluation Method, maka pengukuran perangkat lunak dibagi menjadi dua, yaitu analytical method (pengukuran oleh para pakar) dan empirical method (pengukuran oleh pengguna)[10]–[12]. Pakar tersebut meliputi akademisi dan praktisi di bidang software engineering, content expert dan technical expert. Sedangkan pengguna yang dimaksud adalah end user, termasuk manager, karyawan, dosen, mahasiswa atau pelangan yang menggunakan perangkat lunak. Penelitian ini bertujuan untuk melihat tren model dan metode pengukuran perangkat lunak dalam kurun waktu 10 tahun terakhir. Trend model dan metode tersebut digunakan sebagai acuan perbaikan dalam penelitian berikutnya. Penelitian ini menggunakan metode Systematic Mapping Study berdasarkan pertanyaan penelitian. Metode ini menyediakan gambaran mengenai research area, mengidentifikasi jumlah penelitian, tipe penelitian dan hasil yang tersedia[13]. Makalah ini diorganisasikan sebagai berikut. Bab 2 membahas tentang model dan metode pengukuran kualitas perangkat lunak. Bab 3 menyajikan metode dari Systematic Mapping Study. Bab 4 menjelaskan tentang hasil dari Systematic Mapping Study dan bab 5 menyajikan kesimpulan dan menyarankan beberapa area untuk penyelidikan lebih lanjut.

Jika anda menginginkan artikel tersebut lebih lengkap, anda dapat mendownloadnya di sini. Artikel ini merupakan artikel pertama saya yang diindeks oleh scopus, melalui International Journal of Electrical and Computer Engineering (IJECE). Mudah mudahan bermanfaat.

REFERENCES

[1]        K. El-rayyes and I. M. Abu-zaid, “New Model to Achieve Software Quality Assurance ( SQA ) in Web Application,” vol. 2, no. 7, pp. 423–426, 2012.

[2]         Y. Sowunmi, “An Empirical Evaluation of Software Quality Assurance Practices and Challenges in a Developing Country,” pp. 867–871, 2015.

[3]         K. A. Shah, “How To Improve Software Quality Assurance in Developing Countries,” vol. 3, no. 2, pp. 17–28, 2012.

[4]         B. W. Boehm, “Software Engineering,” vol. C, no. 12, pp. 1226–1241, 1976.

[5]         R. G. Dromey, “A Model for Software Product Quality,” vol. 21, no. 2, 1995.

[6]         V. Lakshmi Narasimhan and B. Hendradjaya, “Some theoretical considerations for a suite of metrics for the integration of software components,” Inf. Sci. (Ny)., vol. 177, no. 3, pp. 844–864, Feb. 2006.

[7]         International Organization for Standardization, “Information technology — Software product quality,” ISO/IEC Fdis 9126-1, vol. 2000. pp. 1–26, 2000.

[8]         International Organization for Standardization, “Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models,” ISO, vol. 2011. p. 34, 2011.

[9]         J. S. Challa, A. Paul, Y. Dada, and V. Nerella, “Integrated Software Quality Evaluation : A Fuzzy Multi-Criteria Approach,” vol. 7, no. 3, pp. 473–518, 2011.

[10]       Z. Bai and A. F. Blackwell, “Analytic review of usability evaluation in ISMAR,” Interact. Comput., vol. 24, no. 6, pp. 450–460, 2012.

[11]       S. S. Aparna and K. K. Baseer, “A Systematic Review on Measuring and Evaluating Web Usability in Model Driven Web Development,” Ncetse, pp. 171–180, 2014.

[12]       M. C. S. Torrente, A. B. M. Prieto, D. A. Gutiérrez, and M. E. A. De Sagastegui, “Sirius: A heuristic-based framework for measuring web usability adapted to the type of website,” J. Syst. Softw., vol. 86, no. 3, pp. 649–663, 2013.

[13]       K. Petersen, R. Feldt, S. Mujtaba, and M. Mattsson, “Systematic Mapping Studies in Software Engineering,” 12Th Int. Conf. Eval. Assess. Softw. Eng., vol. 17, p. 10, 2008.

Pada bagian ini, kita akan membahas perancangan penelitian usability melalui pengolahan dan penyajian data. Nah, untuk melakukan bagian ini, kita perlu mengetahui teknik-teknik nya menggunakan ilmu statistik. Laptop Anda belum terinstal program statistik seperti SPSS atau minitab? Tak apa, karena kita akan menyajikan pengolahan data statistik menggunakan Ms. Excel saja.  *pasti anda sudah punya kan?

Jenis data

  1. Nominal (nama, jenis kelamin, alamat, dst)
  2. Ordinal (suka-tidak suka-sangat suka, tinggi-sedang-rendah, dst)
  3. Interval (suhu, sejuk(100-250 C)-panas(250-300 C)-sangat panas (>300 C), jelek-sedang-bagus-sangat bagus *dalam skala tertentu, misalkan jelek nilainya 1-2, sedang 3-4, bagus 5-6, sangat bagus 7, dst)
  4. Ratio (waktu, umur, berat, tinggi, dst)

Data dan metrik

Memilih statistik yang tepat untuk tipe data dan usability metrics yang berbeda sangat menentukan kesimpulan yang akan diambil. Tabel berikut menjelaskan pengukuran yang umum digunakan dalam pengukuran usability dan prosedur statistik yang digunakan untuk menyajikan data.

Mengolah data statistik menggunakan Ms. Excel

Untuk mengaktifkan fungsi statistik pada Ms. Excel, maka kita dapat memunculkannya dengan klik office button>excel option (step 1). Langkah selanjutnya, pilihlah analysis toolpack pada pilihan add ins (step 2). Setelah klik OK, maka pada tab data akan muncul data analysis yang dapat kita gunakan untuk mengolah dan menyajikan data yang diperoleh dari partisipan (step 3).

step 1

Step 2

Step 3

 

Descriptive Statistics

Untuk menyajikan data sederhana, seperti mengetahui rata-rata, standar deviasi, nilai minimum dan maksimum, kita dapat menggunakan descriptive statistics. Perhatikan langkah-langkah di bawah ini :

Misalkan : terdapat 12 partisipan yang diminta untuk mengerjakan sebuah task. Kemudian researcher menuliskan jumlah waktu yang diperlukan untuk mengerjakan task tersebut (sebut saja satuannya menit). Maka, kita hanya perlu menuliskannya dalam 2 kolom seperti gambar diatas.

Klik data>data analysis>descriptive statistics> confidence interval 95%>summary statistics. Input range diarahkan pada sel B2:B13. (perhatikan gambar berikut)

Hasilnya akan diperoleh seperti berikut ini :

Dari tabel task time diatas, kita dapat simpulkan bahwa rata-rata task time untuk 12 responden adalah 35,08 menit, dengan standar deviasi 11,24. Nilai terendah dalam mengerjakan sebuah tugas adalah 21 menit (paling cepat) dan nilai tertinggi adalah 53 menit (paling lambat).

Berapa angka dibelakang koma?

Dalam merepresentasikan data, kita dituntut untuk menggambarkan sesuatu nilai dengan baik. Pada tabel deskriptif statistik diatas, dapat dilihat mean (rata-rata) kecepatan mengerjakan task adalah 35,083333333. Apakah Anda akan melaporkan hasilnya seperti ini? tentu tidak bukan? Meskipun tidak ada jawaban yang diakui secara universal, namun beberapa faktor yang perlu dipertimbangkan adalah keakuratan data asli, besarnya, dan variabilitasnya. Angka penting yang harus Anda gunakan saat melaporkan statistik, seperti mean, tidak lebih dari satu digit signifikan tambahan dibandingkan dengan data asli. Jadi dalam contoh ini, Anda bisa melaporkan bahwa rata-rata adalah 35,1 detik.

Analisis statistik

Anda perlu sedikit mempelajari ilmu statistik dan probabilitas untuk melaporkan hasil penelitian usability. Anda perlu tahu tentang ukuran tendensi sentral (mean, median, modus), ukuran dispersi (standar deviasi, variansi, jangkauan), bahkan saat anda membandingkan rata-rata usability dari kelompok berbeda (independent t test, pair sample t test, analysis of variance, dst). Untuk pembahasan ini, Anda dapat melihat pada slide presentasi kuliah statistik yang telah saya share di https://www.slideshare.net/kuliahtenia.

Purwokerto, 16 Juni 2017

Alih alih menghemat, penelitian usability justru akan membuang banyak waktu, uang dan tenaga jika tidak direncanakan dengan baik. Untuk merancang usability study yang baik, kita perlu menjawab beberapa pertanyaan seperti berikut ini :

  1. Tipe partisipan apa yang kita butuhkan?
  2. Berapa jumlah partisipan yang kita perlukan?
  3. Apakah kita akan membandingkan data dari kelompok tunggal partisipan dengan beberapa kelompok partisipan yang berbeda?
  4. Apakah kita memerlukan penyeimbang untuk beberapa tugas?

Memilih partisipan

Tiga pertanyaan penting saat memilih partisipan yaitu :

  1. Seberapa baik partisipan menggambarkan target audiens kita?
  • Pilihlah partisipan yang benar-benar dapat menggambarkan usability testing. Contoh : untuk aplikasi kesehatan, pilihlah partisipan dokter, perawat, ataupun bidan. Untuk aplikasi sekolah, pilihlah partisipan guru, murid, kepala sekolah, atau penggiat pendidikan.
  1. Apakah kita akan membagi grup partisipan berdasarkan tipe partisipan yang berbeda? Pikirkanlah tentang grup apa dan berapa jumlah partisipan tiap-tiap grup. Berikut ini beberapa tipe kelompok atau segmen yang umum digunakan dalam penelitian usability.
  • Self reported expertise in some domain (novice, intermediate, expert)
  • Frequency of use (jumlah pengunjung web, jumlah interaksi per bulan)
  • Amount of experience with something (hari, bulan, tahun)
  • Demographics (jenis kelamin, umur, lokasi)
  • Activities (menggunakan fungsi partikular atau fitur)
  1. Tujuan besar penelitian usability agar dapat temuan dapat digeneralisasi untuk populasi yang jumlahnya lebih besar. Berikut teknik-teknik dalam mengambil sampel.
  • Random sampling (setiap anggota populasi memiliki kemungkinan untuk menjadi partisipan penelitian).
  • Systematic sampling (pemilihan sampel berdasarkan kriteria yang telah ditentukan, misalkan responden yang telah memiliki nilai TOEFL lebih dari 500).
  • Stratified sampling (pemilihan partisipan untuk memastikan jumlah sample yang dibutuhkan pada setiap kelompok, misalkan 50% kelompok berjenis kelamin laki-laki, 50% kelompok berjenis perempuan).
  • Sample of convinience (pendekatan ini umum digunakan pada penelitian usability, termasuk setiap orang yang ingin berpartisipasi dalam penelitian. Menempatkan partisipan dalam lab dan mengamati perilaku user).

Jumlah sampel

Berapa jumlah sampel ideal untuk melakukan penelitian usability? Jika anda tertarik untuk mengidentifikasi persoalan-persoalan usability yang besar sebagai bagian dalam proses desain iteratif, maka 3 atau 4 partisipan representatif cukup untuk dijadikan sampel. Tabel dibawah ini menunjukkan bahwa jika kita menggunakan 100 partisipan, dan 80 dari partisipan sukses melakukan tugas (task), maka dapat dikatakan bahwa 71 sampai 86 persen dari populasi yang besar akan mampu melakukan tugas tersebut (dengan 95% confidence interval).

Penelitian dalam kelompok atau antar kelompok

Keputusan penting lain untuk dipikirkan adalah apakah kita akan membandingkan data yang berbeda dari setiap partisipan(dari desain atau produk yang berbeda), atau data dari setiap partisipan (dari rata-rata kesuksesan mengerjakan task pada kelompok yang berbeda).

Penelitian dalam kelompok (within subjects) merupakan penelitian yang umum digunakan. Peneliti dapat melakukan pengukuran berulang, sebelum dan sesudah menggunakan sebuah produk, atau pengukuran dua buah produk berbeda pada partisipan yang sama.

Penelitian antar kelompok (between subjects) contohnya membandingkan kepuasan antara novice dan expert user, atau membandingkan waktu yang dibutuhkan dalam menyelesaikan tugas dari pengguna yang berpendidikan SMA dan pengguna berpendidikan SD.

Counterbalance (mengimbangi)

Terkadang urutan peserta melakukan tugasnya memiliki dampak signifikan terhadap hasilnya. Peserta biasanya belajar produk karena pengalaman mereka berkembang. Akibatnya, Anda harus mempertimbangkan urutan pengumpulan data, yang biasanya merupakan urutan tugas. Mungkin saja Anda melihat peningkatan kinerja atau kepuasan karena sesi kegunaan terus berlanjut. Dapatkah Anda menentukan apakah perbaikan terjadi karena tugas kelima lebih mudah daripada tugas pertama atau jika beberapa pembelajaran terjadi antara tugas pertama dan kelima yang membuat tugas kelima lebih mudah dilakukan? Satu-satunya cara untuk menjawab pertanyaan ini adalah mengendalikan efek pesanan melalui teknik yang disebut penyeimbang. Tabel berikut merupakan contoh bagaimana cara menyeimbangkan tugas berdasarkan 4 partisipan dan 4 tugas.

Variabel bebas dan variabel tergantung

Seperti halnya penjelasan pada bidang statistika, variabel independen (independent variable) adalah tipe variabel yang menjelaskan atau mempengaruhi variabel yang lain. Variabel dependen (dependent variable) adalah tipe variabel yang dijelaskan atau dipengaruhi oleh variabel independen. Misalkan, kepuasan pengguna (variabel dependen) tergantung dari kecepatan download, waktu loading web, dan kemudahan web saat digunakan (variabel independen).

Dari buku Tom Tullis, Measuring The User Experience

Yogyakarta, 15 Juni 2017

Kita telah mengenal berbagai macam ukuran, seperti waktu, jarak, berat, tinggi, kecepatan, temperatur, volume, dan lain-lain. Setiap industri, aktifitas dan segala kebiasaan kita memiliki ukuran tersendiri.  Dalam industri otomotif, diketahui istilah horse power atau kekuatan kuda untuk mobil. Dalam industri komputer, dikenal ukuran kecepatan prosesor, dan ukuran memory. Di dalam kehidupan sehari-hari, kita menggunakan ukuran berat badan, tinggi bangunan, bahkan ukuran ayam yang umum disajikan untuk acara tumpengan punya standar yang telah disepakati!

Begitu pula usability, memiliki metric atau ukuran tersendiri. Ukuran-ukuran tersebut adalah task success, user satisfaction, error, dan lain sebagainya. Data usability merupakan data kualitatif, namun demikian, tetap harus dapat diukur. Kita dapat mengubahnya menjadi data numerik atau sesuatu yang dapat dihitung. Seluruh ukuran usability harus dapat merepresentasikan beberapa aspek dari user exprerience yang disajikan dalam format angka. Sebagai contoh : 65% user menyatakan puas terhadap suatu produk, 90% user dapat menyelesaikan tugas kurang dari satu menit.

Perbedaan usability metric terhadap ukuran lainnya yaitu karakteristiknya dalam mengukur pengalaman pengguna. Hal ini merupakan pengalaman personal dari setiap manusia terhadap sesuatu. Usability metric menghasilkan interaksi antara pengguna dan sebuah benda, seperti aspek efektivitas (kemampuan menyelesaikan suatu tugas), efisiensi (jumlah usaha yang dikeluarkan untuk menyelesaikan tugas), dan kepuasan (derajat yang menyatakan user senang dengan pengalaman mereka dalam mengerjakan suatu tugas).

Perbedaan lainnya, usability metric mengukur sesuatu tentang manusia dan perilaku mereka. Dikarenakan setiap orang memiliki perbedaan dalam kemampuan beradaptasi, maka para desainer dan developer memiliki tantangan tersendiri dalam mengukur usability. Usability metric membantu anda dalam pengambilan keputusan. Usability metric menyediakan jawaban dari setiap pertanyaan yang penting bagi organisasi yang tidak dapat dijawab dari ukuran lain.

Usability metric dapat menjawab beberapa pertanyaan penting seperti :

Apakah pengguna menyukai produk anda?

Apakah produk baru ini lebih efisien daripada produk sebelumnya?

Bagaimana usability sebuah produk dibandingkan dengan produk lainnya?

Masalah usability apa yang paling signifikan dalam sebuah produk?

Apakah terdapat perbaikan pada satu iterasi dengan iterasi selanjutnya?

 

10 mitos tentang usability metrics

Mitos 1 : Pengumpulan metric membutuhkan waktu yang lama

Fakta : jika partisipan yang diperlukan dalam pengukuran kepuasan atau kemudahan penggunaan terlalu banyak, kita dapat mengirimkan email dengan beberapa pertanyaan. Kita juga dimungkinkan untuk mendapatkan feedback dari screenshoot oleh pengguna.

 

Mitos 2 : Usability metric membutuhkan biaya yang banyak

Fakta : seperti mitos 1, keterbatasan waktu dan biaya dapat dikurangi dengan mengirimkan kuesioner kepada user menggunakan email. Beberapa perangkat analisis juga tersedia secara gratis di internet.

 

Mitos 3 : Usability metric tidak berguna saat memfokuskan pada perbaikan kecil

Fakta : Menganalisis masalah kegunaan adalah sebuah solusi yang jelas dan sangat berharga. Misalnya melihat keparahan dan frekuensi masalah usability dan mengapa hal itu terjadi adalah cara terbaik untuk memfokuskan sumber daya selama proses perancangan. Pendekatan ini menghemat banyak uang dan waktu. Anda dapat dengan mudah menurunkan metric kegunaan berdasarkan pada penelitian terdahulu yang mungkin bisa membantu Anda menjawab pertanyaan kegunaan utama. Usability metric berguna untuk proyek berukuran besar maupun kecil.

 

Mitos 4: Usability metric tidak membantu kita memahami penyebabnya

Fakta : Anda dapat mengidentifikasi di mana pengguna sistem mengalami masalah dan menggunakan metric untuk mengetahui di mana dan bahkan mengapa beberapa masalah terjadi. Bergantung pada bagaimana data dikodekan dan metode kode  yang digunakan, ada banyak kegunaan data yang bisa membantu mengungkapkan akar penyebab banyak masalah kegunaan.

 

Mitos 5 : Data usability terlalu ribet

Fakta : Banyak kuesioner penggunaan standar telah banyak divalidasi oleh banyak peneliti. Intinya adalah bahwa dengan beberapa pemikiran hati-hati dan beberapa teknik sederhana, banyak noise dalam data kegunaan bisa sangat signifikan dikurangi untuk menunjukkan gambaran yang jelas tentang perilaku dan sikap pengguna.

 

Mitos 6 : Anda bisa mempercayai “usus” Anda

Fakta : Beberapa pilihan desain benar-benar merupakan kasus “gut level”, namun mungkin saja sebenarnya berdampak pada populasi yang besar. Terkadang solusi perancangan yang tepat berlawanan dengan intuisi. Misalnya, tim desain dapat memastikan bahwa semua informasi di halaman web ada di paro atas, sehingga menghilangkan kebutuhan untuk menggulir. Namun, data kegunaan (mungkin dalam bentuk waktu penyelesaian tugas) dapat mengungkapkan waktu penyelesaian tugas yang lebih lama karena tidak ada cukup ruang putih antara berbagai elemen visual. Intuisi tentu penting, tapi data lebih baik.

 

Mitos 7: Metric tidak berlaku untuk produk baru

Fakta : Saat mengevaluasi produk baru, penting untuk menetapkan seperangkat metric dasar yang dengannya iterasi perancangan di masa mendatang dapat dibandingkan. Ini satu-satunya cara untuk benar-benar tahu apakah desainnya membaik atau tidak. Selain itu, ini sangat membantu menetapkan target metric untuk produk baru. Sebelum produk dilepaskan, seharusnya memenuhiMetric dasar kegunaan seputar keberhasilan tugas, kepuasan, dan efisiensi.

Mitos 8: Tidak ada metric untuk jenis masalah yang sedang kita hadapi

Fakta : Dalam tahun-tahun penelitian kegunaan kami, kami belum menemukan sasaran bisnis atau pengguna yang tidak dapat diukur dengan cara tertentu. Anda mungkin harus kreatif dalam cara mengumpulkan data.

Mitos 9: Metric tidak dipahami atau dihargai oleh manajemen

Fakta : Sudah pengalaman kami bahwa metric kegunaan tidak hanya dipahami namun sangat dihargai oleh manajemen tingkat atas. Mereka dapat berhubungan dengan metric. Metric memberikan kredibilitas kepada tim, produk, dan proses perancangannya. Metric dapat digunakan untuk menghitung ROI (return on investment). Kebanyakan manajer menyukai metric, dan usability metric adalah satu jenis metric yang akan mereka ambil dengan cepat.

Mitos 10: Sulit mengumpulkan data yang dapat dipercaya dengan ukuran sampel yang kecil

Fakta : Banyak orang beranggapan bahwa Anda memerlukan setidaknya 30 peserta untuk mulai melihat data kegunaan. Meski memiliki ukuran sampel lebih besar tentu membantu meningkatkan confident interval, namun ukuran sampel yang lebih kecil dari delapan atau sepuluh peserta masih bisa bermakna.

Disarikan dari buku karya, Tom Tullis, “Measuring the user experience”

Yogyakarta, 6 Juni 2017

Ilustrasi

Mari kita bayangkan kita berada di sebuah mall atau supermarket bangunan, dan akan membeli gergaji mesin (chain saw).

Sejak masuk toko tersebut, apa yang ada di pikiran anda? pasti anda akan mencari melalui papan yang biasanya tergantung di dinding. “Hmmm, ” (anda berpikir),  ” ada di bagian tools? atau lawn and garden?”, dan anda akan secara otomatis memilih “tools” (A). Ketika mendapatkan “bagian tools”, maka selanjutnya kita akan mencari rak “power tools”. Setelah menemukan rak yang dicari, barulah kita mencari produk yang akan dibeli (B). Jika kita tidak menemukan apa yang dicari, maka kita akan berpindah ke rak lain.

department tools

Pada dasarnya, ketika memasuki sebuah toko, kita menggunakan dua cara, yaitu mengikuti navigasi toko (tanda dan hirarki organisasi) pada toko, dan langsung mencari sendiri barang yang akan dibeli (C), atau menggunakan kesempatan untuk bertanya kepada petugas toko letak barang yang akan dibeli (D).

 

                                (C)                                                                                     (D)

 

Ketika masuk kesebuah website, ada dua perilaku user, 1) mencoba menemukan sesuatu hal sendiri (dengan browsing), 2) memutuskan apakah akan bertanya dulu (dengan searching). Kecenderungan user dengan perilaku pertama, disebut search dominant user, dan kecenderungan perilaku kedua disebut link dominant user.

Jika anda tidak menemukan apa yang anda cari dengan segera, maka hampir dapat dipastikan, anda akan meninggalkannya. Desain yang baik seharusnya menyediakan dua pilihan alternatif ini untuk memberikan keleluasaan user dalam memilih.

Navigasi umum

Navigasi umum yang digunakan sebagai elemen dasar pembuatan web biasanya mengacu pada kesepakatan pada media cetak, seperti gambar di bawah ini.

Navigasi yang kuat, harus memuat 5 elemen (site ID, home, search, section, dan utilities) contoh navigasi dapat dibuat seperti dibawah ini :

navigasi dasar

 

Merancang siteID

siteID penting untuk ditampilkan dalam web, karena merupakan representasi untuk keseluruhan web. Analogi siteID merupakan merek atau logo yang biasanya ada di luar toko. Gunakan jenis huruf yang menarik dan warna yang mencolok. Hirarki logis sebuah website adalah sebagai berikut

This site

     Sections of this site

         Subsections

             Sub-subsections, etc.

                  This page

                         Areas of this page

                                     Items on this page

 

Merancang utilities

Utilities untuk setiap web, “kata kunci” bagian utilities berbeda dan bervariasi, Anda dapat memilih beberapa pilihan kata dibawah ini :

utilities

Merancang area pencarian (search area)

Ingatlah bahwa sebagian besar pengguna akan memindai sebuah halaman untuk menemukan sesuatu yang mereka cari. tiga pola utama pencarian disajikan dalam gambar di bawah ini. Rumus sederhananya : text box, tombol, dan kata cari. Jangan membuatnya sulit, dan tetaplah berpegang teguh pada  rumus ini. Secara khusus, hindari fancy word seperti “quick search”,  “Find”, “Quick Find”, “Quick Search”, or “Keyword Search” untuk menghindari kebingungan user. Cukup gunakan kata “search” sebagai “clue” dan “go” pada tombol disebelahnya.

area pencarian

Demikian sekilas pengetahuan dalam merancang navigasi web. Selamat mencoba!

Yogyakarta, 24 Mei 2016