Dalam sebuah survei publik, data yang diambil berbentuk sampel yang dapat mewakili populasinya. Namun, dalam mengambil sampel yang secara tepat merepresentasikan populasi, dapat dikatakan sangat sulit. Sehingga diperlukan tingkat toleransi dari kesalahan sampel supaya populasi tetap terwakilkan.

Untuk mengetahui seberapa baik sampel dalam mewakili populasi dapat dengan melihat margin of error. Margin of error menggambarkan jumlah kesalahan yang biasa terjadi pada pengambilan sampel dalam survei yang dilakukan oleh peneliti. Semakin besar persentase margin of error maka semakin jauh suatu sampel tersebut dapat mewakili populasinya. Begitu juga sebaliknya, semakin kecil margin of error, maka semakin dekat suatu sampel dalam mewakili populasi sesungguhnya.

Margin of error yang lebih rendah tidak menjamin suatu survei lebih kredbiel daripada hasil survei lainnya. Karena, margin of error hanya membatasi besar kesalahan maksimal yang ada dalam survei.

Terdapat beberapa faktor yang mempengaruhi nilai margin of error, antara lain ukuran populasi dan cara pengambilan sampel (sampling method). Namun, faktor terbesar yang mempengaruhi margin of error adalah jumlah sampel.

Secara sederhana, jika diasumsikan tingkat kepercayan 95%, nilai z adalah 1,96 dan nilai s adalah 0,5, maka sampel dengan jumlah 100 memiliki margin of error sebesar 9,8%. Sedangkan, dengan asumsi yang sama, jika jumlah sampel adalah 2000 maka nilai margin of error menjadi (hanya) 2,19%.

Margin of error inilah yang membuat hasil survei tidak tepat dibaca "si A menang atas si B" selama selisihnya masih berada dalam margin of error. Selain itu, selama masih dalam margin of error, hasil survei tetap bisa dikatakan valid walau pun hasil akhir berbeda. Jika ternyata Ahok-Djarot yang menang, bukan Anies-Sandi, maka survei SMRC atau Indikator tetap valid selama hasilnya masih dalam rentang margin of error itu tadi.

Selain jumlah sampel, faktor lain yang berpengaruh, khususnya pada penelitian sosial adalah metode pengambilan sampel (sampling method). Ada berbagai macam sampling method yang digunakan dalam penelitian. Namun metode yang paling sering digunakan dalam survei elektabilitas antara lain Stratified Systematic Random samplingdan Multistage Random Sampling

Dalam pengambilan sampel menggunakan teknik stratified systematic random sampling, populasi terlebih dahulu dikelompokan menjadi sub-sub populasi dengan kriteria yang sama. Setelah itu, dari sub populasi, akan diambil sampel secara acak dan proporsional mengikuti ukuran sampel. Pengambilan secara acak ini hanya dilakukan pada unsur pertama dari sampel yg dipilih, sedangkan unsur selanjutnya dipilih secara sistematis menurut suatu pola tertentu.

Sebagai ilustrasi teknik stratified systematic random sampling, pada survei elektabilitas Pilgub DKI, salah satu kriteria responden misalnya pemilih pemula (baru pertama kali mengikuti pemilu) dengan tingkat pengeluaran maksimal Rp 500 ribu per bulan. Maka, dari populasi, akan dipilih sub populasi sesuai dengan kriteria yang ditetapkan. Dari sub populasi tersebut akan dibagi lagi menjadi sub grup berdasarkan kotamadya. Jumlah responden berdasarkan kotamadya ini dihitung berdasarkan ukuran sampel terhadap sub populasi sesuai kriteria.

Selanjutnya, dibentuk kembali sub grup tingkat kecamatan hingga yang terkecil. Jumlah responden mulai dari tingkat kecamatan ini dihitung berdasarkan pola tertentu, misalnya di Kecamatan A hanya kriteria pemilih pria pemula dengan pengeluaran maksimal Rp500 ribu per bulan dan Kecamatan B adalah pemilih wanita pemula dengan pengeluaran maksimal Rp500 ribu per bulan.

Sedangkan pada teknik multistage random sampling, pengambilan sampel dilakukan secara bertingkat. Misalnya, pada survei elektabilitas DKI Jakarta, pada tahap pertama sampel diambil dari tingkat kotamadya, seperti Jakarta Pusat dan Jakarta Utara. Lalu pada tahap selanjutnya, sampel diambil dari tingkat di bawahnya, yaitu kecamatan. Begitu seterusnya hingga tingkat terkecil dan jumlah sampel telah memenuhi ukurannya (sample size). Dalam teknik ini, tidak diutamakan kesamaan karakteristik sampel.

Teknik pengambilan sampel ini sangat terkait dengan analisis hasil riset yang dilakukan oleh peneliti. Karena karakteristiknya berbeda, maka hasil penelitian dengan metode pengambilan sampel yang berbeda tidak dapat dibandingkan. Karena, hasilnya akan bias jika dibandingkan satu sama lain.

Namun inilah yang banyak terjadi dalam beberapa hari terakhir setelah dirilisnya hasil survei dari berbagai lembaga. Hasil survei dari berbagai lembaga yang menggunakan metode pengambilan sampel berbeda-beda, dideretkan satu per satu untuk dibandingkan hasilnya.

Semakin banyak tahapan/(sub)kriteria pengambilan sampel yang digunakan cenderung akan menurunkan response rate. Response rate adalah persentase banyaknya responden yang menjawab instrumen penelitian secara valid terhadap jumlah sampel yang ditetapkan pada awal penelitian. Contohnya, jika pada awal ditetapkan jumlah sampel sebanyak 500 orang dan responden yang menjawab kuesioner secara valid sebesar 250 orang, maka response rate sebesar 50% (500/2500x100%).

Padahal, response rate merupakan dasar dari kredibilitas data yang disajikan. Rendahnya response rate merupakan indikasi dari kegagalan dalam pengambilan data. Karena akan menyebabkan hasil yang bias, dalam hal ini ada kemungkinan meningkatkan margin of error, sehingga data yang disajikan pun menjadi lebih meragukan.

Banyaknya informasi yang dibagikan dengan membandingkan hasil elektabilitas pasangan Pemilihan Gubernur DKI Jakarta memberikan beberapa pelajaran berharga.

Pertama, elektabilitas bukan menentukan siapa pemenang tetapi menunjukan tendensi atau preferensi masyarakat atas pilihan yang ada.

Kedua, nilai margin of error yang selalu dicantumkan dan bahkan menjadi penguat analisis untuk membandingkan berbagai hasil survei belum digunakan dengan tepat. Karena nilai ini dipengaruhi oleh jumlah sampel dan sampling method, berbeda jumlah dan tekniknya tentu bisa menghasilkan angka yang berbeda.

Di sisi lain, informasi penelitian elektabilitas pun banyak yang tidak lengkap, seperti tidak ditampilkannya response rate, waktu penelitian dan metode pengolahan data. Padahal, penelitian yang baik, atau bisa juga disebut kredibel, adalah yang menampilkan secara transparan mulai dari karakteristik responden hingga metode pengolahan dan analisis data yang digunakan.

Keilmiahan sebuah penelitian tidak hanya diukur dari hasilnya yang akurat dengan realitas yang sebenarnya, melainkan juga kesediaan untuk bersikap transparan dalam metode dan prosedur penelitian, teknik pemilihan responden, dll. Semakin transparan maka semakin mungkin penelitian itu untuk diuji, diverifikasi maupun difalsifikasi oleh orang/pihak lain, termasuk oleh publik. Inilah prinsip dasar ilmu pengetahuan modern.

Sebuah penelitian yang tidak transparan, bahkan walau pun hasilnya ternyata sangat mendekati kenyataan, tetap memungkinkan untuk diragukan. Publik bisa saja bertanya: dari mana hasil yang "valid" itu? Betul-betul berdasarkan penelitian ilmiah atau hanya kebetulan belaka?