Data Preprocessing 101: 5 Teknik Membersihkan Missing Value dan Outlier

 Pernahkah Anda mendengar pepatah "Garbage In, Garbage Out" dalam dunia data science? Ungkapan ini sangat populer dan sepenuhnya benar. Sebaik apa pun algoritma machine learning atau kecerdasan buatan yang Anda gunakan, jika data yang Anda masukkan berantakan, kotor, dan penuh lubang, maka hasil prediksinya pun tidak akan bisa diandalkan. Di sinilah data preprocessing mengambil peran sebagai pahlawan tanpa tanda jasa.

Data preprocessing adalah tahapan fundamental di mana data mentah diubah menjadi format yang bersih, rapi, dan siap untuk dianalisis atau dilatih oleh model algoritma. Dari sekian banyak tantangan dalam tahap ini, dua masalah yang paling sering membuat pusing para Data Scientist adalah missing value (data yang hilang atau kosong) dan outlier (pencilan atau data ekstrem).

Jika dibiarkan, missing value dapat menyebabkan error pada sistem, sementara outlier bisa merusak perhitungan statistik dan membuat model menjadi bias. Oleh karena itu, mari kita bedah 5 teknik membersihkan missing value dan outlier agar dataset Anda siap tempur!

Bagian 1: Teknik Pembersihan Missing Value

Missing value sering kali muncul dalam bentuk NaN (Not a Number), Null, atau sel yang dibiarkan kosong dalam spreadsheet. Penyebabnya beragam, mulai dari kesalahan manusia saat menginput data, kerusakan sensor, hingga responden survei yang enggan menjawab pertanyaan tertentu. Berikut adalah teknik pembersihan missing value yang paling ampuh:

1. Penghapusan Data (Deletion / Dropna)

Teknik paling sederhana dan cepat dalam menangani missing value adalah dengan menghapus baris atau kolom yang mengandung nilai kosong tersebut.

• Listwise Deletion: Menghapus seluruh baris observasi yang memiliki setidaknya satu nilai kosong.

• Column Deletion: Menghapus seluruh kolom jika persentase missing value di kolom tersebut sangat besar (misalnya di atas 50% atau 60%).

Kapan digunakan? Teknik ini sangat disarankan jika jumlah data yang hilang sangat sedikit (kurang dari 5% dari total dataset) dan data Anda memiliki jutaan baris, sehingga penghapusan tidak akan mengurangi informasi penting secara signifikan. Namun, hindari cara ini jika data Anda terbatas, karena Anda bisa kehilangan pola (pattern) yang berharga.

2. Imputasi dengan Nilai Statistik Dasar (Mean, Median, Modus)

Daripada membuang data, pendekatan yang lebih bijak adalah mengisinya (imputasi). Teknik imputasi statistik mengganti nilai yang hilang dengan pusat data dari kolom tersebut.

• Mean (Rata-rata): Sangat baik digunakan untuk data numerik yang memiliki distribusi normal (simetris) tanpa kehadiran outlier.

• Median (Nilai Tengah): Pendekatan yang jauh lebih aman untuk data numerik jika dataset Anda memiliki outlier yang parah. Nilai ekstrem tidak akan menarik median sejauh ia menarik mean.

• Modus (Nilai yang Paling Sering Muncul): Wajib digunakan untuk data kategorikal. Misalnya, jika kolom "Warna Mobil" memiliki nilai kosong, Anda bisa mengisinya dengan warna "Hitam" apabila warna tersebut adalah mayoritas di dataset.

3. Imputasi Algoritmik Lanjutan (KNN Imputer)

Jika menggunakan nilai statistik dasar terasa terlalu kaku, Anda bisa menggunakan algoritma machine learning untuk melakukan pembersihan missing value. Salah satu yang terpopuler adalah K-Nearest Neighbors (KNN) Imputer.

Cara kerjanya cerdas: algoritma ini akan melihat karakteristik baris data yang memiliki nilai kosong, kemudian mencari beberapa baris lain (tetangga) yang paling mirip (nearest). Nilai yang hilang akan diisi berdasarkan rata-rata atau mayoritas dari tetangga terdekatnya. Keunggulan: Hasilnya jauh lebih akurat dan natural karena mempertahankan varians data. Sangat cocok untuk dataset yang kompleks di mana setiap kolom saling memiliki korelasi.

Bagian 2: Teknik Menjinakkan Outlier

Setelah missing value tertangani, masalah selanjutnya adalah outlier. Bayangkan Anda sedang menghitung rata-rata gaji di sebuah ruangan yang berisi 10 karyawan biasa, namun tiba-tiba Elon Musk masuk ke ruangan tersebut. Rata-rata gaji akan melonjak tajam ke angka triliunan rupiah dan tidak lagi merepresentasikan keadaan aslinya. Itulah efek destruktif dari outlier.

Berikut adalah dua teknik utama dalam data preprocessing untuk menanganinya:

4. Metode Trimming menggunakan IQR (Interquartile Range)

Metode Trimming berarti kita memotong atau membuang data yang teridentifikasi sebagai outlier. Namun, kita tidak bisa membuangnya sembarangan menggunakan tebakan; kita butuh batasan matematis. Di sinilah IQR berperan.

IQR adalah selisih antara Kuartil Atas (Q3) dan Kuartil Bawah (Q1). Rumus batasannya adalah:

• Batas Bawah: Q1 - 1.5 * IQR

• Batas Atas: Q3 + 1.5 * IQR

Segala angka yang berada lebih rendah dari Batas Bawah atau lebih tinggi dari Batas Atas secara resmi dianggap sebagai outlier dan akan dihapus dari dataset. Teknik ini sangat obyektif dan merupakan standar industri dalam membersihkan outlier pada distribusi data yang tidak normal (skewed).

5. Teknik Winsorization (Capping)

Terkadang, membuang data (trimming) bukanlah ide yang baik, terutama jika jumlah data Anda terbatas atau outlier tersebut ternyata mengandung informasi penting (misalnya deteksi penipuan kartu kredit). Sebagai alternatif, Anda bisa menggunakan teknik Winsorization atau Capping.

Daripada menghapusnya, teknik ini membatasi (memotong ujung) nilai ekstrem ke persentil tertentu. Sebagai contoh, Anda menetapkan batas persentil ke-1 dan ke-99. Jika ada nilai yang melampaui persentil ke-99 (sangat besar), nilainya akan diubah paksa menjadi persis sama dengan nilai pada persentil ke-99 tersebut. Begitu pula sebaliknya untuk batas bawah. Kelebihan: Ukuran dataset Anda akan tetap utuh (tidak ada baris yang terhapus), namun rentang datanya menjadi jauh lebih jinak sehingga aman dikonsumsi oleh algoritma machine learning sensitif seperti Regresi Linear atau algoritma berbasis jarak (K-Means).

Kesimpulan

Langkah data preprocessing bukanlah sekadar pelengkap, melainkan fondasi utama dalam siklus data science. Memilih teknik pembersihan missing value dan perlakuan outlier yang tepat sangat bergantung pada dua hal: jumlah data yang Anda miliki dan jenis algoritma yang akan Anda gunakan.

Jika data Anda berlimpah, deletion atau trimming mungkin aman. Namun jika data Anda berharga bak emas, lakukanlah imputasi canggih dan winsorization. Dengan memahami lima teknik esensial di atas, Anda sudah memegang kunci utama untuk mengubah dataset yang "kotor" dan berantakan menjadi informasi yang berharga, akurat, dan siap melahirkan insight yang tajam bagi bisnis Anda. Selamat membersihkan data!