Hati-hati dengan Perangkap Ekstra dalam Analisis Data

Compiled by: Nugroho J. Setiadi, PhD
Orcid-ID: http://orcid.org/0000-0002-1864-0116

Ini bisa menarik saat analisis data Anda menunjukkan prediksi yang mengejutkan atau berlawanan dengan intuisi. Tapi hasilnya mungkin karena overfitting, yang terjadi ketika model statistik menggambarkan noise acak daripada hubungan mendasar yang perlu Anda peroleh. Anda bisa waspada terhadap perangkap ini dengan tetap menjaga analisis Anda secara sederhana. Berhati-hatilah terhadap korelasi palsu, dan carilah hubungan yang mengukur efek penting yang terkait dengan hipotesis logis yang jelas. Uji overfitting dengan membagi data secara acak menjadi satu set pelatihan, yang akan Anda perkirakan modelnya, dan set validasi, yang dengannya Anda akan menguji keakuratan prediksi model. Model yang terlalu besar mungkin hebat dalam membuat prediksi di dalam rangkaian pelatihan namun menaikkan bendera peringatan dengan berkinerja buruk di dalam set validasi. Anda mungkin juga mempertimbangkan narasi alternatif: Adakah cerita lain yang bisa Anda ceritakan dengan data yang sama? Jika demikian, Anda tidak dapat yakin bahwa hubungan yang telah Anda temukan benar – atau hanya – satu.

Diadaptasi dari the HBR Guide to Data Analytics Basics for Managers

Sumber:
Harvard Business Review (2016). The HBR Guide to Data Analytics Basics for Managers. USA: HBR Ebook.