• Home
  • /
  • Tag Archives:  datascience

Generate CSV berdasarkan Kategori di Python dengan Pandas, OS, dan NumPy

Salah satu kasus yang sering dihadapi seorang Data Scientist adalah diberikan dataset yang stukturnya tidak cocok dengan kebutuhan untuk membuat Machine Learning Model. Sehingga perlu adanya penanganan manual yang termasuk dalam tahap pre-processing data.

Pada artikel ini kita akan membahas bagaimana mengenerate file CSV berdasarkan kategori dengan Python menggunakan library Pandas, OS, dan NumPy.

Encoding Data Kategori ke Numerik di Python

Dalam banyak kasus di datascience, seringkali dijumpai dataset yang berisi data kategori berbentuk non numerik. Sebagai contoh misalkan dataset karyawan yang di dalamnya terdapat kolom gender, di mana datanya berupa kategori ‘laki-laki’ atau ‘perempuan’. Contoh lainnya, masih dari dataset karyawan, misalnya jenis karyawan: ‘karyawan tetap’, ‘karyawan kontrak’, ‘freelance’. Data-data kategori dalam dataset yang diberikan pada contoh tersebut berupa string. Untuk keperluan pengolahan data, misalnya di machine learning, data-data tersebut harus dinyatakan ke dalam format numerik (encoding) supaya dapat diolah menggunakan formula matematika.

Artikel ini akan menjelaskan bagaimana melakukan encoding data kategori (categorical data) ke dalam numerik menggunakan Python. Dengan menggunakan library tertentu, proses ini dapat dilakukan dengan mudah dan cepat tanpa perlu banyak coding. Proses encoding data ke numerik ini masuk ke dalam proses data pre processing.

Menangani Missing Data dengan Python

Dalam datascience, sering kali kita jumpai data-data yang tidak utuh, atau hilang (missing data atau missing value). Sebagai contoh adalah data berikut ini:

Contoh Missing Data

Gambar di atas menunjukkan data ketepatan waktu lulus dari mahasiswa dari beberapa program studi. Dalam hal ini kolom ‘Prodi’, ‘Usia’, dan ‘IPK’ kita sebut sebagai variabel bebas (X) dan kolom ‘LulusTepatWaktu’ sebagai variabel terikat (y). Jika diperhatikan, maka ada beberapa missing data dalam X, yaitu pada kolom ‘Usia’ dan ‘IPK’, khususnya pada data baris ke-4 dan 7.

Dalam praktiknya, missing data bisa disebabkan karena ada kendala pada aplikasi atau software yang digunakan untuk menyimpan data tersebut, human error, atau bisa juga disebabkan karena alat yang rusak.

Analisis Time Series Data NetCDF dengan Library Python FBProphet

Melalui artikel kali ini, saya akan mencoba mengupas tuntas sebuah metode dalam data science, yaitu analisis time series, menggunakan Python.

Seperti yang sudah diketahui secara umum bahwa untuk keperluan data science, Python telah menyediakan banyak sekali library, yang dengannya analisis data menjadi lebih mudah dan cepat. Tidak terkecuali analisis time series.

Artikel ini akan membahas tentang cara melakukan analisis time series menggunakan library FBProphet di Python. Analisis yang dilakukan meliputi prediksi data time series, mengetahui pola data trend mingguan, bulanan, dan tahunan. Sebagai dataset analisisnya, akan diambil data rata-rata temperatur harian di beberapa titik di asia di sepanjang tahun 2010, yang berformat netCDF.