Pertemuan 3 : Pre-Processing

Pre Processing

Pre-processing adalah tahapan untuk menghilangkan beberapa permasalahan yang bisa mengganggu saat pemrosesan data. Hal tersebut karena banyak data yang formatnya tidak konsisten. Data preprocessing merupakan teknik paling awal sebelum melakukan data mining. Namun terdapat beberapa proses juga dalam data preprocessing seperti membersihkan, mengintegrasikan, mentransformasikan dan mereduksi data.

Data Cleaning

Data cleaning atau membersihkan data. Artinya, data mentah yang telah diperoleh perlu diseleksi kembali. Kemudian, hapus atau hilangkan data-data yang tidak lengkap, tidak relevan, dan tidak akurat. Dengan melakukan tahap ini, Anda akan menghindari kesalahpahaman ketika menganalisis data tersebut.

Contoh Implementasi data cleaning :

1. Code untuk implementasi Data Cleaning :


2. Output dari code setelah di run :


3. Penjelasan Kode :
    a. Membuat DataFrame Contoh: DataFrame ini dibuat dengan beberapa nilai yang hilang dan duplikat.

    b. Mengisi Nilai yang Hilang:
        Kolom Nama diisi dengan 'Tidak Diketahui' jika ada nilai yang hilang.
        Kolom Usia diisi dengan rata-rata usia.
        Kolom Gaji diisi dengan nilai modus (nilai yang paling sering muncul).

    c. Menghapus Duplikat: Baris duplikat dihapus dari DataFrame.

    d. Mengonversi Tipe Data: Kolom Gaji dikonversi dari tipe string ke integer. Menampilkan DataFrame: DataFrame yang     sudah dibersihkan ditampilkan untuk melihat hasil akhir.

Data Collection

Data Collection bahasa lain dari Pengumpulan data yang merupakan prosedur pengumpulan, pengukuran, dan analisis wawasan akurat untuk penelitian menggunakan teknik standar yang tervalidasi.

Ada beberapa metode pengumpulan data, Seperti :
- Pengumpulan Data dari API
- Pengumpulan Data dari Web Scraping
- Pengumpulan Data dari File CSV
- Pengumpulan Data dari Database
- Pengumpulan Data melalui Survei

Contoh Implementasi Data Collection menggunakan metode csv :

1. Code untuk implementasi Data Collection :


2. Output dari code setelah di run :


3. Penjelasan Kode :

    1. Fungsi read_csv dari library pandas digunakan untuk membaca file CSV dan mengonversinya menjadi DataFrame         pandas.
    2. Fungsi head() dari DataFrame digunakan untuk menampilkan beberapa baris pertama dari DataFrame.

Data Transform

Transformasi data adalah proses mengubah format, struktur, atau nilai data menjadi bentuk yang diinginkan.

Ada beberapa teknik transformasi data, Seperti :
- Normalisasi Data: Mengubah skala data sehingga berada dalam rentang tertentu, biasanya 0 hingga 1.
- Log Transform: Menggunakan transformasi logaritma untuk mengurangi skewness data.
- One-Hot Encoding: Mengubah data kategorikal menjadi representasi biner.
- Binning: Mengelompokkan data numerik menjadi kategori.

Contoh Implementasi Data Transform :

1. Code untuk implementasi Data Transform :


2. Output dari code setelah di run :


3. Penjelasan Kode : 

    a. Normalisasi Data: Gaji dinormalisasi menggunakan min-max scaling sehingga nilai berada dalam rentang 0hingga1.
    b. Log Transform: Transformasi logaritma diterapkan pada Gaji untuk mengurangi skewness.
    c. One-Hot Encoding: Kolom Kota diubah menjadi beberapa kolom biner (satu untuk setiap kategori).
    d. Binning: Usia dikelompokkan menjadi beberapa kategori menggunakan pd.cut.

Data Reduction

Data reduction adalah proses mengurangi jumlah data sehingga data menjadi lebih mudah diolah dan dianalisis tanpa mengorbankan keakuratannya. Beberapa teknik umum dalam data reduction termasuk agregasi, sampling, selection of attributes, dan principal component analysis (PCA).

Ada beberapa metode pengumpulan data, Seperti :
- Agregasi Data: Data penjualan di agregasi per bulan.
- Selection of Attributes: Memilih kolom yang relevan dari dataset yang besar.
- Principal Component Analysis (PCA): Mengurangi dimensi dataset dengan PCA.

Contoh Implementasi Data Reduction :

1. Code untuk implementasi Data Reduction :


2. Output dari code setelah di run :


3. Penjelasan Kode : 

    a. Membuat DataFrame df dengan 4 kolom (A, B, C, D) dan 5 baris data.
    b. Mencetak DataFrame asli sebelum reduksi.
    c. Membuat objek PCA untuk mereduksi data menjadi 2 komponen utama.
    d. Mengaplikasikan PCA pada DataFrame df dan menyimpan hasilnya dalam DataFrame        baru df_reduced dengan dua kolom: PC1 dan PC2.
    e. Mencetak DataFrame yang telah direduksi.





Komentar

Posting Komentar

Postingan populer dari blog ini

Pertemuan 1 : Proses atau Tahapan Data Mining, CRISP-DM (Cross-Industry Standard Process for Data Mining), SEMMA (Sample, Explore, Modify, Model, dan Assess), CCC (Cognitive Computing, Communication, and Computation),

Gambar
Pengertian Data Mining Data mining adalah proses analisis data yang kompleks dan penting yang bertujuan untuk menggali pengetahuan berharga dari kumpulan data yang besar. Proses ini melibatkan penggunaan algoritma dan teknik khusus untuk menemukan pola tersembunyi, hubungan, dan tren yang mungkin tidak terlihat secara langsung. Data mining juga membantu mengubah data mentah menjadi informasi yang bermanfaat bagi organisasi atau orang yang menggunakannya. Data mining memiliki tujuan utama untuk menghasilkan wawasan yang dapat digunakan untuk pengambilan keputusan yang lebih baik. Data mining, misalnya, dapat membantu dalam mengidentifikasi kebiasaan konsumen, preferensi produk, atau tren pasar yang dapat digunakan untuk membuat strategi pemasaran yang lebih efektif karena dapat mendeteksi pola atau hubungan yang mungkin tidak terlihat secara langsung. Proses atau Tahapan Data Mining Proses atau tahapan dalam data mining adalah serangkaian langkah-langkah yang dilakukan untuk mengekstrak...
Baca selengkapnya

Pertemuan 2 : Data Preparation dan Data Visualization

Gambar
Pengertian Data Preparation      Data Preparation adalah proses mengambil data mentah dan menyiapkannya untuk diserap dalam platform analitik. Untuk mencapai tahap akhir persiapan, data harus dibersihkan, diformat, dan diubah menjadi sesuatu yang dapat dicerna oleh alat analisis. Salah satu fungsi utama data preparation adalah memastikan keakuratan dan konsistensi data mentah yang disiapkan untuk pemrosesan dan analisis. Tahapan Melakukan Data Preparation Pengumpulan Data          Data yang sudah di siapkan berupa format csv lalu di implementasikan ke google colab              dengan code dan menghasilkan output pada gambar di bawah :           Penemuan Data          Step selanjutnya penemuan data dengan cara berikut :           Pembersihan Data           Step selanjutnya pembersihan data dengan...
Baca selengkapnya

Pertemuan 5 : LAPORAN ANALISIS DATA TRANSKRIP NILAI DAN DATA LULUSAN DARI UNIVERSITAS MELALUI API

Code Google Colab :  Google Colab Unduh Artikel :  PDF 1.      Pendahuluan Dalam laporan ini, penulis akan menganalisis data transkrip nilai siswa, termasuk nilai IPS per semester per siswa; korelasi antara nilai IPS dan kelulusan tepat waktu; korelasi antara predikat kelulusan "Pujian" dan kelulusan tepat waktu; dan korelasi antara durasi studi dan predikat kelulusan. 2.      IPS per Semester per Mahasiswa Untuk mengetahui IPS siswa setiap semester, penulis mengumpulkan nilai total mata kuliah setiap semester, kemudian membaginya dengan jumlah SKS yang diambil. Ini menunjukkan bagaimana prestasi akademik siswa meningkat seiring waktu. Metode: 3.      Menghitung nilai total untuk setiap semester berdasarkan data nilai total mata kuliah. 4.      Menghitung jumlah SKS yang diambil untuk setiap semester. 5.      Membagi nilai total dengan jumlah SKS untuk setiap semester.   Ta...
Baca selengkapnya