Pembersihan dan persiapan data untuk process mining

Process mining yang efektif dimulai dari data berkualitas. Sebagian besar pekerjaan berkisar pada masalah yang sama: peristiwa yang tidak pernah dicatat, ID yang tidak cocok antar sistem, format yang berbeda, serta ekstrak yang terlalu besar atau sensitif untuk ditangani sembarangan. Halaman ini membahas masalah tersebut dan langkah untuk mengatasinya. Untuk melakukan pekerjaan yang sama di ProcessMind, lihat Mengonfigurasi kumpulan data dan Kualitas data.

Mengapa pembersihan dan persiapan data penting?

Process mining menggunakan log peristiwa, yaitu kumpulan data yang berisi urutan aktivitas terperinci dalam suatu proses bisnis. Jika datanya tidak lengkap, tidak konsisten, atau mengandung kesalahan, hasil analisisnya tidak bisa diandalkan. Data yang bersih dan tersusun dengan baik membantu alat memetakan alur kerja, menemukan hambatan, dan menunjukkan bagian yang perlu diperbaiki.

Langkah utama membersihkan dan menyiapkan data

1. Kumpulkan data dari semua sistem yang terlibat

Data biasanya berasal dari beberapa sistem: ERP untuk pesanan dan faktur, CRM untuk tahapan pelanggan, serta layanan bantuan untuk tiket. Kumpulkan data dari semua sistem sebelum mulai membersihkannya. Langkah yang tercatat di sistem yang tidak disertakan tidak bisa dipulihkan nanti.

• Satukan sumber data: catat sistem yang merekam bagian dari proses, lalu ekstrak data dari setiap sistem. Misalnya, proses pesanan hingga pembayaran melibatkan sistem penjualan seperti Salesforce dan sistem keuangan seperti SAP.
• Atasi silo data: sepakati dengan pemilik proses sistem mana yang perlu disertakan dan siapa yang boleh mengekspor datanya. Data yang hilang biasanya berasal dari sistem yang tidak dilaporkan, bukan kueri yang rusak. Alat integrasi seperti Apache NiFi, Talend, Informatica, atau Power BI dapat menggabungkan beberapa sumber ke dalam satu file.
• Rencanakan langkah yang datanya tidak bisa diekstrak: jika suatu langkah dilakukan di luar sistem, seperti persetujuan lewat telepon atau tanda tangan di atas kertas, catat setidaknya hasilnya di sistem digital atau modelkan langkah tersebut agar tampilan proses tetap lengkap. Sumber data membahas sumber data untuk setiap sistem.

2. Hapus duplikasi

Catatan duplikat mengacaukan analisis karena jumlah aktivitas tampak lebih tinggi dan satu peristiwa seolah-olah terjadi beberapa kali. Temukan duplikasi dengan mencocokkan ID kasus, aktivitas, dan stempel waktu, lalu hapus atau gabungkan menjadi satu baris.

3. Tangani data yang hilang

Stempel waktu, aktivitas, atau ID kasus yang hilang memutus urutan peristiwa dan menghasilkan model proses yang tidak lengkap.

• Temukan nilai yang hilang: cari stempel waktu kosong, nama aktivitas yang tidak terisi, dan ID kasus null.
• Lengkapi data yang hilang: jika memungkinkan, gunakan sumber lain atau pengetahuan tentang proses. Waktu peristiwa di sekitarnya dapat membantu memperkirakan stempel waktu yang hilang.
• Modelkan, jangan mengarang: untuk langkah yang sama sekali tidak pernah dicatat, tambahkan melalui pemodelan proses, bukan dengan mengarang stempel waktu. Dengan begitu, proses hasil analisis dan proses yang didokumentasikan bisa saling melengkapi.
• Perkirakan atau hapus: untuk kekosongan data yang penting, gunakan teknik imputasi, seperti penggantian dengan nilai rata-rata atau model regresi. Jika data suatu kasus tidak bisa dipulihkan, hapus kasus tersebut dan catat alasannya.

4. Seragamkan format, ID, dan nama

• Stempel waktu: gunakan satu format di semua data, misalnya YYYY-MM-DD HH:MM:SS. Jika ekstrak mencampur zona waktu, ubah semuanya ke UTC. Lihat daftar format tanggal yang didukung
• ID kasus: proses yang sama sering memiliki ID berbeda di tiap sistem, misalnya nomor pesanan di CRM dan nomor faktur di sistem keuangan. Buat pemetaan antar-ID, di dalam ekstrak atau sebagai tabel pencarian, agar setiap peristiwa tercatat dalam satu kasus. Berikan ID unik untuk setiap instans proses. Di ProcessMind, pastikan kolom ID kasus dipetakan dengan cara yang sama di setiap kumpulan data yang digabungkan. Lihat atribut kumpulan data.
• Nama aktivitas: sistem bisa memberi nama berbeda untuk langkah yang sama. Tetapkan satu nama untuk setiap langkah. “Setujui Pesanan” dan “Persetujuan Pesanan”, misalnya, adalah aktivitas yang sama.
• Nilai dan tipe data: simpan angka sebagai angka, seperti biaya, durasi, dan jumlah. Gunakan satuan yang sama untuk setiap kolom.

5. Hapus peristiwa yang tidak relevan

Tidak semua peristiwa yang tercatat termasuk dalam proses yang Anda analisis. Login sistem, percobaan ulang teknis, dan tugas administratif memenuhi peta tanpa menambah informasi.

• Saring peristiwa yang tidak relevan: gunakan pengetahuan tentang proses untuk menentukan peristiwa mana yang menggambarkan proses, lalu kecualikan sisanya.
• Pilih tingkat perincian yang tepat: peristiwa yang terlalu umum, seperti “pesanan ditangani”, menyamarkan variasi yang ingin Anda temukan. Sebaliknya, peristiwa yang terlalu terperinci membuat peta dipenuhi detail teknis. Kelompokkan peristiwa tingkat rendah ke dalam aktivitas bisnis yang sesuai. Pakar proses yang menentukan batasnya.

6. Tangani pencilan dan derau

Pencilan memberi gambaran yang tidak akurat tentang jalannya proses secara normal. Tugas yang memakan waktu sangat lama akibat kejadian langka bisa mendominasi nilai rata-rata.

• Temukan pencilan: tandai durasi yang jauh di luar rentang normal untuk langkah tersebut.
• Tentukan apakah pencilan perlu dipertahankan: pengecualian nyata, seperti kegagalan langka tetapi penting, sering kali memberi informasi yang layak dipertahankan. Kesalahan data tidak. Hapus hanya data yang salah, bukan data yang merepotkan.

7. Periksa urutan peristiwa

Jika urutan peristiwa salah, alat akan menelusuri alur yang keliru.

• Validasi urutan: peristiwa dalam setiap kasus harus mengikuti stempel waktunya. Jika peristiwa “Pesanan disetujui” tercatat sebelum “Pesanan dibuat” dalam kasus yang sama, periksa stempel waktunya.
• Urutkan berdasarkan stempel waktu: urutkan peristiwa setiap kasus berdasarkan kolom stempel waktu sebelum mengunggah data.

8. Tangani kumpulan data besar

Ekstrak berukuran besar lebih lama disiapkan dan diunggah. Karena itu, rencanakan penanganan ukuran data sejak awal.

• Gunakan sampel untuk menjelajah, muat data untuk menganalisis: sampel yang mewakili data sudah cukup untuk memeriksa apakah event yang diekstrak masuk akal. Muat seluruh data saat analisis membutuhkannya.
• Muat data secara bertahap: jangan mengganti seluruh data. Tambahkan periode baru dengan unggahan inkremental (delta).
• Utamakan format kolumnar: file Parquet dan ORC lebih kecil dan lebih cepat diunggah daripada CSV atau Excel untuk data berukuran besar. Lihat Format Data yang Didukung.

9. Lindungi data sensitif

Log peristiwa dapat memuat nama, alamat, nomor pelanggan, dan ID pengguna. Karena itu, perlakukan hasil ekstrak sebagai data pribadi.

• Anonimkan atau samarkan: hapus atau samarkan data yang tidak diperlukan untuk analisis. Simpan ID pengguna hanya jika analisis sumber daya membutuhkannya.
• Batasi akses: berikan akses ke hasil ekstrak hanya kepada orang yang membutuhkannya. Terapkan kontrol akses berbasis peran pada dataset yang Anda unggah.
• Patuhi aturan yang berlaku: ikuti batas penyimpanan data, enkripsi saat data dikirim dan disimpan, serta peraturan seperti GDPR untuk data pelanggan.

10. Buat log peristiwa

Setelah data bersih, konsisten, dan berurutan, buat log peristiwa sebagai dataset utama untuk process mining. Setiap log memerlukan:

• ID kasus: pengenal unik untuk setiap instans proses.
• Aktivitas: nama langkah yang terjadi.
• Stempel waktu: waktu terjadinya aktivitas, yang menentukan urutan event.

Kolom opsional memberi konteks tambahan, seperti sumber daya (orang atau tim), departemen, biaya, atau atribut khusus lain untuk mengelompokkan proses. Daftar persyaratan lengkap tersedia di Format Data yang Didukung.

11. Validasi dataset

Sebelum mengandalkan hasil analisis, pastikan dataset benar-benar menggambarkan proses yang ingin Anda analisis.

• Periksa beberapa kasus: telusuri beberapa instans proses dari awal hingga akhir dan pastikan urutan event-nya masuk akal.
• Jalankan analisis uji: lakukan process mining sekali dan cari hal yang jelas tidak masuk akal, seperti aktivitas yang tidak pernah terjadi, event awal atau akhir yang keliru, atau kasus yang seharusnya sudah ditutup.
• Konfirmasikan dengan pemilik proses: pakar bisnis dapat segera memastikan apakah data mencerminkan cara kerja yang sebenarnya.

Membersihkan data di ProcessMind

Sebagian besar persiapan di atas dapat dilakukan di ProcessMind setelah data diunggah:

• Petakan dan atur kolom: atur nama tampilan, tipe data, dan format stempel waktu di atribut dataset tanpa perlu mengubah file sumber.
• Periksa kualitas: dasbor Kualitas Data menandai nilai yang hilang dan ketidakkonsistenan agar dapat diperbaiki sebelum analisis. Rekomendasi Data AI juga menyarankan pemetaan dan perbaikan.
• Sembunyikan atau saring data yang tidak relevan: sembunyikan kolom di atribut dataset dan gunakan filter untuk mengecualikan event yang tidak diperlukan.
• Muat ulang tanpa mengunggah ulang: ganti data yang ada atau gunakan unggahan inkremental (delta) untuk dataset yang terus bertambah.

Untuk membersihkan data di luar ProcessMind, gunakan alat serbaguna seperti Python/Pandas, Excel atau Google Sheets, alat ETL, dan OpenRefine sebelum mengunggahnya. Untuk panduan persiapan data yang lebih luas, termasuk penamaan, format, pemuatan inkremental, dan pengarsipan, lihat ETL untuk Process Mining.

Topik terkait

• Sumber Data - ekstrak satu baris untuk setiap langkah dari sistem Anda
• Format Data yang Didukung - jenis file dan persyaratan strukturnya
• Kualitas Data - pemeriksaan yang dilakukan lencana kualitas
• Mengatasi Masalah Data - solusi untuk setiap jenis masalah
• ETL untuk Process Mining - panduan persiapan data lebih lanjut