Format data yang didukung untuk log peristiwa

Format file yang didukung untuk unggahan data

ProcessMind mendukung berbagai format file untuk mengunggah log peristiwa. Semua format dapat diunggah melalui antarmuka aplikasi maupun API.

Format berbasis teks

• .csv: Nilai yang dipisahkan koma. Format umum dan ringan yang dapat diekspor oleh sebagian besar sistem, termasuk Excel dan ERP. Pemisah kolom terdeteksi otomatis.
• .tsv: Nilai yang dipisahkan tab. Mirip CSV, tetapi menggunakan tab, sehingga cocok jika data berisi koma.
• .txt: File teks biasa. Dapat digunakan jika disusun dengan format berpemisah yang konsisten.
• .xes: Format standar log peristiwa yang digunakan dalam alat process mining. Cocok untuk mencatat aktivitas secara terperinci, termasuk stempel waktu dan ID kasus.

Format Excel

• .xls: Format spreadsheet Excel versi lama. Didukung, tetapi pemuatannya mungkin lebih lambat daripada format yang lebih baru.
• .xlsx: Format Excel modern. Banyak digunakan dan didukung sepenuhnya, serta sering menjadi pilihan untuk data terstruktur.
• .xlsb: Excel Binary Workbook. Memuat data lebih cepat dan lebih cocok untuk dataset besar daripada .xlsx, tetapi tidak didukung seluas format lain.

Format data biner dan kolumnar

• .parquet: Format Apache Parquet. Format penyimpanan kolumnar yang dioptimalkan untuk analisis data. Cocok untuk dataset besar dan jauh lebih cepat daripada CSV untuk data berukuran besar. Mendukung unggahan inkremental (delta).
• .orc: Format Optimized Row Columnar (ORC). Format kolumnar efisien lain yang umum digunakan dalam ekosistem Hadoop/Spark. Mendukung unggahan inkremental (delta).
• .jsonl / .ndjson: Format JSON Lines. Setiap baris berisi satu objek JSON. Cocok untuk ekspor data streaming dari API dan sistem pencatatan. Mendukung unggahan inkremental (delta).

File terkompresi

• .gz: File yang dikompresi dengan gzip. Semua format di atas dapat dikompresi dengan gzip, misalnya data.csv.gz, data.parquet.gz. ProcessMind mendeteksi format file di dalamnya secara otomatis dan mengekstraknya sesuai kebutuhan. Kompresi gzip dapat mempercepat pengunggahan file besar.

Persyaratan umum struktur file

Agar process mining di ProcessMind berjalan dengan baik, file yang Anda unggah, baik dalam format Excel, teks, maupun XML, harus mengikuti struktur tertentu. Dengan begitu, aplikasi dapat membaca data dengan benar dan menganalisisnya secara akurat.

1. Baris header (Excel atau format berbasis teks)

• File harus diawali dengan baris header di baris pertama, misalnya sel A1 untuk file Excel atau baris 1 untuk file CSV, TSV, atau TXT. Header berisi nama kolom yang menjelaskan jenis data di setiap kolom, misalnya “ID Kasus”, “Aktivitas”, dan “Stempel Waktu”.
• Untuk format CSV, TSV, dan TXT, pemisah kolom dan tanda kutip akan terdeteksi otomatis. Anda tidak perlu mengatur opsi ini secara manual saat mengunggah data.
• Untuk format Parquet dan ORC, nama kolom dan tipe data dibaca langsung dari skema yang tertanam di file. Baris header tidak diperlukan.
• Untuk format JSONL/NDJSON, nama kolom diambil dari kunci JSON pada baris pertama file.

2. Atribut minimum

Agar file dapat digunakan sebagai log peristiwa untuk process mining, file harus memiliki setidaknya atribut (kolom) berikut. Nama kolom tidak harus sama dengan nama yang tercantum, seperti ID Kasus atau Aktivitas, tetapi isinya harus sesuai.

• ID kasus: Kolom ini menjadi pengenal unik untuk setiap instans proses atau kasus. Semua baris untuk instans proses yang sama harus memiliki ID kasus yang sama.
• Aktivitas: Kolom ini menjelaskan aktivitas atau event yang dicatat, misalnya “Pesanan dibuat” atau “Pembayaran diproses”.
• Stempel waktu: Setiap aktivitas harus memiliki stempel waktu yang menunjukkan tanggal atau waktu persis saat event terjadi.
• Catatan: Format stempel waktu akan terdeteksi otomatis jika memungkinkan. Format umum seperti yyyy-MM-dd HH:mm:ss, MM/dd/yyyy, dan format lainnya akan dikenali secara otomatis.
• Atribut opsional: Anda dapat menambahkan kolom lain untuk memperkaya analisis, seperti:
• Sumber daya: Menunjukkan siapa yang melakukan aktivitas, misalnya pengguna atau departemen.
• Biaya: Biaya yang terkait dengan aktivitas.
• Data khusus lainnya: Anda dapat menambahkan kolom khusus yang relevan dengan proses Anda, selama kolom wajib tetap tersedia.

Kolom yang diperlukan bergantung pada proses yang Anda analisis. Panduan perbaikan proses kami menjelaskan skema untuk setiap proses, termasuk kolom wajib, aktivitas yang perlu dicatat, dan templat data yang dapat Anda isi.

3. Format data

• Pastikan format data konsisten di semua kolom:
• Gunakan format stempel waktu yang standar dan mudah dikenali, misalnya yyyy-MM-dd HH:mm:ss. Jika format tanggal berbeda, ProcessMind akan mencoba mendeteksinya secara otomatis.
• Jangan sisipkan baris kosong di antara data karena dapat mengganggu proses impor.
• Pastikan data numerik, seperti biaya dan durasi, menggunakan format angka di Excel atau format yang benar di file teks seperti CSV, TSV, dan TXT.
• Untuk format CSV, TSV, dan TXT, ProcessMind akan mendeteksi otomatis pemisah kolom, seperti koma, tab, atau titik koma, serta menangani teks bertanda kutip.

4. Memilih sheet (khusus file Excel)

• ProcessMind otomatis memproses sheet pertama dalam file Excel Anda (XLS, XLSX, atau XLSB), apa pun namanya. Pastikan data log peristiwa yang diperlukan ada di sheet pertama. Sheet lain tidak akan diproses saat impor.

5. Format XES

Format .xes (eXtensible Event Stream) adalah jenis file standar untuk log peristiwa dalam process mining. Format ini merekam informasi terperinci tentang instans proses, seperti ID kasus, aktivitas, stempel waktu, dan atribut lain yang relevan.

Format ini didukung secara luas oleh alat process mining dan cocok untuk merekonstruksi perilaku proses yang sebenarnya secara akurat.

Untuk spesifikasi teknis dan informasi lengkap, kunjungi situs resmi standar XES.

6. Format Parquet, ORC, dan JSONL

Parquet dan ORC adalah format biner kolumnar yang banyak digunakan dalam alur kerja rekayasa data, seperti Apache Spark, AWS Glue, dan Databricks. Keduanya menyertakan informasi skema, sehingga ProcessMind dapat mendeteksi nama kolom dan tipe data secara otomatis tanpa pengaturan manual.

File JSONL (JSON Lines, juga dikenal sebagai NDJSON) berisi satu objek JSON di setiap baris. Setiap objek mewakili satu event. Kunci JSON menjadi nama kolom. Format ini umum digunakan untuk mengekspor data dari API, sistem pencatatan, atau platform streaming.

Ketiga format ini:

• Mendukung unggahan melalui UI dan API ProcessMind
• Mendukung unggahan inkremental (delta)
• Dapat dikompresi dengan gzip (.gz) agar transfer lebih cepat

7. Tips