รูปแบบข้อมูลที่รองรับสำหรับบันทึกเหตุการณ์

ไฟล์ที่รองรับสำหรับการอัปโหลดข้อมูล

ProcessMind รองรับไฟล์หลายรูปแบบสำหรับอัปโหลดบันทึกเหตุการณ์ คุณอัปโหลดไฟล์ได้ทั้งผ่านหน้าจอแอปและAPI.

รูปแบบไฟล์ข้อความ

• .csv: ไฟล์ค่าที่คั่นด้วยจุลภาค เป็นรูปแบบที่ใช้กันทั่วไปและมีขนาดเล็ก ระบบส่วนใหญ่ เช่น Excel และ ERP ส่งออกไฟล์รูปแบบนี้ได้ ระบบตรวจจับตัวคั่นให้อัตโนมัติ
• .tsv: ไฟล์ค่าที่คั่นด้วยแท็บ คล้าย CSV แต่ใช้แท็บแทนจุลภาค เหมาะเมื่อข้อมูลมีจุลภาค
• .txt: ไฟล์ข้อความธรรมดา ใช้ได้เมื่อจัดข้อมูลให้มีโครงสร้างและตัวคั่นสม่ำเสมอ
• .xes: รูปแบบมาตรฐานสำหรับบันทึกเหตุการณ์ที่ใช้ในเครื่องมือ process mining เหมาะสำหรับติดตามกิจกรรมอย่างละเอียด พร้อม timestamp และ Case ID.

รูปแบบไฟล์ Excel

• .xls: รูปแบบสเปรดชีต Excel รุ่นเก่า รองรับ แต่อาจโหลดช้ากว่ารูปแบบรุ่นใหม่
• .xlsx: รูปแบบ Excel รุ่นใหม่ ใช้กันแพร่หลายและรองรับเต็มรูปแบบ มักเหมาะกับข้อมูลที่จัดโครงสร้างไว้แล้ว
• .xlsb: Excel Binary Workbook โหลดได้เร็วกว่าและรองรับชุดข้อมูลขนาดใหญ่ได้ดีกว่า .xlsx แต่มีระบบที่รองรับน้อยกว่า.

รูปแบบข้อมูลไบนารีและแบบคอลัมน์

• .parquet: รูปแบบ Apache Parquet จัดเก็บข้อมูลแบบคอลัมน์และปรับให้เหมาะกับงานวิเคราะห์ เหมาะกับชุดข้อมูลขนาดใหญ่ และทำงานกับข้อมูลปริมาณมากได้เร็วกว่า CSV อย่างเห็นได้ชัด รองรับการอัปโหลดข้อมูลส่วนเพิ่ม (delta)
• .orc: รูปแบบ Optimized Row Columnar (ORC) เป็นอีกรูปแบบข้อมูลแบบคอลัมน์ที่มีประสิทธิภาพและใช้กันทั่วไปในระบบนิเวศ Hadoop/Spark รองรับการอัปโหลดข้อมูลส่วนเพิ่ม (delta)
• .jsonl / .ndjson: รูปแบบ JSON Lines โดยแต่ละบรรทัดเป็น JSON object แยกกัน เหมาะสำหรับส่งออกข้อมูลแบบสตรีมจาก API และระบบบันทึกข้อมูล รองรับการอัปโหลดข้อมูลส่วนเพิ่ม (delta).

ไฟล์บีบอัด

• .gz: ไฟล์ที่บีบอัดด้วย Gzip ไฟล์รูปแบบข้างต้นสามารถบีบอัดด้วย Gzip ได้ เช่น data.csv.gz และ data.parquet.gz ProcessMind จะตรวจหารูปแบบไฟล์ภายในและคลายการบีบอัดโดยอัตโนมัติตามความจำเป็น การบีบอัดด้วย Gzip ช่วยลดเวลาอัปโหลดไฟล์ขนาดใหญ่ได้.

ข้อกำหนดทั่วไปด้านโครงสร้างไฟล์

หากต้องการทำ process mining ใน ProcessMind ให้สำเร็จ ไฟล์ที่อัปโหลด ไม่ว่าจะเป็น Excel ไฟล์ข้อความ หรือ XML ต้องมีโครงสร้างตามข้อกำหนด เพื่อให้แอปอ่านข้อมูลได้ถูกต้องและวิเคราะห์ได้แม่นยำ.

1. แถวส่วนหัว (Excel หรือไฟล์ข้อความ)

• ไฟล์ต้องเริ่มด้วยแถวหัวตาราง ซึ่งควรอยู่ในบรรทัดแรก เช่น เซลล์ A1 สำหรับไฟล์ Excel หรือ บรรทัดที่ 1 สำหรับไฟล์ CSV, TSV หรือ TXT แถวหัวตารางระบุชื่อคอลัมน์ โดยควรบอกประเภทข้อมูลในแต่ละคอลัมน์ให้ชัดเจน เช่น “รหัสเคส” “กิจกรรม” และ “การประทับเวลา”
• ระบบจะตรวจจับตัวคั่นและเครื่องหมายอัญประกาศโดยอัตโนมัติสำหรับไฟล์ CSV, TSV และ TXT คุณจึงอัปโหลดข้อมูลได้โดยไม่ต้องระบุการตั้งค่าเหล่านี้เอง
• สำหรับไฟล์รูปแบบ Parquet และ ORC ระบบจะอ่านชื่อคอลัมน์และประเภทข้อมูลจากสคีมาที่ฝังอยู่ในไฟล์โดยตรง จึงไม่ต้องมีแถวหัวตาราง
• สำหรับไฟล์รูปแบบ JSONL/NDJSON ระบบจะใช้คีย์ JSON ในบรรทัดแรกของไฟล์เป็นชื่อคอลัมน์

2. ชุดคุณลักษณะขั้นต่ำ

เพื่อให้ไฟล์รองรับโครงสร้างบันทึกเหตุการณ์สำหรับ process mining อย่างน้อยต้องมีคุณลักษณะ (คอลัมน์) ต่อไปนี้ ชื่อคอลัมน์ไม่จำเป็นต้องตรงกับชื่อที่ระบุ เช่น รหัสเคสหรือกิจกรรม แต่ข้อมูลในคอลัมน์ต้องมีเนื้อหาตามที่กำหนด

• รหัสเคส: คอลัมน์นี้ใช้ระบุกระบวนการแต่ละรายการ (หรือเคส) โดยไม่ซ้ำกัน ทุกแถวที่เป็นของกระบวนการเดียวกันต้องมีรหัสเคสเดียวกัน
• กิจกรรม: คอลัมน์นี้ควรระบุกิจกรรมหรือเหตุการณ์ที่บันทึกไว้ เช่น “สร้างคำสั่งซื้อ” หรือ “ดำเนินการชำระเงิน”
• การประทับเวลา: แต่ละกิจกรรมต้องมีการประทับเวลาที่ระบุวันที่หรือเวลาที่เกิดเหตุการณ์อย่างชัดเจน
• หมายเหตุ: ระบบจะตรวจจับรูปแบบการประทับเวลาโดยอัตโนมัติให้ได้มากที่สุด รูปแบบที่ใช้กันทั่วไป เช่น yyyy-MM-dd HH:mm:ss, MM/dd/yyyy และรูปแบบอื่นๆ จะได้รับการตรวจจับโดยอัตโนมัติ
• แอตทริบิวต์เพิ่มเติม: คุณเพิ่มคอลัมน์อื่นเพื่อช่วยในการวิเคราะห์ได้ เช่น
• ทรัพยากร: ระบุผู้ดำเนินกิจกรรม เช่น ผู้ใช้หรือแผนก
• ต้นทุน: ต้นทุนที่เกี่ยวข้องกับกิจกรรม
• ข้อมูลที่กำหนดเองอื่นๆ: เพิ่มฟิลด์ที่เกี่ยวข้องกับกระบวนการของคุณได้ โดยต้องมีคอลัมน์ที่จำเป็นครบถ้วน.

คอลัมน์ที่ต้องใช้ขึ้นอยู่กับกระบวนการที่คุณวิเคราะห์คู่มือการปรับปรุงกระบวนการของเราระบุ schema ที่แต่ละกระบวนการต้องใช้ ทั้งฟิลด์ที่จำเป็น กิจกรรมที่ควรบันทึก และเทมเพลตข้อมูลที่คุณกรอกได้.

3. การจัดรูปแบบข้อมูล

• ตรวจสอบให้แน่ใจว่าข้อมูลในทุกคอลัมน์ใช้รูปแบบเดียวกัน:
• ประทับเวลาควรใช้รูปแบบมาตรฐานที่อ่านได้ชัดเจน (เช่น yyyy-MM-dd HH:mm:ss) แต่ ProcessMind จะพยายามตรวจหารูปแบบวันที่ให้อัตโนมัติหากข้อมูลใช้รูปแบบอื่น
• หลีกเลี่ยงการเว้นแถวว่างระหว่างรายการข้อมูล เพราะอาจทำให้การนำเข้าข้อมูลมีปัญหา
• ตรวจสอบให้แน่ใจว่าข้อมูลตัวเลข เช่น ค่าใช้จ่ายและระยะเวลา จัดรูปแบบเป็นตัวเลขใน Excel หรือจัดรูปแบบอย่างถูกต้องในไฟล์ข้อความ (CSV, TSV, TXT)
• สำหรับไฟล์ CSV, TSV และ TXT ProcessMind จะตรวจหารูปแบบตัวคั่นโดยอัตโนมัติ เช่น จุลภาค แท็บ และอัฒภาค พร้อมจัดการข้อความที่อยู่ในเครื่องหมายคำพูดให้อัตโนมัติ.

4. การเลือกชีต (เฉพาะไฟล์ Excel)

• ProcessMind จะประมวลผลข้อมูลจากชีตแรกในไฟล์ Excel (XLS, XLSX หรือ XLSB) โดยอัตโนมัติ ไม่ว่าชีตจะชื่ออะไร ให้วางข้อมูลบันทึกเหตุการณ์ที่จำเป็นไว้ในชีตแรก เพราะระบบจะไม่นำชีตอื่นเข้ามาประมวลผล.

5. รูปแบบ XES

รูปแบบ .xes (eXtensible Event Stream) เป็นไฟล์มาตรฐานสำหรับบันทึกเหตุการณ์ใน process mining โดยจัดเก็บรายละเอียดของอินสแตนซ์กระบวนการ เช่น รหัสเคส กิจกรรม เวลา และแอตทริบิวต์อื่นๆ ที่เกี่ยวข้อง

เครื่องมือ process mining รองรับรูปแบบนี้อย่างแพร่หลาย และเหมาะสำหรับสร้างภาพการทำงานจริงของกระบวนการได้อย่างแม่นยำ.

ดูข้อกำหนดทางเทคนิคและรายละเอียดทั้งหมดได้ที่เว็บไซต์มาตรฐาน XES อย่างเป็นทางการ.

6. รูปแบบ Parquet, ORC และ JSONL

ParquetและORCเป็นรูปแบบไบนารีแบบคอลัมน์ที่ใช้กันแพร่หลายในไปป์ไลน์วิศวกรรมข้อมูล เช่น Apache Spark, AWS Glue และ Databricks ทั้งสองรูปแบบมีข้อมูล schema ฝังอยู่ ProcessMind จึงตรวจจับชื่อคอลัมน์และชนิดข้อมูลได้โดยอัตโนมัติ โดยไม่ต้องตั้งค่าเอง.

ไฟล์JSONL (JSON Lines หรือ NDJSON) มี JSON object หนึ่งรายการต่อบรรทัด โดยแต่ละ object แทนเหตุการณ์หนึ่งรายการ คีย์ JSON จะกลายเป็นชื่อคอลัมน์ รูปแบบนี้ใช้กันทั่วไปเมื่อต้องส่งออกข้อมูลจาก API ระบบบันทึกข้อมูล หรือแพลตฟอร์มสตรีมมิง.

รูปแบบทั้งสามชนิดมีคุณสมบัติดังนี้:

• รองรับการอัปโหลดผ่านทั้ง UI และ ProcessMind API
• รองรับการอัปโหลดแบบเพิ่มเฉพาะข้อมูลที่เปลี่ยนแปลง (delta)
• บีบอัดด้วย gzip ได้ (.gz) เพื่อให้ถ่ายโอนข้อมูลได้เร็วขึ้น

7. เคล็ดลับ