เนื้อหาในหน้านี้
> ทรัพยากร > เอกสาร > ข้อมูล process mining > การทำความสะอาดและเตรียมข้อมูลสำหรับ process mining

การทำความสะอาดและเตรียมข้อมูลสำหรับ process mining

Process Intelligence Process Intelligence ใช้ได้เมื่อมีไลเซนส์ Process Intelligence ขึ้นไป เฉพาะไลเซนส์ในแพ็กเกจนี้หรือสูงกว่าเท่านั้นที่ใช้ฟีเจอร์นี้ได้. เปรียบเทียบแพ็กเกจ ใช้ได้เมื่อมีไลเซนส์ Process Intelligence ขึ้นไป

การทำ process mining ให้ได้ผลเริ่มจากข้อมูลที่มีคุณภาพ โดยงานส่วนใหญ่มักเกี่ยวข้องกับปัญหาเดิมๆ ไม่กี่อย่าง เช่น เหตุการณ์ที่ไม่ได้บันทึก รหัสที่ไม่ตรงกันระหว่างระบบ รูปแบบข้อมูลที่ไม่สอดคล้องกัน และไฟล์ส่งออกที่ใหญ่หรือมีข้อมูลละเอียดอ่อนเกินกว่าจะจัดการโดยไม่ระมัดระวัง หน้านี้อธิบายปัญหาเหล่านี้และวิธีแก้ไข หากต้องการทำงานแบบเดียวกันใน ProcessMind โปรดดูการกำหนดค่าชุดข้อมูลและคุณภาพข้อมูล.

ทำไมการทำความสะอาดและเตรียมข้อมูลจึงสำคัญ?

process mining ใช้บันทึกเหตุการณ์ ซึ่งเป็นชุดข้อมูลที่มีลำดับกิจกรรมโดยละเอียดภายในกระบวนการทางธุรกิจ หากชุดข้อมูลไม่ครบถ้วน ไม่สอดคล้องกัน หรือมีข้อผิดพลาด ข้อมูลเชิงลึกที่ได้ก็อาจไม่น่าเชื่อถือ การจัดข้อมูลให้สะอาดและมีโครงสร้างที่เหมาะสมช่วยให้เครื่องมือทำแผนที่เวิร์กโฟลว์ ตรวจหาคอขวด และชี้จุดที่ควรปรับปรุงได้.

ขั้นตอนสำคัญในการทำความสะอาดและเตรียมข้อมูล

1. รวบรวมข้อมูลจากทุกระบบที่เกี่ยวข้อง

ข้อมูลมักมาจากหลายระบบ เช่น ERP สำหรับคำสั่งซื้อและใบแจ้งหนี้ CRM สำหรับขั้นตอนที่เกี่ยวกับลูกค้า และระบบบริการลูกค้าสำหรับทิกเก็ต ควรรวบรวมข้อมูลจากทุกระบบก่อนเริ่มทำความสะอาด เพราะหากตัดระบบที่บันทึกขั้นตอนหนึ่งออกไป จะไม่สามารถกู้ข้อมูลขั้นตอนนั้นกลับมาได้ภายหลัง.

  • รวบรวมแหล่งข้อมูล: ระบุระบบที่บันทึกข้อมูลบางส่วนของกระบวนการ แล้วส่งออกข้อมูลจากแต่ละระบบ ตัวอย่างเช่น กระบวนการตั้งแต่รับคำสั่งซื้อจนถึงรับชำระเงินอาจครอบคลุมระบบขาย เช่น Salesforce และระบบการเงิน เช่น SAP.
  • เชื่อมข้อมูลที่แยกส่วนกัน: ตกลงกับเจ้าของกระบวนการว่าจะใช้ระบบใดบ้าง และใครสามารถส่งออกข้อมูลได้ ข้อมูลที่ขาดหายมักเกิดจากระบบที่ไม่มีใครแจ้งให้ทราบ ไม่ใช่จากคำสั่งค้นหาที่ผิดพลาด เครื่องมือเชื่อมต่อข้อมูล เช่น Apache NiFi, Talend, Informatica หรือ Power BI สามารถรวมข้อมูลจากหลายแหล่งไว้ในไฟล์เดียวได้.
  • วางแผนสำหรับข้อมูลที่ส่งออกไม่ได้: หากขั้นตอนเกิดขึ้นนอกระบบ เช่น การอนุมัติทางโทรศัพท์หรือการเซ็นเอกสาร ให้บันทึกผลลัพธ์ไว้ในระบบดิจิทัลอย่างน้อย หรือสร้างแบบจำลองขั้นตอนนั้นเพื่อให้มุมมองกระบวนการยังครบถ้วน แหล่งข้อมูลที่ใช้ได้อธิบายวิธีหาแหล่งข้อมูลจากแต่ละระบบ.

2. ลบข้อมูลซ้ำ

ระเบียนซ้ำทำให้ผลวิเคราะห์คลาดเคลื่อน เพราะจำนวนกิจกรรมสูงเกินจริงและเหตุการณ์เดียวดูเหมือนเกิดขึ้นหลายครั้ง ตรวจหาระเบียนซ้ำจากรหัสกรณี กิจกรรม และเวลาที่ตรงกัน จากนั้นลบหรือรวมให้เหลือแถวเดียว.

3. จัดการข้อมูลที่ขาดหาย

เวลาที่บันทึก กิจกรรม หรือรหัสกรณีที่ขาดหายทำให้ลำดับเหตุการณ์ไม่ต่อเนื่อง และได้โมเดลกระบวนการที่ไม่ครบถ้วน.

  • ตรวจหาค่าที่ขาดหาย: ตรวจหาเวลาที่เว้นว่าง ชื่อกิจกรรมที่ไม่มีข้อมูล และรหัสกรณีที่เป็นค่าว่าง
  • เติมข้อมูลที่ขาด: หากทำได้ ให้ใช้แหล่งข้อมูลอื่นหรือความรู้เกี่ยวกับกระบวนการ หากเวลาที่บันทึกขาดหายไปหนึ่งรายการ เวลาของเหตุการณ์ก่อนหน้าและถัดไปอาจช่วยระบุช่วงเวลาได้
  • สร้างแบบจำลองแทนการแต่งข้อมูล: สำหรับขั้นตอนที่ไม่เคยบันทึกเลย ให้เพิ่มขั้นตอนผ่านการสร้างแบบจำลองกระบวนการแทนการสร้างเวลาขึ้นเอง เพื่อให้กระบวนการที่ค้นพบจากข้อมูลสอดคล้องกับกระบวนการที่บันทึกไว้
  • เติมค่าหรือตัดออก: หากข้อมูลสำคัญขาดหาย ให้ใช้วิธีเติมค่าทดแทน เช่น แทนด้วยค่าเฉลี่ยหรือใช้โมเดลถดถอย หากกู้คืนกรณีไม่ได้ ให้ลบกรณีนั้นและบันทึกเหตุผลไว้.

4. ปรับรูปแบบ รหัส และชื่อให้เป็นมาตรฐานเดียวกัน

  • เวลาที่บันทึก: ใช้รูปแบบเดียวกันทุกแห่ง เช่น YYYY-MM-DD HH:MM:SS หากไฟล์ส่งออกมีหลายเขตเวลา ให้แปลงทั้งหมดเป็น UTC ดูรายการรูปแบบวันที่ที่รองรับ
  • รหัสกรณี: กระบวนการเดียวกันมักใช้รหัสต่างกันในแต่ละระบบ เช่น หมายเลขคำสั่งซื้อใน CRM และหมายเลขใบแจ้งหนี้ในระบบการเงิน สร้างตารางจับคู่รหัสไว้ในไฟล์ส่งออกหรือเป็นตารางค้นหา เพื่อให้ทุกเหตุการณ์อยู่ภายใต้กรณีเดียวกัน และกำหนดรหัสเฉพาะให้แต่ละกระบวนการ ใน ProcessMind ให้ตรวจสอบว่าจับคู่คอลัมน์รหัสกรณีในทุกชุดข้อมูลที่นำมารวมกันด้วยวิธีเดียวกัน ดูเพิ่มเติมที่แอตทริบิวต์ชุดข้อมูล.
  • ชื่อกิจกรรม: แต่ละระบบอาจเรียกขั้นตอนเดียวกันต่างกัน ให้เลือกใช้ชื่อเดียวกันสำหรับแต่ละขั้นตอน เช่น “อนุมัติคำสั่งซื้อ” และ “การอนุมัติคำสั่งซื้อ” คือกิจกรรมเดียวกัน
  • ค่าและชนิดข้อมูล: เก็บตัวเลขเป็นตัวเลข เช่น ต้นทุน ระยะเวลา และจำนวนเงิน และใช้หน่วยเดียวกันในแต่ละคอลัมน์.

5. ลบเหตุการณ์ที่ไม่เกี่ยวข้อง

เหตุการณ์ที่บันทึกไว้ไม่ได้เกี่ยวข้องกับกระบวนการที่คุณกำลังวิเคราะห์ทั้งหมด การเข้าสู่ระบบ การลองใหม่ทางเทคนิค และงานธุรการทำให้แผนภาพรกโดยไม่ได้เพิ่มข้อมูลเชิงลึก.

  • กรองสิ่งที่ไม่เกี่ยวข้องออก: ใช้ความรู้เกี่ยวกับกระบวนการตัดสินว่าเหตุการณ์ใดอธิบายกระบวนการ และตัดเหตุการณ์อื่นออก
  • เลือกระดับรายละเอียดให้เหมาะสม: เหตุการณ์ที่กว้างเกินไป เช่น “จัดการคำสั่งซื้อ” จะซ่อนความแตกต่างที่คุณต้องการค้นหา ส่วนเหตุการณ์ที่ละเอียดเกินไปจะทำให้แผนภาพเต็มไปด้วยรายละเอียดทางเทคนิค ให้รวมเหตุการณ์ระดับย่อยเข้ากับกิจกรรมทางธุรกิจที่เกี่ยวข้อง โดยให้ผู้เชี่ยวชาญด้านกระบวนการเป็นผู้กำหนดขอบเขต.

6. จัดการค่าผิดปกติและสัญญาณรบกวน

ค่าผิดปกติทำให้เห็นภาพการทำงานปกติของกระบวนการคลาดเคลื่อน งานที่ใช้เวลานานเป็นพิเศษจากเหตุการณ์ที่พบไม่บ่อยอาจทำให้ค่าเฉลี่ยสูงเกินจริง.

  • ตรวจหาค่าผิดปกติ: ทำเครื่องหมายระยะเวลาที่ต่างจากช่วงปกติของขั้นตอนนั้นมาก
  • ตัดสินใจว่าจะเก็บไว้หรือไม่: ข้อยกเว้นที่เกิดขึ้นจริง เช่น ความล้มเหลวที่พบไม่บ่อยแต่สำคัญ มักให้ข้อมูลเชิงลึกที่ควรเก็บไว้ แต่ข้อผิดพลาดของข้อมูลไม่ควรเก็บไว้ ลบเฉพาะข้อมูลที่ผิด ไม่ใช่ข้อมูลที่จัดการได้ยาก.

7. ตรวจสอบลำดับเหตุการณ์

หากเหตุการณ์เรียงลำดับผิด เครื่องมือจะติดตามการไหลผิดไปด้วย.

  • ตรวจสอบลำดับ: เหตุการณ์ของแต่ละกรณีควรเรียงตามเวลาที่บันทึก หากเหตุการณ์ “อนุมัติคำสั่งซื้อ” เกิดก่อน “สร้างคำสั่งซื้อ” ในกรณีเดียวกัน ควรตรวจสอบเวลาที่บันทึก
  • เรียงตามเวลา: เรียงเหตุการณ์ของแต่ละกรณีตามคอลัมน์เวลาที่บันทึกก่อนอัปโหลด.

8. จัดการชุดข้อมูลขนาดใหญ่

ไฟล์ส่งออกขนาดใหญ่ใช้เวลานานทั้งในการเตรียมและอัปโหลด จึงควรวางแผนรองรับขนาดข้อมูลตั้งแต่ต้น.

  • ใช้ข้อมูลตัวอย่างตรวจสอบก่อน แล้วค่อยโหลดข้อมูลมาวิเคราะห์: ใช้ข้อมูลตัวอย่างที่เป็นตัวแทนเพื่อตรวจดูว่าเหตุการณ์ที่ดึงมาสมเหตุสมผลหรือไม่ แล้วโหลดข้อมูลทั้งหมดเมื่อจำเป็นต้องใช้ในการวิเคราะห์
  • ทยอยโหลดข้อมูล: แทนที่จะแทนที่ข้อมูลทั้งหมด ให้นำข้อมูลช่วงเวลาใหม่มาต่อท้ายด้วยการอัปโหลดข้อมูลส่วนเพิ่ม (delta)
  • เลือกใช้รูปแบบข้อมูลแบบคอลัมน์: ไฟล์ Parquet และ ORC มีขนาดเล็กกว่าและอัปโหลดได้เร็วกว่า CSV หรือ Excel เมื่อมีข้อมูลปริมาณมาก ดูรายละเอียดที่รูปแบบข้อมูลที่รองรับ.

9. ปกป้องข้อมูลที่ละเอียดอ่อน

บันทึกเหตุการณ์อาจมีชื่อ ที่อยู่ หมายเลขลูกค้า และ user ID จึงควรจัดการไฟล์ข้อมูลที่ดึงมาเสมือนเป็นข้อมูลส่วนบุคคล.

  • ทำข้อมูลให้ไม่ระบุตัวตนหรือปกปิดข้อมูล: ลบหรือปกปิดข้อมูลที่ไม่จำเป็นต่อการวิเคราะห์ และเก็บ user ID ไว้เฉพาะกรณีที่ต้องวิเคราะห์ทรัพยากร
  • จำกัดสิทธิ์เข้าถึง: ให้ไฟล์ข้อมูลแก่ผู้ที่จำเป็นต้องใช้เท่านั้น และกำหนดสิทธิ์เข้าถึงชุดข้อมูลที่อัปโหลดตามบทบาท
  • ปฏิบัติตามข้อกำหนดที่เกี่ยวข้อง: ทั้งระยะเวลาเก็บรักษาข้อมูล การเข้ารหัสระหว่างส่งและขณะจัดเก็บ รวมถึงข้อกำหนดอย่าง GDPR สำหรับข้อมูลลูกค้า.

10. สร้างบันทึกเหตุการณ์

เมื่อข้อมูลสะอาด สอดคล้องกัน และเรียงลำดับแล้ว ให้สร้างบันทึกเหตุการณ์ ซึ่งเป็นชุดข้อมูลหลักสำหรับ process mining โดยบันทึกทุกชุดต้องมีข้อมูลต่อไปนี้:

  • รหัสเคส: รหัสเฉพาะของกระบวนการแต่ละรายการ
  • กิจกรรม: ชื่อขั้นตอนที่เกิดขึ้น
  • การประทับเวลา: เวลาที่เกิดเหตุการณ์ ซึ่งใช้กำหนดลำดับเหตุการณ์.

คอลัมน์เสริมช่วยให้วิเคราะห์ได้ละเอียดขึ้น เช่น ทรัพยากร (บุคคลหรือทีม), แผนก, ค่าใช้จ่าย หรือคุณลักษณะที่กำหนดเองซึ่งต้องการใช้แบ่งข้อมูลในกระบวนการ ดูข้อกำหนดทั้งหมดที่รูปแบบข้อมูลที่รองรับ.

11. ตรวจสอบความถูกต้องของชุดข้อมูล

ก่อนนำผลไปใช้ ตรวจสอบว่าชุดข้อมูลสะท้อนกระบวนการที่คุณต้องการวิเคราะห์จริงหรือไม่.

  • สุ่มตรวจบางกรณี: ไล่ดูอินสแตนซ์ของกระบวนการตั้งแต่ต้นจนจบสักสองสามรายการ แล้วตรวจสอบว่าลำดับเหตุการณ์สมเหตุสมผล
  • ทดลองวิเคราะห์: ทำ process mining หนึ่งครั้ง แล้วตรวจหาข้อมูลที่ผิดปกติ เช่น กิจกรรมที่ไม่เคยเกิดขึ้น เหตุการณ์เริ่มต้นหรือสิ้นสุดที่ดูไม่ถูกต้อง หรือกรณีที่ควรปิดไปแล้ว
  • ยืนยันกับเจ้าของกระบวนการ: ผู้เชี่ยวชาญในธุรกิจช่วยบอกได้ในเวลาไม่นานว่าข้อมูลสะท้อนวิธีทำงานจริงหรือไม่.

ทำความสะอาดข้อมูลใน ProcessMind

คุณจัดการการเตรียมข้อมูลหลายขั้นตอนข้างต้นได้ใน ProcessMind หลังอัปโหลด:

หากต้องการทำความสะอาดข้อมูลนอก ProcessMind คุณใช้เครื่องมือทั่วไป เช่น Python/Pandas, Excel, Google Sheets, เครื่องมือ ETL หรือ OpenRefine ก่อนอัปโหลดได้ ดูแนวทางการเตรียมข้อมูลเพิ่มเติม ทั้งการตั้งชื่อ รูปแบบข้อมูล การทยอยโหลด และการเก็บถาวร ได้ที่ETL สำหรับ process mining.

หัวข้อที่เกี่ยวข้อง

ออกแบบกระบวนการให้ดีขึ้น วางโครงสร้างที่เชื่อมโยงกัน และควบคุมได้.

เริ่มใช้งานได้ทันที ไม่ต้องใช้บัตรเครดิตและไม่ต้องรอ เปลี่ยนวิธีทำงานขององค์กรให้เป็นแบบจำลองกระบวนการที่ชัดเจนและเชื่อมโยงกัน.

สร้างสถาปัตยกรรมกระบวนการ กำหนดเจ้าของและการควบคุม พร้อมจัดบทบาทและความรับผิดชอบให้สอดคล้องกันในทุกระดับ.

เริ่มทดลองใช้ฟรี แล้วสร้างรากฐานที่เชื่อถือได้สำหรับกำกับดูแล จัดการ และปรับปรุงกระบวนการอย่างต่อเนื่อง.

เริ่มทดลองใช้ฟรีวันนี้