การแก้ไขปัญหาข้อมูล

การแก้ไขปัญหาข้อมูล

ปัญหาข้อมูลมักแสดงอาการให้เห็นชัด เช่น เคสแยกออกจากกัน เหตุการณ์เรียงลำดับผิด ขั้นตอนหายไป หรือตัวเลขที่ดูเป็นไปไม่ได้ หน้านี้จะพาคุณไล่จากอาการไปหาสาเหตุ แล้วหาวิธีแก้ ทั้งใน ProcessMind หากแก้ได้ด้วยการตั้งค่า และในไฟล์ข้อมูลต้นทางเมื่อจำเป็นต้องแก้ที่นั่น.

ดูขั้นตอนเตรียมข้อมูลทั้งหมด ตั้งแต่ลักษณะของข้อมูลที่เหมาะสมไปจนถึงวิธีจัดเตรียม ได้ที่ การทำความสะอาดและเตรียมข้อมูล หากต้องการดูการตรวจสอบข้อมูลที่แพลตฟอร์มดำเนินการ โปรดดู คุณภาพข้อมูล.

ตรวจสอบเบื้องต้น

ก่อนตรวจไฟล์ต้นทาง ให้ดูข้อมูลที่ ProcessMind แสดงไว้ก่อน:

• รายการสีแดงเหนือแผงข้อมูล ในแท็บ ทั่วไป ของชุดข้อมูล รายการสีแดงจะแจ้งสิ่งที่ขัดขวางการใช้งาน เช่น ไม่มี รหัสเคส, กิจกรรม หรือ เวลาสิ้นสุด, กิจกรรมที่ไม่มีข้อมูล, แอตทริบิวต์ที่ไม่มีค่า หรือไฟล์ที่อัปโหลดซ้ำไม่ตรงกับประเภทกระบวนการที่ใช้โหลดไฟล์นั้น ให้เริ่มตรวจสอบจากรายการนี้
• **ป้ายคุณภาพของโมเดลและแผงข้อมูล.**ป้ายแสดงคะแนนสุขภาพกระบวนการเป็นเปอร์เซ็นต์ ส่วนแผงข้อมูลแสดงความใหม่ของข้อมูล ความครอบคลุมของแอตทริบิวต์ และการวิเคราะห์กิจกรรม
• **คำแนะนำด้านข้อมูลจาก AI.**ระบบสแกนชุดข้อมูลเพื่อแสดงปัญหาที่พบ พร้อมแนะนำการจับคู่และวิธีแก้ไข
• **แอตทริบิวต์ของชุดข้อมูล.**ตั้งชื่อที่แสดง ประเภทข้อมูล และรูปแบบเวลา หรือซ่อนคอลัมน์ได้โดยไม่ต้องส่งออกข้อมูลใหม่.

อาการที่พบในกราฟกระบวนการ

เคสหนึ่งถูกแยกเป็นหลายเคส

สิ่งที่เห็น: อินสแตนซ์ของกระบวนการเดียวปรากฏเป็นเคสสั้น ๆ หลายรายการ แต่ละรายการมีเพียงหนึ่งหรือสองขั้นตอน ทำให้กราฟแสดงกิจกรรมเรียงเป็นแถวแบน ๆ.

สาเหตุ: คอลัมน์ที่จับคู่เป็น รหัสเคส ระบุสิ่งที่มีขอบเขตเล็กกว่าอินสแตนซ์ของกระบวนการ เช่น รายการสินค้าในบรรทัด หมายเลขใบแจ้งหนี้ หรือหมายเลขเอกสารจากระบบใดระบบหนึ่ง.

วิธีแก้: จับคู่กับคอลัมน์ที่ระบุอินสแตนซ์ทั้งหมด เช่น คำสั่งซื้อ ทิกเก็ต หรือเคลม หากไม่มีคอลัมน์เดียวที่ระบุได้ ต้องรวมข้อมูลจากต้นทาง โดยรวมตัวระบุใน SQL หรืองาน ETL เพื่อให้ทุกเหตุการณ์ของอินสแตนซ์เดียวกันมี Case ID เดียวกัน แล้วอัปโหลดอีกครั้ง ดูรูปแบบการตั้งชื่อของแต่ละระบบได้ที่ แหล่งข้อมูล.

เหตุการณ์เรียงลำดับผิด

สิ่งที่เห็น: กิจกรรมที่เกิดทีหลังปรากฏก่อนกิจกรรมที่เกิดก่อน เช่น วันที่ในใบแจ้งหนี้มาก่อนวันที่สั่งซื้อ.

สาเหตุ: มักเกิดจาก 3 สาเหตุ รูปแบบเวลาที่ใช้แปลง Timestamp ไม่ถูกต้อง (ค่า 03/04/2025 ถูกอ่านเป็นวันที่ 4 มีนาคมแทนวันที่ 3 เมษายน) มีการรวมเหตุการณ์จากระบบที่ใช้เขตเวลาต่างกันโดยไม่แปลงเวลา หรือจับคู่คอลัมน์ผิดเป็นฟิลด์เวลา.

วิธีแก้: ตรวจสอบ รูปแบบ ใน แอตทริบิวต์ของชุดข้อมูล และยืนยันว่าชนิดข้อมูลเป็น Timestamp ไม่ใช่ข้อความ แปลงข้อมูลจากทุกแหล่งให้เป็นเขตเวลาเดียวกันก่อนรวมไฟล์ส่งออก เรียงแต่ละเคสตาม Timestamp และสุ่มตรวจเคสบางรายการตั้งแต่ต้นจนจบ.

ขั้นตอนหายไป

สิ่งที่เห็น: กราฟข้ามขั้นตอนที่ควรเกิดขึ้นแน่นอน.

สาเหตุ: ขั้นตอนนั้นไม่ทิ้งร่องรอยไว้ในข้อมูล เช่น การอนุมัติทางโทรศัพท์หรือลายเซ็นบนกระดาษ ไม่เคยทำแผนที่กิจกรรมนั้นไว้ หรือมีตัวกรองซ่อนกิจกรรมดังกล่าว.

วิธีแก้: แสดงขั้นตอนที่มีอยู่จริงแต่ไม่มีบันทึก โดยกำหนดกิจกรรมนั้นเป็นขั้นตอนการไหลผ่านของข้อมูล แล้วจับคู่กิจกรรมที่เหลือด้วยการจับคู่และยกเลิกการจับคู่กิจกรรม กิจกรรมที่ยังไม่ได้จับคู่จะแสดงแบบโปร่งแสงและเชื่อมต่อด้วยเส้นประ จากนั้นตรวจสอบว่าตัวกรองใดกำลังใช้งานอยู่.

เคสไม่มีวันสิ้นสุด

สิ่งที่พบ: หลายเคสหยุดลงโดยไม่ไปถึงเหตุการณ์สิ้นสุด.

สาเหตุ: ไฟล์ส่งออกตัดข้อมูล ณ วันที่กำหนดทั้งที่เคสยังดำเนินอยู่ โมเดลไม่มีเหตุการณ์สิ้นสุด หรือชุดข้อมูลไม่มีข้อมูลกิจกรรมปิดเคส.

วิธีแก้: เพิ่มเหตุการณ์สิ้นสุดจริงให้โมเดล หรือยอมรับว่าเคสยังเปิดอยู่และไม่นำมาวิเคราะห์เวลา เพราะเมตริกด้านเวลาจะนับเฉพาะเคสที่ปิดแล้ว เคสที่ยังไม่เสร็จไม่ใช่ข้อผิดพลาดของข้อมูล.

จำนวนดูสูงเกินจริง

สิ่งที่พบ: กิจกรรมหนึ่งเกิดขึ้นบ่อยผิดสังเกต หรือจำนวนเคสสูงกว่าตัวเลขในรายงานธุรกิจ.

สาเหตุ: มีแถวข้อมูลซ้ำ เหตุการณ์เดียวกันถูกบันทึกสองครั้งจากการเชื่อมต่อระบบหรือการดึงข้อมูลซ้ำ.

วิธีแก้: ลบข้อมูลซ้ำโดยใช้ ID เคส กิจกรรม และเวลา ก่อนอัปโหลด เวิร์กโฟลว์การเตรียมข้อมูลอธิบายสาเหตุที่มักทำให้ดึงข้อมูลซ้ำ.

แผนที่มีข้อมูลแน่นเกินไป

สิ่งที่พบ: มีกิจกรรมหลายร้อยรายการ ซึ่งส่วนใหญ่เป็นกิจกรรมทางเทคนิค.

สาเหตุ: การเข้าสู่ระบบ การลองใหม่ และงานเบื้องหลังอยู่ในไฟล์ดึงข้อมูลเดียวกับขั้นตอนทางธุรกิจ.

วิธีแก้: ซ่อนแอตทริบิวต์ที่คุณไม่ได้นำมาวิเคราะห์ กรองเหตุการณ์ที่ไม่ใช่ส่วนหนึ่งของกระบวนการออก และจัดกลุ่มเหตุการณ์ระดับย่อยให้เป็นกิจกรรมที่เกี่ยวข้อง ผู้เชี่ยวชาญด้านกระบวนการเป็นผู้ตัดสินใจว่ารายละเอียดใดจำเป็นและส่วนใดเป็นข้อมูลรบกวน.

ข้อมูลจากหลายระบบไม่สอดคล้องกัน

สิ่งที่พบ: กระบวนการมีช่วงขาดหาย ทั้งที่ควรมีข้อมูลจากระบบหนึ่งเข้ามา.

สาเหตุ: ดึงข้อมูลจากแต่ละระบบคนละเวลา ใช้ชื่อเรียกขั้นตอนเดียวกันต่างกัน หรือไม่ได้ดึงข้อมูลจากระบบใดระบบหนึ่งเลย.

วิธีแก้: ปรับช่วงเวลาดึงข้อมูลและคำศัพท์กิจกรรมให้ตรงกันก่อนรวมข้อมูล และกำหนดบทบาทให้แต่ละชุดข้อมูลด้วย ชุดข้อมูลหลักและชุดข้อมูลเปรียบเทียบ แทนการนำไฟล์ที่ไม่สอดคล้องกันมาต่อกัน.

อาการที่พบในชุดข้อมูล

ระบบปฏิเสธการอัปโหลด

สิ่งที่พบ: การอัปโหลดจบลงด้วยข้อผิดพลาด หรือไฟล์ถูกโหลดเป็นคอลัมน์เดียว.

สาเหตุ: ไฟล์ไม่ตรงตามข้อกำหนดด้านโครงสร้างข้อใดข้อหนึ่ง สาเหตุที่พบบ่อย ได้แก่ ไม่มีแถวหัวตารางซึ่งต้องอยู่บรรทัดแรก มีแถวว่างคั่นระหว่างข้อมูล ตัวเลขถูกจัดเก็บเป็นข้อความ และไฟล์ Excel ที่ข้อมูลอยู่ในชีตที่สอง ระบบจะอ่านเฉพาะชีตแรกเท่านั้น.

วิธีแก้: ใส่หัวตารางในแถวที่ 1 ลบแถวว่าง ตรวจสอบว่าค่าตัวเลขเป็นตัวเลขจริง และย้ายข้อมูลเหตุการณ์ไปไว้ในชีตแรก ระบบจะตรวจจับตัวคั่นและเครื่องหมายอัญประกาศใน CSV, TSV และ TXT โดยอัตโนมัติ หากโหลดแล้วได้คอลัมน์เดียว มักหมายถึงระบบอ่านไฟล์ไม่ได้ ให้ส่งออกไฟล์ใหม่เป็น CSV หรือ Parquet.

คอลัมน์หรือชนิดข้อมูลไม่ถูกต้อง

สิ่งที่พบ: คอลัมน์หายไป หรือเวลาแสดงเป็นข้อความ.

สาเหตุ: ไฟล์เปลี่ยนไปจากการอัปโหลดครั้งก่อน หรือระบบตรวจจับชนิดข้อมูลผิด.

วิธีแก้: กำหนดชนิดและรูปแบบข้อมูลด้วยตนเอง หรือซ่อนคอลัมน์นั้น หลังเปลี่ยนไฟล์ ให้ตรวจสอบรายการสีแดงว่ามีข้อมูลในไฟล์ใหม่ไม่ตรงกับชุดข้อมูลที่โหลดไฟล์หรือไม่.

ระบบไม่รู้จักรูปแบบเวลา

สิ่งที่พบ: คอลัมน์เวลาไม่มีข้อมูล หรือระยะเวลาที่คำนวณได้ยาวเกินจริงมาก.

สาเหตุ: รูปแบบเวลาที่ไม่คุ้นเคย ลำดับวันและเดือนตามการตั้งค่าภูมิภาค ความละเอียดของเวลาไม่สม่ำเสมอ เช่น มีทั้งวินาทีและมิลลิวินาทีในคอลัมน์เดียว หรือมีการแปลงเขตเวลาซ้ำสองครั้ง.

วิธีแก้: ระบุรูปแบบให้ชัดเจนในแอตทริบิวต์ของชุดข้อมูล แยกไฟล์ส่งออกที่มีความละเอียดของเวลาไม่สม่ำเสมอตั้งแต่ต้นทาง และใช้เขตเวลาเดียวกันก่อนอัปโหลด.

ค่าในข้อมูลว่างเปล่า

สิ่งที่พบ: แผงคุณภาพแสดงช่องว่างของข้อมูลแอตทริบิวต์ หรือแผนภูมิมีหมวดหมู่null.

สาเหตุ: ระบบต้นทางไม่ได้บันทึกค่าสำหรับทุกเคส หรือไฟล์ส่งออกตัดฟิลด์ที่ไม่มีค่าออก.

วิธีแก้: เติมข้อมูลที่ขาดจากระบบต้นทางหากทำได้ หรือใช้ฟังก์ชันจัดการค่า nullในแอตทริบิวต์ที่คำนวณเพื่อแทนค่าว่างด้วยค่าเริ่มต้นที่เหมาะสม.

ชื่อกิจกรรมไม่ตรงกัน

สิ่งที่พบ: มีทั้ง “Approve Order” และ “Order Approval” ซึ่งหมายถึงกิจกรรมเดียวกัน หรือเรียกขั้นตอนเดียวกันต่างกันในแต่ละประเทศ.

สาเหตุ: ระบบต้นทางแต่ละระบบใช้ชื่อเรียกงานเดียวกันไม่เหมือนกัน.

วิธีแก้: ตกลงใช้ชื่อเดียวกันสำหรับแต่ละขั้นตอน จากนั้นปรับค่าในไฟล์ดึงข้อมูลให้เป็นมาตรฐาน หรือเพิ่มแอตทริบิวต์ที่คำนวณเพื่อรวมชื่อที่แตกต่างกันให้เป็นชื่อเดียว แล้วจึงทำแผนที่กิจกรรมจากชื่อนั้น.

อาการที่พบในตัวเลข

ค่าเฉลี่ยดูต่ำเกินไป

สิ่งที่พบ: ระยะเวลาเฉลี่ยของเคสไม่สมเหตุสมผลตามที่ฝ่ายธุรกิจคาดไว้.

สาเหตุ: เมตริกด้านเวลานับเฉพาะเคสที่ปิดแล้ว จึงไม่นับเคสที่ยังไม่เสร็จ และเคสที่เสร็จแล้วมักเป็นเคสที่ใช้เวลาน้อย โดยเฉพาะเมื่อดูข้อมูลช่วงล่าสุด.

วิธีแก้: เปรียบเทียบข้อมูลในเงื่อนไขเดียวกัน จำกัดช่วงเวลาให้เหลือเฉพาะเคสที่มีเวลามากพอจะเสร็จ อ่านคำจำกัดความใน Time Metrics ก่อนสรุปจากค่าเฉลี่ยเพียงค่าเดียว และดูการกระจายของข้อมูลแทนค่าเฉลี่ย.

ค่าเฉลี่ยได้รับผลจากค่าผิดปกติมากเกินไป

สิ่งที่พบ: ค่าเฉลี่ยสูงกว่าระยะเวลาของเคสทั่วไปมาก.

สาเหตุ: เคสที่ใช้เวลานานมากเพียงไม่กี่เคสดันค่าเฉลี่ยให้สูงขึ้น บางครั้งเป็นกรณียกเว้นจริง บางครั้งเกิดจากข้อผิดพลาดของข้อมูล.

วิธีแก้: ดูกลุ่มเคสที่ใช้เวลานาน โดยเปรียบเทียบ P90 กับค่ามัธยฐานแทนค่าเฉลี่ย ตรวจสอบว่าเคสที่ใช้เวลานานผิดปกติเกิดขึ้นจริงหรือไม่ และตัดออกเฉพาะข้อมูลที่ผิดจริงเท่านั้น เพราะกรณียกเว้นที่เกิดขึ้นจริงให้ข้อมูลที่เป็นประโยชน์ Time Metricsอธิบายเมตริกแต่ละรายการ.

การเปรียบเทียบไม่แสดงผล

สิ่งที่พบ: ชุดข้อมูลเปรียบเทียบแสดงไม่มีข้อมูล (0 เคส, ครอบคลุม 0%).

สาเหตุ: ตัวกรองที่เปิดใช้อยู่หรือช่วงเวลาที่เลือกไม่มีเคสจากชุดข้อมูลนั้น หรือกิจกรรมในชุดข้อมูลยังไม่ได้ทำแผนที่กับโมเดล.

วิธีแก้: ขยายช่วงเวลา ตรวจสอบการทำแผนที่ของชุดข้อมูลเปรียบเทียบ และยืนยันว่าชุดข้อมูลใดเป็นชุดข้อมูลหลัก.

เมื่อปัญหาเกิดจากขนาดข้อมูล

ปัญหาบางอย่างไม่ได้เกิดจากข้อมูลผิดพลาด แต่เกิดจากขนาดข้อมูล:

• อัปโหลดช้า: เลือกใช้ Parquet หรือ ORC และเลือก XLSB แทน XLSX สำหรับไฟล์ Excel ดูรูปแบบข้อมูลที่รองรับ.
• ไฟล์มีขนาดเพิ่มขึ้น: เพิ่มข้อมูลช่วงเวลาใหม่ด้วยการอัปโหลดแบบเพิ่มข้อมูล (delta) แทนการแทนที่ไฟล์ทั้งหมด.
• วิเคราะห์ช้า: ลบคอลัมน์ที่ไม่มีใครนำมาวิเคราะห์ กรองเส้นทางปกติออกเมื่อต้องการค้นหาข้อยกเว้น และดูข้อมูลทีละช่วงเวลาหรือทีละภูมิภาค คู่มือประสิทธิภาพอธิบายผลกระทบจากขนาดข้อมูล.
• ชุดข้อมูลที่ไม่จำเป็นแล้ว: เก็บถาวรชุดข้อมูลที่ไม่ได้นำมาวิเคราะห์ เพื่อให้พื้นที่ทำงานมีเฉพาะข้อมูลที่คุณนำไปใช้.

แก้ปัญหาที่ต้นทาง

การแก้ปัญหาใน ProcessMind ช่วยลดการส่งข้อมูลไปกลับ แต่ปัญหาบางอย่างต้องแก้ที่ต้นทางเท่านั้น เช่น ไม่มีระบบต้นทาง เขตเวลาปะปนกัน หรือไม่มีไฟล์ส่งออกใดรวมตัวระบุให้เป็นรูปแบบเดียวกัน ปัญหาเหล่านี้ต้องแก้ในไฟล์ดึงข้อมูล และหากเกิดซ้ำ ควรแก้ที่ระบบซึ่งสร้างไฟล์นั้นด้วย ดูแหล่งข้อมูลเพื่อดูวิธีดึงข้อมูลจากแต่ละระบบ และETL สำหรับ process miningเพื่อดูแนวทางรักษาความน่าเชื่อถือของไฟล์ดึงข้อมูล.

ยังแก้ไม่ได้ใช่ไหม?

หากการตรวจสอบข้างต้นยังอธิบายสิ่งที่พบไม่ได้ โปรดติดต่อทีมสนับสนุนพร้อมแจ้งชื่อชุดข้อมูล เคสที่กำลังตรวจสอบ สิ่งที่คาดว่าจะเห็น และสิ่งที่เห็นจริง โดยทั่วไปภาพหน้าจอของกราฟและแผงคุณภาพจะช่วยหาสาเหตุได้เร็วกว่าการอธิบายด้วยข้อความ.

ทดลองใช้ process mining กับข้อมูลของคุณ

หัวข้อที่เกี่ยวข้อง

• คุณภาพข้อมูล: ดูความหมายของป้ายคุณภาพและวิธีอ่านแผงข้อมูล
• การกำหนดค่าชุดข้อมูล: ดูรายการตรวจสอบสีแดงและฟิลด์ที่ต้องระบุ
• รูปแบบข้อมูลที่รองรับ: เรียนรู้เรื่องแถวหัวตาราง ชีต และชนิดไฟล์
• การล้างและเตรียมข้อมูล: ดูเวิร์กโฟลว์การเตรียมข้อมูลทั้งหมด
• การโหลดข้อมูลแบบเพิ่ม: เพิ่มข้อมูลในชุดข้อมูลโดยไม่ต้องอัปโหลดใหม่ทั้งชุด
• คำถามที่พบบ่อย: รวมคำถามที่พบบ่อย