数据问题排查
数据问题排查
数据问题通常会表现出具体症状:案例被拆分、事件顺序错误、步骤缺失,或数值看起来不合理。本页将从症状追溯原因,再根据原因找到解决方法:能通过ProcessMind设置解决的问题就在平台内处理,其他问题则需在导出数据中修正。
完整的数据准备工作流,包括合格数据的特征及准备方法,请参阅数据清理与准备。平台对数据执行的检查,请参阅数据质量。
初步检查
深入检查源文件前,请先查看ProcessMind已提供的信息:
- 面板上方的红色问题列表。在数据集的常规选项卡中,红色列表会指出阻碍项:缺少案例ID、活动或结束时间;活动没有数据、属性没有值;或重新上传的文件与最初加载时选择的流程类型不匹配。请从这里开始排查。
- **质量徽章和面板。**徽章以百分比显示流程健康度评分;面板则显示数据新鲜度、属性覆盖率和活动分析。
- **AI数据建议。**扫描数据集后,系统会列出发现的问题,并建议映射和修复方法。
- **数据集属性。**您可以设置显示名称、数据类型和时间戳格式,也可以隐藏列,无需重新导出数据。
大多数问题都与三个字段有关
案例ID用于标识流程实例,活动用于标记步骤,结束时间用于确定事件在时间线上的位置。开始时间、用户、成本和tCO₂e则提供更多背景信息。若将必需字段映射到错误的列,后续分析结果都会出错。
流程图中的症状
一个案例被拆分成多个案例
*您会看到:*一个流程实例显示为许多很短的案例,每个案例只有一两个步骤,因此流程图呈现为一排平铺的活动。
*原因:*映射为案例ID的列标识的是比流程实例更小的对象,例如行项目、发票号码,或某个系统中的单据编号。
*解决方法:*将标识整个实例的列映射为案例ID,例如订单、工单或索赔单。如果没有单一列能标识整个实例,就需要在上游进行统一:在SQL或ETL任务中合并标识符,确保同一实例的每个事件都使用相同的案例ID,然后重新上传。各系统的命名惯例请参阅数据来源。
事件顺序错误
*您会看到:*后发生的活动排在先发生的活动之前,例如发票日期早于订单日期。
*原因:*通常有三种可能。时间戳格式解析错误(03/04/2025中的日期被读作3月4日,而不是4月3日);来自不同时区系统的事件未经时区转换就混在一起;或者映射为时间字段的列不正确。
修复方法:在数据集属性中检查格式,确认类型为Timestamp,而非文本。合并导出文件前,将所有来源统一到同一时区;按时间戳为每个案例排序,并抽查几个案例的完整过程。
步骤缺失
*现象:*流程图中跳过了实际发生的某个步骤。
*原因:*该步骤没有留下数据记录(例如电话审批或纸质签字)、活动尚未映射,或被筛选器隐藏。
修复方法:对于实际存在但未记录的步骤,将活动标记为数据流经步骤,使其保持可见;其余活动可通过映射和取消映射活动进行映射。未映射活动会以半透明样式显示,并通过虚线连接。然后检查当前启用的筛选器。
案例始终未结束
*现象:*许多案例在到达结束事件前就停止了。
*原因:*导出数据时案例仍在进行,数据被截断;模型没有结束事件;或数据集中缺少结束活动。
*修复方法:*为模型添加实际的结束事件,或接受案例尚未结束的情况,并将其排除在时间分析之外。时间指标仅统计已关闭案例。案例尚未完成并不代表数据有误。
计数偏高
*现象:*某项活动的执行次数异常偏高,或案例数高于业务报告中的数字。
*原因:*存在重复行,同一事件被集成流程重复记录,或因重复提取而再次写入。
*修复方法:*上传前按案例ID、活动和时间戳去重;数据准备工作流介绍了重复提取通常由哪些环节导致。
流程图过于杂乱
*现象:*活动多达数百项,其中大多数是技术性活动。
*原因:*登录、重试和后台作业与业务步骤出现在同一份提取数据中。
*修复方法:*隐藏无需分析的属性,筛除不属于流程的事件,并将底层事件归并到对应活动中。哪些细节有用、哪些只是干扰,应由流程专家判断。
多个系统的数据无法对齐
*现象:*流程中存在缺口,似乎某个系统的数据没有纳入。
*原因:*各系统的提取时间不同、同一步骤的名称不一致,或完全漏掉了某份提取数据。
*修复方法:*合并数据前,先统一提取时间范围和活动名称;通过主数据集和对比数据集为各数据集指定用途,不要直接拼接彼此不一致的文件。
数据集中的问题
上传被拒绝
*现象:*上传报错,或文件被读取为单列。
*原因:*文件不符合某项结构要求。常见问题包括缺少表头行(表头应位于第一行)、数据行之间有空行、数字以文本格式存储,以及Excel文件的数据位于第二个工作表中。系统只读取第一个工作表。
*修复方法:*将表头放在第一行,删除空行,确认数字以数字格式存储,并将事件数据移至第一个工作表。系统会自动识别CSV、TSV和TXT文件中的分隔符和引号。若结果只有一列,通常说明文件无法正确解析,请重新导出为CSV或Parquet格式。
列或数据类型不正确
*现象:*某列缺失,或时间戳被识别为文本。
*原因:*文件自上次上传后发生了变化,或系统错误识别了数据类型。
*修复方法:*手动设置数据类型和格式,或隐藏该列。替换文件后,检查红色列表,确认新文件与载入数据集的结构是否不匹配。
无法识别时间戳
*现象:*时间戳列为空,或计算出的持续时间过长。
*原因:*格式不常见、日期顺序受地区设置影响、精度混用(同一列中同时包含秒和毫秒),或时区转换被重复应用。
*修复方法:*在数据集属性中明确设置格式,在数据源处分开精度不同的导出数据,并在上传前统一时区。
值为空
现象:质量面板中的属性覆盖率显示缺失,或图表中出现null类别。
*原因:*源系统未为每个案例记录该值,或导出时丢弃了空字段。
*修复方法:*条件允许时,在数据源处补齐缺失值;如果空值可以替换为合理的默认值,可在计算属性中使用空值处理函数。
活动名称不一致
现象:“Approve Order”和“Order Approval”被列为两个含义相同的活动,或同一步骤在不同国家使用了不同名称。
*原因:*不同源系统对同一项工作使用了不同名称。
*修复方法:*为每个步骤统一名称,然后在提取数据中规范化取值,或添加计算属性,将不同名称映射为统一名称,再据此映射活动。
指标中的问题
平均值偏低
*现象:*案例平均持续时间低于业务人员认为合理的水平。
*原因:*时间指标只统计已关闭案例,因此未完成的案例不会计入。尤其在近期时间段内,已完成的案例往往处理得更快。
*修复方法:*确保比较对象一致。将时间范围限定为有足够时间完成的案例;根据单个平均值得出结论前,先阅读时间指标的定义,并查看数据分布,而不只看均值。
平均值受异常值影响
*现象:*平均值远高于典型案例的水平。
*原因:*少数极端案例拉高了平均值。这些案例有时确属特殊情况,有时则是数据错误。
*修复方法:*查看慢速案例的长尾(比较P90与中位数),核实极端案例是否真实,并且只排除确有错误的数据。罕见但真实的例外也能提供洞见。时间指标说明了各项指标的含义。
对比结果为空
现象:对比数据集显示未找到数据(0个案例,覆盖率0%)。
*原因:*当前筛选条件或所选时间段内,该数据集没有案例;或者其活动尚未映射到模型。
*修复方法:*扩大时间范围,检查对比数据集的映射,并确认哪个数据集是主数据集。
数据量带来的问题
有些问题并非数据错误,而是数据规模所致:
- 上传缓慢:优先使用Parquet或ORC;对于Excel文件,优先使用XLSB而非XLSX。请参阅支持的数据格式。
- 文件不断增大:使用增量(delta)上传追加新的时间段数据,而不是替换整个文件。
- 分析缓慢:删除无人分析的列;排查例外情况时筛除理想路径;一次只查看一个时间段或一个地区。性能指南说明了不同数据规模对性能的影响。
- 可归档的数据集:归档不再分析的数据,让工作空间只保留您实际用于决策的数据。
从源头解决问题
在ProcessMind中解决问题,可以省去一次双向导入导出;但有些问题只能从上游解决,例如缺少源系统、时区混用,或不同导出文件中的标识符无法统一。这类问题应在数据提取环节处理;如果反复出现,还应检查生成数据的系统。请参阅数据从哪里获取,了解各系统的数据获取方式;参阅用于流程挖掘的ETL,了解如何持续确保提取数据可靠。
问题仍未解决?
如果上述检查仍无法解释您看到的情况,请联系支持团队,并提供数据集名称、正在查看的案例、预期结果和实际情况。附上流程图和质量面板的截图,通常比文字描述更容易帮助我们快速定位问题。
使用您自己的数据体验流程挖掘
相关主题
优化流程,构建互联架构,掌控全局。
无需信用卡,也无需等待,即刻开始。将组织的实际工作方式转化为清晰、互联的流程设计。
构建流程架构,明确职责归属与管控措施,并在各层级统一角色分工。
开始免费试用,为流程治理、管理和持续改进建立可靠的统一基础。