流程挖掘的数据清理与准备
流程挖掘离不开高质量数据，而数据准备通常要解决几类常见问题：事件从未被记录、不同系统中的标识符无法对应、数据格式不一致，以及导出文件过大或包含敏感信息。本页将逐一介绍这些问题及其解决方法。若要在ProcessMind中完成这些工作，请参阅配置数据集和数据质量。
为什么数据清理和准备很重要？
流程挖掘依赖事件日志，也就是记录业务流程中活动详细顺序的数据集。如果数据集不完整、前后不一致或包含错误，分析结果就不可靠。清理并规范数据结构，才能让工具准确映射工作流、发现瓶颈并找出改进机会。
数据清理与准备的关键步骤
1.收集所有相关系统的数据
数据通常来自多个系统：ERP记录订单和发票，CRM记录客户相关步骤，服务台记录工单。清理前先从所有相关系统收集数据，因为遗漏系统中的步骤之后无法补回。
- 整合数据源：列出记录流程各环节的系统，并从每个系统提取数据。例如，订单到收款流程会涉及销售系统（如Salesforce）和财务系统（如SAP）。
- 打通数据孤岛：与流程负责人确认需要纳入哪些系统，以及谁有权限导出数据。数据缺失通常是因为遗漏了某个系统，而不是查询出错。集成工具（如Apache NiFi、Talend、Informatica或Power BI）可以将多个来源合并到一个文件中。
- 规划无法提取的数据：如果某个步骤在线下完成（例如电话审批或纸质签字），至少要在数字系统中记录结果，或对该步骤进行建模，以保持流程视图完整。数据来源介绍了如何逐个系统查找数据。
2.删除重复记录
重复记录会抬高活动数量，让一个事件看起来像发生了多次，从而扭曲分析结果。可根据相同的案例ID、活动和时间戳识别重复记录，然后删除或合并为一行。
3.处理缺失数据
时间戳、活动或案例ID缺失，会打乱事件顺序，导致流程模型不完整。
- 识别缺失值：检查空白时间戳、空活动名称和空案例ID。
- 补齐缺失信息：条件允许时，参考其他数据源或领域知识。如果缺少某个时间戳，可根据前后事件的时间缩小范围。
- 通过建模补充，不要凭空编造：对于完全没有记录的步骤，可通过流程建模补充，而不是虚构时间戳，让挖掘出的流程与记录的流程相互补充。
- 填补或删除：对于关键缺失值，可使用填补方法（如均值替代或回归模型）；如果无法恢复某个案例，则将其删除并注明原因。
4.统一格式、ID和名称
- 时间戳：统一使用一种格式（例如
YYYY-MM-DD HH:MM:SS）。如果导出的数据包含多个时区，请全部转换为UTC。查看支持的日期格式列表 - 案例ID：同一流程在不同系统中可能使用不同标识符，例如CRM中的订单号和财务系统中的发票号。请在导出数据中或通过查找表建立映射，确保每个事件都归入同一个案例，并为每个流程实例分配唯一ID。在ProcessMind中，请确认所有合并的数据集都以相同方式映射案例ID列；详情请参阅数据集属性。
- 活动名称：不同系统可能会用不同名称标记同一步骤。请为每个步骤统一命名（“批准订单”和“订单审批”指的是同一项活动）。
- 值和类型：成本、时长和金额等数值应保持为数字，每列使用统一单位。
5.删除无关事件
并非所有记录的事件都属于您要分析的流程。系统登录、技术重试和管理任务会让流程图变得杂乱，却不能提供有用信息。
- 筛除无关事件：依据领域知识判断哪些事件描述了流程，并排除其余事件。
- 选择合适的粒度：事件粒度过粗（如“处理订单”）会掩盖您要查找的差异，粒度过细则会让流程图充斥技术细节。将底层事件归并到相应的业务活动中，具体划分由流程专家决定。
6.处理异常值和噪声
异常值会误导您对流程常态的判断：某项任务因罕见事件耗时异常长，可能会显著拉高平均值。
- 识别异常值：标记耗时远超该步骤正常范围的记录。
- 判断是否保留：真实的例外情况（例如罕见但影响重大的故障）往往值得保留；数据错误则不然。只删除错误数据，不要仅因数据不便分析就将其删除。
7.检查事件顺序
如果事件顺序有误，工具追踪出的顺序流也会出错。
- 验证事件顺序：每个案例中的事件都应符合时间戳顺序。如果同一案例中“订单已批准”早于“订单已创建”，就需要检查时间戳。
- 按时间戳排序：上传前，按时间戳列对每个案例中的事件排序。
8.处理大型数据集
大型数据文件准备和上传都比较耗时，因此应提前规划数据规模，而不是临时应对。
- 先用样本探索，再加载完整数据进行分析：有代表性的样本足以帮助您判断提取的事件是否合理；分析需要时再加载完整数据。
- 分批加载：无需替换全部数据，可使用增量（差量）上传追加新时间段的数据。
- 优先使用列式格式：数据量较大时，Parquet和ORC文件比CSV或Excel文件更小、上传更快；详见支持的数据格式。
9.保护敏感数据
事件日志可能包含姓名、地址、客户编号和用户ID，因此应将导出数据视为个人数据处理。
- 匿名化或屏蔽数据：删除或屏蔽分析不需要的信息；只有在资源分析需要时才保留用户ID。
- 限制访问：仅向确有需要的人员提供导出数据，并尽量减少接触人数；上传数据集时使用基于角色的访问控制。
- 遵守适用规则：包括数据保留期限、传输和静态存储加密，以及客户数据适用的法规（如GDPR）。
10.创建事件日志
数据清理完毕、格式统一且顺序正确后，即可创建用于流程挖掘的主数据集：事件日志。每份事件日志都需要包含：
- 案例ID：每个流程实例的唯一标识符。
- 活动：已发生步骤的名称。
- 时间戳：事件发生的时间，用于确定事件顺序。
可选列能为分析提供更多背景信息，例如资源（人员或团队）、部门、成本，或用于细分流程的自定义属性。完整要求请参阅支持的数据格式。
11.验证数据集
依赖分析结果之前，请确认数据集确实反映了您要分析的流程。
- 抽查案例：从头到尾检查几个流程实例，确认事件顺序合理。
- 运行测试分析：先进行一次流程挖掘，检查是否存在明显异常，例如从未发生的活动、可疑的开始或结束事件，以及本应已关闭的案例。
- 与流程负责人确认：业务专家只需几分钟，就能判断数据是否反映了实际工作情况。
在ProcessMind中清理数据
上传后，您可以在ProcessMind中完成上述许多准备工作：
- 映射并配置列：在数据集属性中设置显示名称、数据类型和时间戳格式，无需重新处理源文件。
- 检查数据质量：数据质量仪表板会标记缺失值和不一致之处，便于您在分析前修正；AI数据建议则会推荐映射和修正方法。
- 隐藏或筛除无关数据：在数据集属性中隐藏列，并使用筛选器排除不需要的事件。
- 重新加载数据，无需重新上传：直接替换现有数据，或对持续增长的数据集使用增量（差量）上传。
如需在ProcessMind之外清理数据，可在上传前使用通用工具，如Python/Pandas、Excel或Google Sheets、ETL工具和OpenRefine。关于命名、格式、增量加载和归档的完整操作指南，请参阅流程挖掘的ETL。
相关主题
优化流程，构建互联架构，掌控全局。
无需信用卡，也无需等待，即刻开始。将组织的实际工作方式转化为清晰、互联的流程设计。
构建流程架构，明确职责归属与管控措施，并在各层级统一角色分工。
开始免费试用，为流程治理、管理和持续改进建立可靠的统一基础。