流程挖掘需要哪些数据?入门指南
流程挖掘需要哪些数据?如何查找和检查数据?本文介绍如何在没有数据工程师协助的情况下加载首个数据集。
流程挖掘只需三类数据:用于关联事件的案例ID、记录所发生活动的字段,以及标记时间的时间戳。大多数团队都能从现有导出数据中找到这些字段,接下来要做的是筛选出能回答当前问题的记录。
简要回答:流程挖掘需要哪些数据?
从满足基本要求的事件日志开始:每个事件占一行,并包含案例ID、活动和时间戳。只有在有助于回答具体问题时才添加属性;不要等到数据集完美无缺后,才检查数据能否反映实际工作情况。
以下内容都围绕如何确保这三个字段可信。如果您还不熟悉这些术语,可以先了解什么是流程挖掘,以及事件日志能揭示哪些信息,再开始提取数据。
| 字段 | 状态 | 最低要求 |
|---|---|---|
| 案例ID | 必需 | 在同一流程实例的所有事件中保持一致的标识符,例如订单号 |
| 活动 | 必需 | 清晰描述事件或状态变化的名称,例如“收到订单” |
| 时间戳 | 必需 | 每个事件对应的日期和时间,格式及时区保持一致 |
| 其他属性 | 有用 | 金额、渠道、部门或结果等有助于解释差异的字段 |
| 资源或负责人 | 可选 | 与事件相关的人员、团队或系统,前提是分析该信息具有相关性且适当 |
必需字段构成流程挖掘数据架构的核心;可选字段则有助于之后解释差异。首先检查导出文件是否包含三个必需字段,以及每一行是否代表一个事件。结构示例请参阅如何创建事件日志;字段配置方法请参阅数据映射文档。
需要哪些数据?
假设您经营一家柠檬水摊,想了解顾客为什么要排队。您不需要记录每位顾客的所有细节,只需记录每笔订单经历的步骤。
每个事件都要记录:
- **案例ID:**订单号用于关联同一订单的各个事件。
- **活动:**描述所发生事件的名称,例如“接单”“制作柠檬水”或“交付给顾客”。
- **时间戳:**记录事件发生的时间,用于确定事件顺序。
以下简单示例展示了数据结构:
| 案例ID | 时间戳 | 活动 |
|---|---|---|
| 1 | 上午10:00 | 接单 |
| 1 | 上午10:02 | 制作柠檬水 |
| 1 | 上午10:05 | 交付给顾客 |
| 2 | 上午10:03 | 接单 |
| 2 | 上午10:10 | 处理投诉 |
| 2 | 上午10:12 | 制作柠檬水 |
| 2 | 上午10:15 | 交付给顾客 |
有了这些字段,您就能查看每笔订单的事件顺序和各步骤耗时。订单类型或销售渠道等额外字段可以解释部分订单为何耗时更长,因此只有在有助于回答问题时才添加。
柠檬水摊的例子也适用于其他场景。在订单流程中,案例ID可能是订单号,活动可能是状态变化,时间戳则来自事件历史记录,而非报告导出文件。字段映射完成后,ProcessMind会读取现有导出数据,无需更改源系统,即可在流程挖掘平台中查看流程。
柠檬水摊缺失的日志
柠檬水摊生意繁忙,队伍越排越长。您想知道顾客是在等着点单、等着制作,还是遇到了问题。相关证据散落在收据、订单记录和笔记中。
实际项目中,这种情况很常见。数据确实存在,但并非现成的事件日志:您需要整合不同表或系统中的记录,并确定哪些字段分别对应案例、活动和时间戳。
先写下您想回答的问题,再查找能够提供答案的记录。
- 要衡量订单周期时间,请查找订单标识符以及相关状态变化的时间戳。
- 要比较不同渠道,请将渠道作为额外属性纳入数据。
- 要了解投诉情况,请纳入投诉相关活动或结果,前提是这些信息有一致的记录。
这样可以让首次数据提取保持聚焦。您不必收集每个系统中的所有字段,只需获取足以重建流程并调查问题的数据。
如果您已有Excel或CSV导出文件,请先查看文件,再请数据团队构建新的数据提取。这样您可以了解现有字段能支持哪些分析,以及更完善的数据提取还需补充什么。
深入挖掘数据
流程挖掘的数据源通常是记录实际工作过程的系统,例如ERP、CRM、ITSM平台、工单工具或其他运营应用。所需记录可能存储在数据库、报告或导出文件中。
询问流程负责人和系统负责人,了解关键事件记录在哪里,然后从头到尾追踪几个真实案例。您需要确认每个步骤都能找到案例标识符、事件名称和时间戳。
-
选定一个流程和一个问题
订单在哪些环节等待,或哪个交接最耗时? -
找到系统及其负责人
记录工作情况的应用,以及负责运行该应用的团队。 -
查找事件历史记录
包含状态变化的报告或数据表,而不是当前状态的快照。 -
检查案例ID
您要关联的每个事件都必须包含相同的标识符。 -
先导出少量样本
在申请更大规模的数据提取前,先检查这份样本。
不要因为数据表可用,就把所有表都提取出来。聚焦的数据更容易审查、清理和说明。如果流程涉及多个系统,请记录各系统记录之间的关联方式,例如哪个订单号能关联CRM记录和ERP记录。
常见数据源概览请参阅数据获取位置文档。如果您需要合并或转换多个系统的数据,请参阅流程挖掘ETL指南,了解相关工作。
数据清理
导出文件中可能包含重复事件、缺失时间戳、不一致的状态名称、测试订单,或与研究流程无关的记录。这并不意味着导出数据毫无用处,但在解读结果之前,您需要弄清每一行代表什么。
分几轮检查数据:
- **重复项:**检查重复行代表真实的重复事件,还是意外复制。
- **时间戳:**检查是否存在缺失值、格式混用、时区异常,以及事件顺序错乱。
- **活动和状态:**统一含义相同的标签;如果状态代表不同步骤,则应分别保留。
- **测试或已取消的记录:**判断这些记录是否应纳入分析,并记录排除的内容及原因。
- **案例ID:**检查标识符是否为空或发生变化,以免一个案例被拆分成多个,或多个无关案例被合并。
不要仅仅因为异常案例看起来不同,就将其清理掉。先判断它们是有效的例外情况还是数据错误,并记录每项变更,以便将处理后的数据集与源数据对应说明。
流程挖掘数据质量很少能简单地用“是”或“否”来判断。关键在于问题所依赖的字段是否表现一致,因此抽样检查比口头保证更有价值。ProcessMind会直接在数据集上显示质量徽章和百分比,并通过面板说明影响评分的因素,包括缺失值、值不一致和时间戳问题。您可以在采取行动前判断结果的可信程度,并在修正问题时观察评分变化。详情请参阅数据质量文档。
审查是一个迭代过程:先检查样本、映射字段、查看生成的流程,再调查异常之处。数据清理与准备指南介绍了常见步骤和检查项。
整理数据
找到并审查记录后,将源列映射到流程分析所需的字段。源系统使用的名称可能不同,但字段含义必须明确。
| 源列示例 | 映射到 | 检查内容 |
|---|---|---|
| 订单号 | 案例ID | 同一订单的各个事件中,值是否保持一致 |
| 状态或事件说明 | 活动 | 每个值是否描述有意义的步骤或变化 |
| 创建时间、更新时间或事件时间 | 时间戳 | 时间是否对应您要分析的事件 |
| 销售渠道或订单金额 | 其他属性 | 字段是否足够完整,能够支持比较 |
活动应描述流程中的事件,而不是含糊的评论。“顾客满意”可能只是意见或备注;如果系统记录了相应状态,“订单已送达”就是更清晰的事件。请选择能反映事件实际发生时间的时间戳,而不只是报告导出的时间。
您也不必手动分配每一列。映射数据集时,ProcessMind会推荐匹配项;AI数据建议会根据置信度提示可能的映射,并建议有助于提升分析效果的属性、活动或数据源。您只需审查并确认,无需逐一查找字段列表,从而把原本要花一周的映射工作缩短到一个下午。请参阅AI数据建议。
良好的映射能让了解实际工作的人员看懂流程。请与流程负责人一起审查活动名称,并确认案例ID和时间戳符合预期。数据映射文档介绍了如何配置数据集,活动映射指南则说明了活动定义。
需要多少数据?
没有适用于所有流程的统一案例数量或历史数据时长。所需数据量取决于流程运行频率、预期差异程度,以及您想比较的内容。
首次检查时,数据应包含足够多的案例,覆盖常规工作和您关注的例外情况。历史数据也应足以呈现相关流程周期及随时间发生的重要变化。如果您只有较短时间段的数据或少量样本,仍可用于测试架构和映射,但不要轻易将结果视为具有代表性。
更多数据有助于发现较少见的路径,但准备和分析所需时间也会更长。先选取一个聚焦的时间段,再根据初步结果提出的问题扩大范围。如果您使用大型事件日志,请先阅读流程挖掘的性能与可扩展性指南,再决定加载多少历史数据。
最难的是迈出第一步:理解事件日志,并将其用于一个具体场景。弄清这一点后,后续工作就会顺利许多。从小处着手,随着理解加深再逐步扩大范围。
格式与上传选项
对于首个项目,建议使用团队能够导出和审核的数据。ProcessMind支持常见的电子表格和分隔符文件,包括CSV和Excel;较大的事件日志可使用Parquet或ORC。上传只需几分钟:添加文件、检查系统识别出的列,即可查看流程,再决定是否需要连接器。具体步骤请参阅如何上传数据集。
如果需要添加较新的记录,而不想重新构建整个数据集,也可以增量加载数据。具体方式取决于源数据的生成方式和更新频率。详情请参阅支持的数据格式和增量数据加载文档。
如果您需要建立可重复的数据加载流程,API可能适用。请查看数据API文档,了解可用选项。如果您正在规划数据的提取、转换和加载方式,可以从ETL指南开始。
不应上传的数据
仅纳入回答流程问题所需的数据。个人信息可能出现在意想不到的字段中,尤其是自由文本备注、评论或说明。上传前请检查数据,并删除或屏蔽分析不需要的字段。
请与隐私、安全和数据治理团队确认组织允许处理哪些数据。考虑是否确实需要姓名或其他直接标识符。许多分析只需团队、角色或假名标识符即可,但须符合您的分析目的和相关政策。
不要以流程分析为由收集更多个人数据。数据集应仅包含理解流程所需的字段,并遵循组织关于访问、保留和处理数据的规定。ProcessMind通过环境隔离数据,并按角色控制访问;审计日志会记录谁能查看哪些内容,方便您日后核实。请参阅用户、角色和权限、审计日志和隐私政策。
争取数据团队支持
清晰的需求有助于数据团队评估工作量,避免不必要的数据提取。请准备一页简报,说明以下信息:
- **流程:**说明流程名称及起点和终点。
- **问题:**说明您想了解什么,例如订单在哪些环节等待。
- **范围:**指定涉及的系统、日期范围和案例类型。
- **必需字段:**为每个事件提供案例ID、活动和时间戳。
- **有用字段:**仅列出回答问题所需的属性。
- **示例:**提供几个有代表性的案例,必要时删除敏感值。
- **检查项:**请团队标记缺失的ID或时间戳、重复事件及含义不明的状态值。
- **隐私:**确认哪些字段可以共享,以及是否需要删除或屏蔽某些字段。
您也可以分享事件日志指南,让团队了解所需数据结构的具体示例。如果需要从特定系统提取数据,也可以提供相应的流程改进指南。拿到导出文件后,请按照入门指南加载数据并查看流程。
下一步:上传并映射数据
无需等到数据提取完全完善,才能判断数据是否适合首次分析。先使用现有导出文件,检查三个必需字段,了解需要处理的问题,再决定是否投入更大的数据项目。
首次绘制流程图并非全部收获。数据集加载后,ProcessMind会通过流程健康度自动评估流程:每个流程都有一个可重复计算的分数,依据CURES框架的五个维度,即一致性、统一性、返工、效率和平稳性。分数可帮助您确定改进起点,同一组仪表板也会指出需要处理的问题,让首个数据集带来一份待办清单,而不只是一张流程图。流程健康度及其评分包含在流程智能席位中。
Where to Go From Here
您已明确需要的三个字段及其来源。下一步是看看现有导出数据能帮助您推进到哪一步。