流程挖掘需要哪些数据?入门指南 — article illustration

Process Mining

流程挖掘需要哪些数据?入门指南

流程挖掘需要哪些数据?如何查找和检查数据?本文介绍如何在没有数据工程师协助的情况下加载首个数据集。

流程挖掘只需三类数据:用于关联事件的案例ID、记录所发生活动的字段,以及标记时间的时间戳。大多数团队都能从现有导出数据中找到这些字段,接下来要做的是筛选出能回答当前问题的记录。

简要回答:流程挖掘需要哪些数据?

从满足基本要求的事件日志开始:每个事件占一行,并包含案例ID、活动和时间戳。只有在有助于回答具体问题时才添加属性;不要等到数据集完美无缺后,才检查数据能否反映实际工作情况。

以下内容都围绕如何确保这三个字段可信。如果您还不熟悉这些术语,可以先了解什么是流程挖掘,以及事件日志能揭示哪些信息,再开始提取数据。

字段 状态 最低要求
案例ID 必需 在同一流程实例的所有事件中保持一致的标识符,例如订单号
活动 必需 清晰描述事件或状态变化的名称,例如“收到订单”
时间戳 必需 每个事件对应的日期和时间,格式及时区保持一致
其他属性 有用 金额、渠道、部门或结果等有助于解释差异的字段
资源或负责人 可选 与事件相关的人员、团队或系统,前提是分析该信息具有相关性且适当

必需字段构成流程挖掘数据架构的核心;可选字段则有助于之后解释差异。首先检查导出文件是否包含三个必需字段,以及每一行是否代表一个事件。结构示例请参阅如何创建事件日志;字段配置方法请参阅数据映射文档。

需要哪些数据?

假设您经营一家柠檬水摊,想了解顾客为什么要排队。您不需要记录每位顾客的所有细节,只需记录每笔订单经历的步骤。

每个事件都要记录:

  • **案例ID:**订单号用于关联同一订单的各个事件。
  • **活动:**描述所发生事件的名称,例如“接单”“制作柠檬水”或“交付给顾客”。
  • **时间戳:**记录事件发生的时间,用于确定事件顺序。
一个孩子把两片橙子举在眼前
Figure 1 — 关注流程步骤,而非每个案例的所有细节。

以下简单示例展示了数据结构:

案例ID 时间戳 活动
1 上午10:00 接单
1 上午10:02 制作柠檬水
1 上午10:05 交付给顾客
2 上午10:03 接单
2 上午10:10 处理投诉
2 上午10:12 制作柠檬水
2 上午10:15 交付给顾客

有了这些字段,您就能查看每笔订单的事件顺序和各步骤耗时。订单类型或销售渠道等额外字段可以解释部分订单为何耗时更长,因此只有在有助于回答问题时才添加。

柠檬水摊的例子也适用于其他场景。在订单流程中,案例ID可能是订单号,活动可能是状态变化,时间戳则来自事件历史记录,而非报告导出文件。字段映射完成后,ProcessMind会读取现有导出数据,无需更改源系统,即可在流程挖掘平台中查看流程。

柠檬水摊缺失的日志

柠檬水摊生意繁忙,队伍越排越长。您想知道顾客是在等着点单、等着制作,还是遇到了问题。相关证据散落在收据、订单记录和笔记中。

桌上摆着橙子、生姜、薄荷和一杯柠檬水
Figure 2 — 单个订单的证据很少会整齐地汇总在一张表中。

实际项目中,这种情况很常见。数据确实存在,但并非现成的事件日志:您需要整合不同表或系统中的记录,并确定哪些字段分别对应案例、活动和时间戳。

先写下您想回答的问题,再查找能够提供答案的记录。

  • 要衡量订单周期时间,请查找订单标识符以及相关状态变化的时间戳。
  • 要比较不同渠道,请将渠道作为额外属性纳入数据。
  • 要了解投诉情况,请纳入投诉相关活动或结果,前提是这些信息有一致的记录。

这样可以让首次数据提取保持聚焦。您不必收集每个系统中的所有字段,只需获取足以重建流程并调查问题的数据。

如果您已有Excel或CSV导出文件,请先查看文件,再请数据团队构建新的数据提取。这样您可以了解现有字段能支持哪些分析,以及更完善的数据提取还需补充什么。

深入挖掘数据

流程挖掘的数据源通常是记录实际工作过程的系统,例如ERP、CRM、ITSM平台、工单工具或其他运营应用。所需记录可能存储在数据库、报告或导出文件中。

询问流程负责人和系统负责人,了解关键事件记录在哪里,然后从头到尾追踪几个真实案例。您需要确认每个步骤都能找到案例标识符、事件名称和时间戳。

  1. 选定一个流程和一个问题

    订单在哪些环节等待,或哪个交接最耗时?
  2. 找到系统及其负责人

    记录工作情况的应用,以及负责运行该应用的团队。
  3. 查找事件历史记录

    包含状态变化的报告或数据表,而不是当前状态的快照。
  4. 检查案例ID

    您要关联的每个事件都必须包含相同的标识符。
  5. 先导出少量样本

    在申请更大规模的数据提取前,先检查这份样本。

不要因为数据表可用,就把所有表都提取出来。聚焦的数据更容易审查、清理和说明。如果流程涉及多个系统,请记录各系统记录之间的关联方式,例如哪个订单号能关联CRM记录和ERP记录。

常见数据源概览请参阅数据获取位置文档。如果您需要合并或转换多个系统的数据,请参阅流程挖掘ETL指南,了解相关工作。

数据清理

导出文件中可能包含重复事件、缺失时间戳、不一致的状态名称、测试订单,或与研究流程无关的记录。这并不意味着导出数据毫无用处,但在解读结果之前,您需要弄清每一行代表什么。

分几轮检查数据:

  • **重复项:**检查重复行代表真实的重复事件,还是意外复制。
  • **时间戳:**检查是否存在缺失值、格式混用、时区异常,以及事件顺序错乱。
  • **活动和状态:**统一含义相同的标签;如果状态代表不同步骤,则应分别保留。
  • **测试或已取消的记录:**判断这些记录是否应纳入分析,并记录排除的内容及原因。
  • **案例ID:**检查标识符是否为空或发生变化,以免一个案例被拆分成多个,或多个无关案例被合并。

不要仅仅因为异常案例看起来不同,就将其清理掉。先判断它们是有效的例外情况还是数据错误,并记录每项变更,以便将处理后的数据集与源数据对应说明。

流程挖掘数据质量很少能简单地用“是”或“否”来判断。关键在于问题所依赖的字段是否表现一致,因此抽样检查比口头保证更有价值。ProcessMind会直接在数据集上显示质量徽章和百分比,并通过面板说明影响评分的因素,包括缺失值、值不一致和时间戳问题。您可以在采取行动前判断结果的可信程度,并在修正问题时观察评分变化。详情请参阅数据质量文档。

审查是一个迭代过程:先检查样本、映射字段、查看生成的流程,再调查异常之处。数据清理与准备指南介绍了常见步骤和检查项。

整理数据

找到并审查记录后,将源列映射到流程分析所需的字段。源系统使用的名称可能不同,但字段含义必须明确。

源列示例 映射到 检查内容
订单号 案例ID 同一订单的各个事件中,值是否保持一致
状态或事件说明 活动 每个值是否描述有意义的步骤或变化
创建时间、更新时间或事件时间 时间戳 时间是否对应您要分析的事件
销售渠道或订单金额 其他属性 字段是否足够完整,能够支持比较

活动应描述流程中的事件,而不是含糊的评论。“顾客满意”可能只是意见或备注;如果系统记录了相应状态,“订单已送达”就是更清晰的事件。请选择能反映事件实际发生时间的时间戳,而不只是报告导出的时间。

您也不必手动分配每一列。映射数据集时,ProcessMind会推荐匹配项;AI数据建议会根据置信度提示可能的映射,并建议有助于提升分析效果的属性、活动或数据源。您只需审查并确认,无需逐一查找字段列表,从而把原本要花一周的映射工作缩短到一个下午。请参阅AI数据建议。

良好的映射能让了解实际工作的人员看懂流程。请与流程负责人一起审查活动名称,并确认案例ID和时间戳符合预期。数据映射文档介绍了如何配置数据集,活动映射指南则说明了活动定义。

需要多少数据?

没有适用于所有流程的统一案例数量或历史数据时长。所需数据量取决于流程运行频率、预期差异程度,以及您想比较的内容。

首次检查时,数据应包含足够多的案例,覆盖常规工作和您关注的例外情况。历史数据也应足以呈现相关流程周期及随时间发生的重要变化。如果您只有较短时间段的数据或少量样本,仍可用于测试架构和映射,但不要轻易将结果视为具有代表性。

更多数据有助于发现较少见的路径,但准备和分析所需时间也会更长。先选取一个聚焦的时间段,再根据初步结果提出的问题扩大范围。如果您使用大型事件日志,请先阅读流程挖掘的性能与可扩展性指南,再决定加载多少历史数据。

最难的是迈出第一步:理解事件日志,并将其用于一个具体场景。弄清这一点后,后续工作就会顺利许多。从小处着手,随着理解加深再逐步扩大范围。

Roel Vliegen
Roel Vliegen 联合创始人兼首席执行官

格式与上传选项

对于首个项目,建议使用团队能够导出和审核的数据。ProcessMind支持常见的电子表格和分隔符文件,包括CSV和Excel;较大的事件日志可使用Parquet或ORC。上传只需几分钟:添加文件、检查系统识别出的列,即可查看流程,再决定是否需要连接器。具体步骤请参阅如何上传数据集。

如果需要添加较新的记录,而不想重新构建整个数据集,也可以增量加载数据。具体方式取决于源数据的生成方式和更新频率。详情请参阅支持的数据格式和增量数据加载文档。

如果您需要建立可重复的数据加载流程,API可能适用。请查看数据API文档,了解可用选项。如果您正在规划数据的提取、转换和加载方式,可以从ETL指南开始。

不应上传的数据

仅纳入回答流程问题所需的数据。个人信息可能出现在意想不到的字段中,尤其是自由文本备注、评论或说明。上传前请检查数据,并删除或屏蔽分析不需要的字段。

请与隐私、安全和数据治理团队确认组织允许处理哪些数据。考虑是否确实需要姓名或其他直接标识符。许多分析只需团队、角色或假名标识符即可,但须符合您的分析目的和相关政策。

不要以流程分析为由收集更多个人数据。数据集应仅包含理解流程所需的字段,并遵循组织关于访问、保留和处理数据的规定。ProcessMind通过环境隔离数据,并按角色控制访问;审计日志会记录谁能查看哪些内容,方便您日后核实。请参阅用户、角色和权限、审计日志和隐私政策。

争取数据团队支持

清晰的需求有助于数据团队评估工作量,避免不必要的数据提取。请准备一页简报,说明以下信息:

  • **流程:**说明流程名称及起点和终点。
  • **问题:**说明您想了解什么,例如订单在哪些环节等待。
  • **范围:**指定涉及的系统、日期范围和案例类型。
  • **必需字段:**为每个事件提供案例ID、活动和时间戳。
  • **有用字段:**仅列出回答问题所需的属性。
  • **示例:**提供几个有代表性的案例,必要时删除敏感值。
  • **检查项:**请团队标记缺失的ID或时间戳、重复事件及含义不明的状态值。
  • **隐私:**确认哪些字段可以共享,以及是否需要删除或屏蔽某些字段。

您也可以分享事件日志指南,让团队了解所需数据结构的具体示例。如果需要从特定系统提取数据,也可以提供相应的流程改进指南。拿到导出文件后,请按照入门指南加载数据并查看流程。

下一步:上传并映射数据

无需等到数据提取完全完善,才能判断数据是否适合首次分析。先使用现有导出文件,检查三个必需字段,了解需要处理的问题,再决定是否投入更大的数据项目。

首次绘制流程图并非全部收获。数据集加载后,ProcessMind会通过流程健康度自动评估流程:每个流程都有一个可重复计算的分数,依据CURES框架的五个维度,即一致性、统一性、返工、效率和平稳性。分数可帮助您确定改进起点,同一组仪表板也会指出需要处理的问题,让首个数据集带来一份待办清单,而不只是一张流程图。流程健康度及其评分包含在流程智能席位中。

Where to Go From Here

您已明确需要的三个字段及其来源。下一步是看看现有导出数据能帮助您推进到哪一步。

Frequently Asked Questions

数据应包含足够多的案例,覆盖常规路径和您关注的例外情况;时间跨度也应足以反映流程当前的运行方式。小而聚焦的数据提取更容易检查,也比无人审查的大型数据集更有说明价值。您可以在获得初步问题反馈后再扩大范围。

可以,这也是常见的起步方式。文件需要每个事件占一行,并包含案例ID、活动和时间戳。如果列名不同,配置数据集时将其映射到这三个字段即可。

要获得初步答案,不需要。您现有的导出文件就足以检查字段并了解流程。当数据提取需要定期进行、涉及多个系统,或需要接入生产环境的仪表板时,再请数据团队参与。

先开始检查,了解具体问题。ProcessMind会为每个数据集显示质量评分,帮助您判断数据缺陷是否影响当前要回答的问题。数据清理是一个迭代过程:修正会影响答案的问题,并记录未处理的部分。

相关文章

订阅流程挖掘与工作流优化资讯,直达您的收件箱
业务流程外包(BPO):外包前先衡量

Process Mining

业务流程外包(BPO):外包前先衡量

业务流程外包是将流程交由外部服务商处理。衡量流程表现,重新设计可改进之处,并让双方共用一个仪表板。

流程建模与流程挖掘:协同提升业务效率

Process Modeling

流程建模与流程挖掘:协同提升业务效率

了解流程建模与流程挖掘分别能揭示什么、两者有何不同,以及一致性检查如何将二者联系起来。

流程挖掘需要哪些ETL工具?

Data

流程挖掘需要哪些ETL工具?

流程挖掘何时需要ETL?提取的数据需要包含哪些内容?ProcessMind为何能加载现有数据管道生成的数据?

流程智能如何助力可持续发展声明

Digital Transformation

流程智能如何助力可持续发展声明

追溯可持续发展报告数据,找到背后的流程事件。

优化流程,构建互联架构,掌控全局。

无需信用卡,也无需等待,即刻开始。将组织的实际工作方式转化为清晰、互联的流程设计。

构建流程架构,明确职责归属与管控措施,并在各层级统一角色分工。

开始免费试用,为流程治理、管理和持续改进建立可靠的统一基础。