什么是流程挖掘?看清工作实际如何开展
了解什么是流程挖掘、它如何运作、三种类型和常见应用场景,以及如何入门。
什么是流程挖掘?
**什么是流程挖掘?流程挖掘利用IT系统中的事件数据,发现、分析并改进流程的实际运行方式。**它将活动与案例及时间戳关联起来,呈现工作流转路径、各步骤耗时,以及实际流程与预期之间的差异。
事件日志记录活动、时间戳和案例标识符。流程挖掘将这些事件按案例归类,还原流程顺序流。您可以据此调查瓶颈、返工,以及流程与参考流程的一致性。分析结果提供依据,后续行动由您的团队决定。
流程挖掘先驱Wil van der Aalst曾将其比作企业的核磁共振成像,可以揭示表面之下正在发生的情况。这种可见性有助于推动流程改进和数字化转型。请参阅我们的数据驱动流程改进战略指南。
设想一笔客户订单从接收、审批到发货的过程。每个步骤都可能留下数字记录。流程挖掘将这些记录关联起来,展示每笔订单经过的路径,包括绕行和异常。您无需只依赖访谈或假设,也可以直接查看数据记录的实际路径。
分析结果取决于事件数据的质量及其背景信息。流程图可以展示预期路径,流程挖掘则帮助您了解记录显示实际发生了什么。
流程挖掘如何运作?
流程挖掘从IT系统中的事件数据开始。每条事件通常需要包含三个字段:
- **案例ID:**流程实例的标识符,例如订单或支持工单。
- **活动:**发生的步骤。
- **时间戳:**该步骤发生的时间。
软件按案例ID对事件分组,并按时间戳排序,随后还原各案例经过的路径,并以流程模型呈现。您可以比较不同路径、查看持续时间,并查找重复步骤或长时间等待等模式。
结果质量取决于数据。时间戳缺失、活动名称不一致或案例标识符错误,都可能导致分析失真。了解如何查找流程数据,以及支持哪些数据格式。
流程挖掘的三种类型
流程挖掘的三种类型分别回答不同问题:
-
流程发现根据事件日志数据生成流程模型,帮助您了解各案例的实际路径,包括尚未记录的变体。
-
一致性检查将实际流程行为与参考模型进行比较,帮助您发现案例遵循、跳过或偏离预期步骤的情况。
-
流程增强将事件日志中的信息添加到现有流程模型中。例如,您可以添加等待时间或活动持续时间等绩效指标,了解流程的运行表现。
项目通常从流程发现开始,随后通过一致性检查调查实际流程与参考流程的差异。流程增强则可以为模型补充绩效信息。请根据需要回答的问题选择合适的方法。
每个人都能使用流程挖掘
开始探索流程数据,不一定要是数据科学家。分析师、流程负责人、运营团队和IT团队可以协作提出问题、准备事件日志,并查看分析结果。
可以从以下步骤开始:
- 选择一个流程,并明确具体问题。
- 找出记录相关活动的系统数据。
- 准备包含案例ID、活动名称和时间戳的事件日志。
- 查看发现的流程路径,并调查重要路径。
- 与了解实际工作的人共同验证发现。
流程挖掘的5个步骤
收集数据
从系统中收集事件数据,例如订单到收款流程中每个步骤的记录。您可以先从Excel文件开始。
发现流程
使用流程挖掘软件,按案例ID和时间关联事件,再查看数据呈现的流程路径。
进行一致性检查
将发现的流程与参考模型(例如BPMN模型)进行比较,了解其中的差异。
分析发现
使用流程仪表板分析瓶颈、返工和低效环节,再决定需要进一步调查或调整的事项。
跟踪变化
调整后重新查看流程,了解其绩效和路径发生了哪些变化。
查看入门指南,准备您的首次分析。
流程挖掘与流程映射的区别
流程挖掘和流程映射回答的问题相关,但并不相同。流程挖掘利用事件数据展示流程的实际运行情况。流程映射则运用人员的知识和流程设计方法,记录或规划工作应如何开展。
| 流程挖掘 | 流程映射 | |
|---|---|---|
| 数据来源 | IT系统中的事件日志数据 | 访谈、研讨会和文档 |
| 输出 | 根据记录的事件呈现流程行为 | 记录或设计好的流程 |
| 所需投入 | 取决于数据访问和准备情况 | 取决于范围和利益相关方的参与程度 |
| 覆盖范围 | 可以展示事件日志记录的路径 | 取决于人员记录的内容 |
| 适用场景 | 了解流程的实际运行情况 | 设计或记录流程 |
两种方法可以相互补充。先用流程挖掘调查数据所呈现的流程,再用流程映射或BPMN建模记录或设计变更。ProcessMind在同一平台中支持流程挖掘和流程映射。了解两者如何互补,请阅读流程建模与流程挖掘的协同价值。
挖掘算法的实际工作原理
流程挖掘算法将事件数据转化为流程模型。已发表的研究介绍了几类算法:alpha算法推导活动之间的关系,是经典的入门算法;启发式挖掘器能够容忍噪声和不完整日志;模糊挖掘器适用于非结构化行为;归纳式挖掘器则构建可保证正确性的流程树。每种算法都针对特定类型的日志定义,并生成其定义所规定的模型。
ProcessMind提供三种自有挖掘器。您可以在挖掘模型对话框中选择一种,也可以设置网关策略,决定绘制结果的严格程度,具体说明请参阅流程挖掘文档。
| 挖掘器 | 生成结果 | 适用场景 |
|---|---|---|
| Directly-Followed-By miner | 平面模型,将每项活动与紧随其后的活动相连,不嵌套子流程 | 您希望直接查看未经处理的日志,或检查数据中的实际内容 |
| Simple Miner | 递归拆分图中的密集部分,形成嵌套片段 | 您需要能在一个屏幕内查看的紧凑模型 |
| AI Miner | 基于增强数据进行AI分解,并识别和绘制并行区域 | 日志杂乱或不完整,或流程包含平面模型无法呈现的并行工作 |
AI Miner是我们自主开发的挖掘器,并非对已发表算法的重新实现。它会结合事件日志读取增强数据,识别并行区域,并按层级拆分流程图,使模型保留日志所反映的结构,而不是将其压平。这正是它的价值所在:已发表算法的定义通常假设日志干净且完整,而大多数组织拿到的导出数据并非如此。AI Miner旨在处理实际已有的数据,而不是只适用于算法定义所要求的数据。三种挖掘器中,只有AI Miner需要增强数据。因此,面对全新的日志,建议先使用Directly-Followed-By miner,作为诚实可靠的起点进行比较。
挖掘器生成结构后,布局算法会对其进行排列,让流程更易阅读。ProcessMind的Clarity Engine负责这一步。
为什么流程挖掘值得关注
流程挖掘可以帮助您查看所有已记录案例中的工作情况,而不必只依赖流程说明或少数示例。它可以帮助您:
- **查看流程变体:**比较各案例经过的路径,识别常见或少见的路径。
- **调查延误:**查看案例在哪些环节等待,以及哪些活动耗时较长。
- **发现返工:**查找重复活动和循环,这些情况可能意味着存在错误或要求不明确。
- **检查一致性:**将实际行为与参考流程进行比较。
- **跟踪绩效:**使用仪表板和KPI持续查看流程指标。
这些发现可以帮助您提出更有针对性的问题,但无法证明延误或偏差的原因。决定变更前,请与相关人员沟通并核实背景信息。
流程挖掘的优势、局限与风险
优势
流程挖掘让您客观了解工作情况,无需依靠任何人凭记忆还原:
- 它展示日志中所有案例的行为,而不只是少数人记得的案例。
- 它能缩短诊断时间,因为流程路径、延误和返工都会直观呈现。
- 只要IT系统中留有结构化事件数据,任何流程都可以进行挖掘。
- 流程仪表板让业务团队也能直接查看这些依据,而不只是分析师。
局限
证据质量取决于日志,而准备日志需要投入工作:
- 数据质量差,可能得出看似确定、实际错误的结论。分析结果的可靠性取决于事件日志。
- 数据准备和核查往往是项目中最费力的部分。
- 流程挖掘不会修复流程,只会指出需要调查的问题;决策和变更仍由人员负责。
- 复杂模型不易阅读。请从一个明确的问题和相关路径入手。
风险
如果使用不当,同样的证据也可能造成负面影响:
- 用流程数据指责个人会引发恐惧和抵触。应关注流程条件,而不是个人。
- 误读数据会导致错误结论,因此请与了解实际工作的人共同验证发现。
- 有些工具需要大量IT支持和投入。承诺使用前,请先评估部署成本和所需技能。
- 没有明确问题就开始分析,只会得到更多数据而非洞见,也无法据此做出决策。
流程挖掘有时看起来像变魔术,但事实并非如此。它能带来以往看不到的洞见,但最难的一步仍由您完成:把洞见转化为变更。只有落实行动,分析才真正有价值。
如何避免误用流程挖掘
明确的问题、可靠的数据和能够解读结果的人员,是流程挖掘发挥作用的关键。以下错误会损害项目的可信度。
目标不明确时,不要贸然开始
漫无目的地探索,容易让分析无法支持决策。请从具体问题入手,例如“为什么发票审批需要十天以上?”或“客户入驻过程中,哪些环节容易延误?”明确的问题能帮助您确定要分析的流程、数据和指标。
一个经得起检验的目标应明确三点:流程、分析周期,以及分析要支持的决策。加载数据前先写下来,并与流程负责人达成共识。这样可以避免试点范围不断扩大,最终什么都覆盖,却什么问题也回答不了。
如果您不确定从哪里开始,可以先参考流程改进指南,其中已明确项目范围。指南列出了流程、系统、需要导出的字段和需要记录的活动,让您一开始就能提出可用现有数据回答的问题。
不要指望工具自动修复流程
流程挖掘用于分析流程行为,并不是自动解决方案。它可能显示审批耗时过长,但原因和改进措施仍需由您查明。请查看分析结果,与相关人员讨论,并在变更后再次衡量流程。
不要孤立开展分析
数据需要结合背景解读。独自分析流程并发送报告,可能会忽略绕行路径存在的原因,也可能无法判断它是否满足合理的业务需求。请与流程管理人员合作;在需要访问或验证数据时,也要让IT团队参与。他们的知识有助于说明日志能够揭示什么、无法揭示什么。
从一开始就让相关人员参与,而不是等到评审时才邀请,并向他们说明分析目的。提前了解问题的人,可以解释绕行路径、临时变通做法,或只存在于实际操作中的步骤。
实际执行工作的员工也清楚哪些步骤不会在系统中留下记录。这些缺口会让挖掘出的流程显得不完整。在ProcessMind中,您可以将其标记为数据流经,让它们显示在流程模型中,而不必虚构从未记录的事件。
不要把流程挖掘当作一次性项目
流程改进后仍会不断变化。变更后应再次检查,并持续比较结果,观察实际执行方式是否发生变化。持续监控,才能将发现转化为成果。
不要用分析结果指责员工
流程挖掘揭示的是工作如何开展,而不是谁做错了。请说明分析目的,并从一开始就让流程负责人和员工参与进来。如果数据表明某个团队耗时更长,不妨了解差异背后的原因:工作量、系统限制,还是步骤说明不够清晰。问题通常源于流程设计,答案也往往来自实际执行工作的员工。
不要使用质量不佳的数据
分析结果取决于事件日志。时间戳缺失、活动名称不一致或案例ID错误,都会使流程呈现与实际情况不符。请确认每个字段的含义,确保事件归属正确的案例,并在分析完整数据集前先抽样检查。流程数据从哪里获取介绍了所需字段。
如何开始
从范围明确的试点入手,您就能了解流程挖掘可以揭示什么,而不必一开始就分析所有流程。
说明流程挖掘可以揭示什么,并明确您希望了解的问题。邀请熟悉流程、数据和业务背景的少数成员共同参与。
从团队关心的问题入手,例如延误发生在哪里,或案例为何会退回到之前的步骤。
选择范围明确且数据易于获取的流程。存在已知延误或重复工作的流程,可以作为良好的起点。
将试点限定在某个业务单元、产品线或其他明确范围内。聚焦分析有助于验证发现。
收集试点所需的数据。您可以先使用电子表格或CSV导出文件。如需获取或整合数据,可请IT团队协助。
检查每个事件是否包含案例ID、活动名称和时间戳。确认字段格式一致,并能反映您要研究的流程。
加载事件日志并查看流程模型。检查案例数量和时间范围是否合理。如果不合理,请重新检查数据准备过程。
查看主要路径、变体和活动耗时。使用筛选器聚焦于与问题相关的案例,并记录需要进一步调查的模式。
与分析人员、流程负责人和熟悉实际工作的员工一起审查结果。询问这些模式是否符合他们的经验,以及可能的原因。
商定需要调查或解决的问题,并确定衡量变化的方法。
团队实施调整后,再次分析流程。将结果与起点进行比较,了解发生了哪些变化。
根据分析结果完善下一个问题,或将分析扩展到其他流程。
ProcessMind如何助您开展流程挖掘
流程挖掘的应用场景
只要流程活动有数字记录,并且能关联到具体案例,就可以进行流程挖掘。常见场景包括:
- **订单到收款(O2C):**分析订单生命周期,从客户下单到收款,调查履约、开票或收款环节的延误。
- **采购到付款(P2P):**检查从采购申请到供应商付款的采购流程,查找审批延误或重复工作。
- **IT服务管理(ITSM):**分析服务台工单,找出解决缓慢的路径、升级处理和SLA违约情况。
- **客户入驻:**检查新客户的入驻流程,找出延误或客户流失发生的环节。订单管理则从履约环节分析同类问题。
- **理赔处理:**检查保险或医疗理赔在审核和处理环节的流转情况。
- **制造与供应链:**检查生产和供应链流程,调查延误、质量问题或资源限制。
事件数据可以来自SAP、Oracle和Microsoft Dynamics等ERP系统,Salesforce和HubSpot等CRM平台,ServiceNow和Zendesk等服务台工具,也可以来自定制应用。系统数据是否适用,取决于您能否识别案例、活动和时间戳。
按行业、部门或转型角色浏览资源库,也可以根据您的流程和系统,从流程改进指南入手。每份指南都会列出需要导出的字段、需要记录的活动,以及从源系统填写数据模板所需的信息。
探索适用于不同团队和行业的流程挖掘场景。
流程挖掘、数据挖掘与机器学习的区别
流程挖掘、数据挖掘和机器学习以不同方式分析数据。流程挖掘关注案例如何随时间经过各项活动。数据挖掘从数据集中寻找模式。机器学习则利用数据进行预测或分类。
| 流程挖掘 | 数据挖掘 | 机器学习 | |
|---|---|---|---|
| 回答的问题 | 流程如何运行? | 数据集中存在哪些模式? | 接下来可能发生什么,或这个案例属于哪一类? |
| 分析单位 | 随时间经过各项活动的案例 | 记录、行和特征 | 映射到预测结果的输入数据 |
| 输入 | 包含案例ID、活动和时间戳的事件日志 | 已准备好的数据集 | 已标记或未标记的训练数据 |
| 输出 | 流程模型、流程变体、一致性检查和瓶颈 | 模式、细分群体或聚类 | 预测、评分或分类结果 |
| 典型用途 | 找出订单在哪个环节等待,以及如何流转 | 从客户记录中发现模式 | 预测哪些交付可能延误 |
关键区别在于各方法要回答的问题不同。流程挖掘会保留活动的先后顺序,能够显示案例是否在交接环节等待或重复执行某项活动。数据挖掘可以识别多条记录中的模式,机器学习则可以估算某种结果发生的可能性。
这些方法可以互相补充。您可以先用流程挖掘了解流程并识别差异,再用其他分析方法调查模式或预测结果。预测本身既不能解释流程,也不能改变流程。
如需了解流程分析中的更多术语,请参阅ProcessMind术语表。
接下来可以了解什么
了解流程挖掘最快的方法,是查看它如何分析您熟悉的事件日志。加载导出数据,或从示例流程开始,流程挖掘的定义便不再抽象。