本页内容
> 资源 > 文档 > 流程挖掘数据 > 事件日志支持的数据格式

事件日志支持的数据格式

Process Intelligence Process Intelligence 流程智能席位及以上等级可使用此功能。只有此等级或更高等级的席位可以使用。 比较方案 需使用流程智能席位或更高级别席位

支持上传的文件格式

ProcessMind支持多种事件日志文件格式，均可通过应用界面或API上传。

文本格式

  • .csv：逗号分隔值格式。常见且轻量，大多数系统（如Excel、ERP系统）都支持导出。分隔符会自动检测。
  • .tsv：制表符分隔值格式。与CSV类似，但使用制表符而非逗号；适合数据中包含逗号的情况。
  • .txt：纯文本文件。采用一致的分隔格式时即可使用。
  • .xes：流程挖掘工具使用的事件日志标准格式，适合记录包含时间戳和案例ID的详细活动信息。

Excel格式

  • .xls：较旧版本的Excel电子表格格式。支持上传，但加载速度可能慢于较新的格式。
  • .xlsx：现代Excel格式，应用广泛且完全支持，通常适合结构化数据。
  • .xlsb：Excel二进制工作簿。加载速度更快，处理大型数据集的能力优于.xlsx，但兼容性不如其他格式广泛。

二进制/列式数据格式

  • .parquet：Apache Parquet格式，采用针对分析工作负载优化的列式存储。适合大型数据集，处理大数据时速度显著快于CSV。支持增量（差量）上传。
  • .orc：优化行列式（ORC）格式，是Hadoop/Spark生态系统中常用的高效列式格式。支持增量（差量）上传。
  • .jsonl / .ndjson：JSON Lines格式，每行都是一个独立的JSON对象，适合从API和日志系统导出流式数据。支持增量（差量）上传。

压缩文件

  • .gz：Gzip压缩文件。上述格式均可使用gzip压缩（例如data.csv.gz、data.parquet.gz）。ProcessMind会自动识别内部格式，并按需解压。对于大型文件，使用gzip压缩可缩短上传时间。

性能提示：大型数据集建议使用Parquet

如果数据集包含数百万行，可考虑使用Parquet格式。Parquet文件采用列式存储和压缩，并包含内嵌的架构信息，因此上传和查询速度更快，还能自动识别列，无需解析标题行。对于持续增长的数据集，Parquet也支持增量（差量）上传。

通用文件结构要求

要在ProcessMind中成功进行流程挖掘，上传的文件（无论是Excel、文本还是XML格式）都必须符合特定的结构要求，以便应用正确读取数据并进行准确分析。

1.标题行（Excel或文本格式）

  • 文件必须以标题行开头，且标题行应位于第一行（例如，Excel文件中的A1单元格，或CSV、TSV和TXT文件中的第1行）。标题行用于定义列名，并应清楚标明每列的数据类型（例如“案例ID”“活动”“时间戳”）。
  • 对于CSV、TSV和TXT格式，系统会自动检测分隔符和引号，您无需手动指定这些设置即可上传数据。
  • 对于Parquet和ORC格式，系统会直接从文件内嵌架构读取列名和数据类型，无需标题行。
  • 对于JSONL/NDJSON格式，列名取自文件第一行中的JSON键。

2.最低属性要求

要满足流程挖掘事件日志的结构要求，文件至少应包含以下属性（列）。列名不必与“案例ID”“活动”等名称完全一致，但列中的内容必须符合相应要求。

  • 案例ID：此列用于唯一标识每个流程实例（或案例）。同一流程实例对应的每一行都必须使用相同的案例ID。
  • 活动：此列应描述记录的具体活动或事件（例如“订单已创建”“付款已处理”）。
  • 时间戳：每项活动都必须关联一个时间戳，标明事件发生的确切日期或时间。
  • 备注：系统会尽可能自动检测时间戳格式，并自动识别yyyy-MM-dd HH:mm:ss、MM/dd/yyyy等常见格式。
  • 可选属性：您可以添加其他列来完善分析，例如：
  • 资源：标识执行活动的人员或部门。
  • 成本：与活动相关的任何成本。
  • 其他自定义数据：只要包含必需列，您还可以添加与具体流程相关的自定义字段。

具体需要哪些列取决于您要分析的流程。我们的流程改进指南会说明各流程需要的数据结构，包括必需字段、需要记录的活动，以及可供填写的数据模板。

3.数据格式

  • 确保所有列中的数据格式一致：
  • 时间戳应采用标准且易识别的格式（例如yyyy-MM-dd HH:mm:ss），但如果格式不同，ProcessMind也会尝试自动识别日期格式。
  • 数据行之间不要留空行，以免影响导入。
  • 数值数据（例如成本、时长）在Excel中应设为数字格式；在文本文件（CSV、TSV、TXT）中也应采用正确格式。
  • 对于CSV、TSV和TXT格式，ProcessMind会自动识别分隔符（逗号、制表符、分号等），并自动处理带引号的文本。

4.选择工作表（仅适用于Excel文件）

  • 无论Excel文件（XLS、XLSX或XLSB）中的工作表名称是什么，ProcessMind都会自动处理第一个工作表中的数据。请将所需的事件日志数据放在第一个工作表中，导入时不会处理其他工作表。

5.XES格式

.xes（eXtensible Event Stream）是一种用于流程挖掘事件日志的标准文件格式。它记录流程实例的详细信息，例如案例ID、活动、时间戳及其他相关属性。

流程挖掘工具普遍支持这种格式，也适合准确还原现实中的流程运行情况。

技术规范和完整说明请参阅XES官方标准网站。

6.Parquet、ORC和JSONL格式

Parquet和ORC是数据工程管道（Apache Spark、AWS Glue、Databricks等）中广泛使用的列式二进制格式。它们内含架构信息，因此ProcessMind无需手动配置即可自动识别列名和数据类型。

JSONL（JSON Lines，也称NDJSON）文件每行包含一个JSON对象，每个对象代表一个事件。JSON键会成为列名。这种格式常用于从API、日志系统或流处理平台导出数据。

这三种格式均：

7.提示

性能提示：使用XLSB格式加快处理速度

ProcessMind支持上传和处理所有受支持的Excel格式，但建议Excel文件使用XLSB格式。XLSB以二进制格式存储Excel文件，性能优势明显，尤其适用于大型数据集。与XLS或XLSX相比，文件加载和处理速度更快。

大型数据集：使用Parquet或ORC

如果数据集包含数百万行，或您使用自动化数据管道，建议使用Parquet或ORC格式，而非Excel或CSV。这些列式格式的压缩效果和查询性能更佳，也支持持续增长数据集的增量加载。