更新时间:2021-12-17 GMT+08:00
分享

附录 数据格式要求

文件格式基本要求

  • 时序数据标注只支持读取csv文件。
  • 文件编码格式只支持“UTF-8”格式。
  • 文件大小建议不超过“20Mb”。
  • 文件名称不能包含以下特殊字符,建议只使用“中文、字母、数字、下划线和中划线”命名:

    ? . " ' / < > & ^ * | %

  • 文件名称长度不能超过100个字符,目录名称长度不能超过100个字符。建议文件名和目录名称长度不超过50个字符。

待标注指标数据文件格式要求

待标指标数据文件是指包含时间序列和指标数据的,待标注的原始数据文件。待标注指标数据文件要求如下:

  1. 文件必须包含表头,系统默认把第一行数据作为表头数据。
  2. 文件数据行数至少两行,第一行为表头,其他行为待标注的时序数据。
  3. 不能包含空行或者空列。即某一行没有数据,或者某一列没有数据。
  4. 数据列数必须与表头列数相同。如:表头有10列数据,非表头数据必须也得有10列。
  5. 文件至少包含一列时间序列数据。

    系统会自动解析时间数据格式。系统支持的时间格式请参考时间格式

  6. 文件至少包含一列指标数据。系统会自动解析数据格式,将数值类型的数据识别为指标数据。
  7. 建议单文件数据行数不要超过1万。当数据量过大,数据的查询、保存请求时延会较长。当页面显示的数据点数过大时,页面会出现卡顿情况。

    当一条曲线中在页面显示的点数大于2000时,此点数会远大于页面像素点数。建议一个文件只包含一个月的KPI数据。

文件格式样例如表1 文件格式样例所示。
表1 文件格式样例

时间

网元

KPI指标1

KPI指标2

KPI指标3

2019-06-01 00:00:00

PGW

100

212

145

2019-06-02 00:00:00

PGW

354

235

546

2019-06-03 00:00:00

PGW

458

532

565

2019-06-04 00:00:00

PGW

562

321

325

2019-06-05 00:00:00

PGW

652

254

456

时序聚类数据文件格式要求

当前时序聚类仅支持单指标数据聚类,不支持多指标聚类。

  1. 聚类数据文件必须包含至少一个时间列,且满足时间格式。
  2. 聚类数据文件需要包含至少一个id列,且为聚类结果名称。
  3. 同一时间内,各id须保持相同的采样记录,否则数据不完成,无法进行聚类。

结果文件格式要求

当前时序数据标注采用结果和原始文件分开的保存策略。原始文件只读,结果文件可读写。

用户在创建一个标注任务时,可以选择一份已有的标注结果,并在其之上进行标注。也可以不选择标注结果文件。

此部分介绍的结果文件格式要求是针对用户自己提供的结果文件的要求。如果是时序数据标注自动生成的结果文件,用户只需注意选取与原始文件对应的结果文件即可。

点标注结果文件要求
  • 结果文件表头必须与原始文件表头一一对应。
  • 非指标列数据不能为空。非指标列是指数据类型不是数值类型的列。
  • 指标列存储的是该指标数据对应的标注结果,指标列数据可以置空,但是必须保留此指标列。
  • 结果文件的行数和列数必须与原始文件的行数和列数相同。
  • 如果是多分类标注,一个指标点可能在同一个标签维度下标记为多个值。多个指标值之间用逗号分隔,如“1,2,5”。
点标注结果文件格式样例如表2
表2 点标注结果文件样例

时间

网元

KPI指标1

KPI指标2

KPI指标3

2019-06-01 00:00:00

PGW

1,2,5

-

1

2019-06-02 00:00:00

PGW

0

-

0

2019-06-03 00:00:00

PGW

1

-

0

2019-06-04 00:00:00

PGW

0

-

0

2019-06-05 00:00:00

PGW

1

-

0

时间格式

待标注文件必须包含一列时间数据,系统会自动识别时间格式。当前系统支持的时间格式如表3所示。

表3 当前系统支持的时间格式

格式

样例

yyyy/MM/dd HH:mm:ss

2019/07/01 12:00:00

yyyy/MM/dd HH:mm

2019/07/01 12:00

yyyy/MM/dd HH

2019/07/01 12

yyyy/MM/dd

2019/07/01

yyyy-MM-dd HH:mm:ss

2019-07-01 12:00:00

yyyy-MM-dd HH:mm

2019-07-01 12:00

yyyy-MM-dd HH

2019-07-01 12

yyyy-MM-dd

2019-07-01

MM/dd/yyyy HH:mm

07/01/2019 12:00

MM/dd/yyyy HH

07/01/2019 12

MM/dd/yyyy

07/01/2019

MM-dd-yyyy HH:mm:ss

07-01-2019 12:00:00

MM-dd-yyyy HH:mm

07-01-2019 12:00

MM-dd-yyyy HH

07-01-2019 12

MM-dd-yyyy

07-01-2019

yyyyMMddHHmmss

20190701120000

yyyyMMddHHmm

201907011200

yyyyMMddHH

2019070112

yyyyMMddHH

20190701

yyyy/MM/dd'T'HH:mm:ss'Z'

2019/07/01T15:31:39Z

yyyy/MM/dd'T'HH:mm

2019/07/01T15:31

yyyy/MM/dd'T'HH

2019/07/01T15

yyyy-MM-dd'T'HH:mm:ss'Z'

2019-07-01T15:31:39Z

yyyy-MM-dd'T'HH:mm

2019-07-01T15:31

yyyy-MM-dd'T'HH

2019-07-01T15

MM/dd/yyyy'T'HH:mm:ss'Z'

07/01/2019T15:31:39Z

MM/dd/yyyy'T'HH:mm

07/01/2019T15:31

MM/dd/yyyy'T'HH

07/01/2019T15

MM-dd-yyyy'T'HH:mm:ss'Z'

07-01-2019T15:31:39Z

MM-dd-yyyy'T'HH:mm

07-01-2019T15:31

MM-dd-yyyy'T'HH

07-01-2019T15

相关文档