文档首页 > > 用户指南> 管理转储任务> 转储至CloudTable

转储至CloudTable

分享
更新时间: 2020/07/03 GMT+08:00

源数据类型JSON/CSV==>CloudTable类型HBase

表1 转储相关配置参数

参数

说明

取值

任务名称

用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。

-

源数据Schema

用户的JSON或CSV数据样例,用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet格式。

-

CloudTable集群

单击“选择”,在“选择CloudTable集群”窗口选择一个集群名称。

此配置项不可配置为空。仅支持选择,不可手动输入。

-

CloudTable表类型

HBase和openTSDB两种。

-

CloudTable数据表

CloudTable数据表:单击“选择”,在“选择CloudTable数据表”窗口选择一个数据表。

此处路径仅支持选择,不可手动输入。

配置此项必须已配置“CloudTable集群”并创建了HBase表。

偏移量

  • 最新:最大偏移量,即获取最新的有效数据。
  • 最早:最小偏移量,即读取最早的有效数据。

最新

备份开关

用户数据转储CloudTable服务失败时,是否将转储失败的数据备份至OBS服务。

  • 开启:是,转储失败的数据备份至OBS服务。
  • 关闭:否,转储失败的数据不备份至OBS服务。

开关默认关闭。

关闭开关,转储失败的数据会存储在DIS中,并在“生命周期”配置的时间到达时将数据清除。

失败记录备份桶

转储失败记录会存储在用户指定的OBS桶中。

此配置项仅支持选择,不可手动输入。

-

失败记录备份目录

转储失败记录存储在OBS桶下该配置项配置的目录中。

配置为空,则转储失败记录存储在“失败记录备份桶”内。

取值范围:英文字母、数字、“_”和“/”,且不可以“/”开头。

最大长度:最大长度为50个字符。

-

Row Key

  • Json属性名,取值范围为英文字母、数字、下划线和小数点,最大取值为32个字符,不可为空,不可以小数点开头,不可包含连续的小数点 且不可以小数点结尾。最多可添加64个属性。
  • 数据类型,从下拉框选择。
    • Bigint
    • Double
    • Boolean
    • Timestamp
    • String
    • Decimal

-

Row Key分隔符

支持“.”“,”“|”“;”“-”“_”、和“~”七种字符取值,也可配置为NULL。

最大长度为一个字符。

-

Schema列

  • 列名,取值范围为英文字母、数字和下划线,最大取值为32个字符,不可为空。最多可添加4096个列。
  • 数据类型,从下拉框选择。
    • Bigint
    • Double
    • Boolean
    • Timestamp
    • String
    • Decimal
  • Json属性名,取值范围为英文字母、数字、下划线和小数点,最大取值为32个字符,不可为空,不可以小数点开头,不可包含连续的小数点 且不可以小数点结尾。
  • 所属列族,从下拉框选择,不可为空。配置此项必须已配置“CloudTable 集群”、“CloudTable 数据表”且CloudTable表类型为HBase。

-

源数据类型JSON/CSV==>CloudTable类型openTSDB

表2 转储相关配置参数

参数

说明

取值

任务名称

用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。

-

源数据Schema

用户的JSON或CSV数据样例,用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet格式。

-

CloudTable集群

单击“选择”,在“选择CloudTable集群”窗口选择一个集群名称。

此配置项不可配置为空。仅支持选择,不可手动输入。

-

CloudTable表类型

HBase和openTSDB两种。

-

CloudTable数据表

CloudTable数据表:单击“选择”,在“选择CloudTable数据表”窗口选择一个数据表。

此处路径仅支持选择,不可手动输入。

配置此项必须已配置“CloudTable集群”并创建了openTSDB表。

偏移量

  • 最新:最大偏移量,即获取最新的有效数据。
  • 最早:最小偏移量,即读取最早的有效数据。

最新

备份开关

用户数据转储CloudTable服务失败时,是否将转储失败的数据备份至OBS服务。

  • 开启:是,转储失败的数据备份至OBS服务。
  • 关闭:否,转储失败的数据不备份至OBS服务。

开关默认关闭。

关闭开关,转储失败的数据会存储在DIS中,并在“生命周期”配置的时间到达时将数据清除。

失败记录备份桶

转储失败记录会存储在用户指定的OBS桶中。

此配置项仅支持选择,不可手动输入。

-

失败记录备份目录

转储失败记录存储在OBS桶下该配置项配置的目录中。

配置为空,则转储失败记录存储在“失败记录备份桶”内。

取值范围:英文字母、数字、“_”和“/”,且不可以“/”开头。

最大长度:最大长度为50个字符。

-

Metric:CloudTable集群OpenTSDB数据metric的Schema配置,用于将通道内的JSON数据进行格式转换生成OpenTSDB数据的metric。

  • Json属性名,取值范围为英文字母、数字、下划线和小数点,最大取值为32个字符,不可为空,不可以小数点开头,不可包含连续的小数点 且不可以小数点结尾。
  • 数据类型,从下拉框选择。
    • String
    • Constant

-

Timestamp:CloudTable集群OpenTSDB数据timestamp的Schema配置,用于将通道内的JSON数据进行格式转换生成OpenTSDB数据的timestamp。

  • Json属性名,取值范围为英文字母、数字、下划线和小数点,最大取值为32个字符,不可为空,不可以小数点开头,不可包含连续的小数点 且不可以小数点结尾。
  • 时间戳的格式,从下拉框中选择。

    yyyy/MM/dd HH:mm:ss

    MM/dd/yyyy HH:mm:ss

    dd/MM/yyyy HH:mm:ss

    yyyy-MM-dd HH:mm:ss

    MM-dd-yyyy HH:mm:ss

    dd-MM-yyyy HH:mm:ss

  • 数据类型,从下拉框中选择。
    • String
    • Timestamp

-

Value:CloudTable集群OpenTSDB 数据value的Schema配置,用于将通道内的JSON数据进行格式转换生成OpenTSDB 数据的value

  • Json属性名,取值范围为英文字母、数字、下划线和小数点,最大取值为32个字符,不可为空,不可以小数点开头,不可包含连续的小数点 且不可以小数点结尾。
  • 数据类型,从下拉框选择。
    • Bigint
    • Double
    • Boolean
    • Timestamp
    • String
    • Decimal

-

Tags:CloudTable集群OpenTSDB数据tags的Schema配置,用于将通道内的JSON数据进行格式转换生成OpenTSDB数据的tags。

  • Tag名:取值范围为英文字母、数字、下划线,最大取值为32个字符,不可为空。
  • 数据类型,从下拉框选择。
    • Bigint
    • Double
    • Boolean
    • Timestamp
    • String
    • Decimal
    • Constant
  • Json属性名,取值范围为英文字母、数字、下划线和小数点,最大取值为32个字符,不可为空,不可以小数点开头,不可包含连续的小数点 且不可以小数点结尾。

-

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问