etl规则引擎 更多内容
  • 连通性测试

    输入用于转发的测试数据,或单击右上角"模拟输入模板",使用模板数据,然后单击"连通性测试"。 图2 转发目标-连通性测试结果 父主题: 规则引擎

    来自:帮助中心

    查看更多 →

  • BTEQ工具命令

    输出 ..IF ACTIVITYCOUNT > 0 THEN ..FOR SEL SqlStr AS V_SqlStr FROM ${ ETL_DATA}.TB_DWDATA_UPDATE WHERE JobName = '${JOB_NAME}' AND TXDATE = ${

    来自:帮助中心

    查看更多 →

  • 数据质量管理

    质量检测任务调度2 关联ETL任务 关联任务调度支持数据质量任务关联多个数据开发任务。当数据开发任务运行一个周期后,数据质量任务会紧随其后对其产出的数据进行稽核,如稽核结果不达标,则会产生相应告警。如不达标的质量规则中包含强规则,则还会自动阻塞该数据开发任务的下游节点。 图14 关联ETL任务 质量监控报告

    来自:帮助中心

    查看更多 →

  • Loader开源增强特性

    ,可以合并为n个文件(n值可配) 导入(导出)文件时,可以对文件进行过滤,过滤规则同时支持通配符和正则表达式 支持批量导入/导出ETL任务 支持ETL任务分页查询、关键字查询和分组管理 对外部组件提供浮动IP 父主题: Loader

    来自:帮助中心

    查看更多 →

  • Spark Core数据序列化

    在开发应用程序时,添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。 package com.etl.common; import com.esotericsoftware.kryo.Kryo; import org.apache.spark

    来自:帮助中心

    查看更多 →

  • 数据序列化

    在开发应用程序时,添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。 package com.etl.common; import com.esotericsoftware.kryo.Kryo; import org.apache.spark

    来自:帮助中心

    查看更多 →

  • Storm应用开发简介

    rm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高 保证无数据丢失 容错性好

    来自:帮助中心

    查看更多 →

  • Spark Core数据序列化

    在开发应用程序时,添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。 package com.etl.common; import com.esotericsoftware.kryo.Kryo; import org.apache.spark

    来自:帮助中心

    查看更多 →

  • 数据资产模型

    数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到

    来自:帮助中心

    查看更多 →

  • Storm应用开发简介

    rm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高 保证无数据丢失 容错性好

    来自:帮助中心

    查看更多 →

  • 平台简介(联通用户专用)

    设备联动规则 设备联动规则是规则引擎的一种,通过设置一个规则的触发条件(如温度阈值、时间等),在满足触发条件时,物联网平台会触发一个指令来使设备执行一个操作(如上报信息、打开设备开关、上报告警等)。详细请参见规则引擎。 告警管理 支持管理通过规则引擎里定义触发的设备告警,包括查看

    来自:帮助中心

    查看更多 →

  • 配置数据转发规则

    创建集成应用。 使用规则引擎转发DIS时,用户需要具备DIS Administrator角色权限。 创建规则 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“设备集成 LINK > 规则引擎”,单击页面右上角的“创建规则”。

    来自:帮助中心

    查看更多 →

  • 产品价值

    数据属性易理解:集成50000多种属性的数据字典,降低用户使用电信数据门槛。 数据治理 效率高:设备采集数据接口标准化,支持多种主流文件的导入和ETL处理。 父主题: 产品介绍

    来自:帮助中心

    查看更多 →

  • Hive应用开发简介

    完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HiveQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HiveQL完成海量结构化数据分析。 灵活的数据存储格式,支持JSON, CS V,TEXTFILE,RCFILE,ORCFILE,

    来自:帮助中心

    查看更多 →

  • 应用场景

    长期单向数据同步,提供云内正、反向切换等容灾特性。 特点:异地远距离传输优化,围绕灾备提供特性,不同于业界基于简单的数据同步形成方案。 ETL 实现不同系统间关键业务的数据持续性的实时流动,支持数据加工,支持异构同步,支持长期单向同步。 父主题: 专业版事件流

    来自:帮助中心

    查看更多 →

  • 业务对接适配和验证

    业务应用调用API是否正常。 业务应用向ROMA Connect的Topic收发消息是否正常。 设备向ROMA Connect收发数据是否正常,规则引擎是否正常转发数据。 父主题: 恢复/迁移集成资产

    来自:帮助中心

    查看更多 →

  • HDFS文件系统目录简介

    目录 否 HBase作业失败或者脏数据丢失 /user/loader/etl_dirty_data_dir /user/loader/etl_hbase_putlist_tmp /user/loader/etl_hbase_tmp /user/oozie 固定目录 存放oozie运行时需要的依赖库,需用户手动上传

    来自:帮助中心

    查看更多 →

  • Storm应用开发简介

    rm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高 保证无数据丢失 容错性好

    来自:帮助中心

    查看更多 →

  • 产出信息(邀测)

    dc1a7b88/b88c445407b24283aa949f9833a38fd8/etl-dli2dws/2024-01-11_09_01_39.684/ETL_Job_dli2dws/ETL_Job_dli2dws.job\",\n\t\t\t\"failCount\":-1

    来自:帮助中心

    查看更多 →

  • 修订记录

    ”、“修改后端API”、“查询后端API详情”和“测试后端API”接口的“required”参数描述。 2020-06-29 优化“创建规则引擎源端”接口的“dataFormatTrans”和“ruleSrcLevel”参数描述。 2020-03-30 修改错误码描述。 2019-12-17

    来自:帮助中心

    查看更多 →

  • 温度过高时自动关闭设备

    温度过高时自动关闭设备 概述 物联网平台支持设备数据上报和设备命令下发,但若要将两者联动起来,一般需要由应用 服务器 实现对应逻辑。 设备接入服务 提供规则引擎功能,平台上简单几步操作即可实现数据上报特定数据时平台自动下发指定命令,减少应用服务器开发工作量。 示例场景 本示例为设备自带的温度传感

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了