批处理规则引擎 更多内容
  • 计费项

    基础版算入计费消息数 设备调用LWM2M协议的Register消息 应用端消息 应用端调用物联网平台API发送的消息 算入计费消息数 规则引擎转发消息 使用规则引擎转发到其他 华为云产品 的消息 当低于设备上报消息数时免费赠送,超过部分算入计费消息数。 例如: 上报100万条,流转110万条,消息数按110万条计算。

    来自:帮助中心

    查看更多 →

  • API概览

    Flink作业模板相关API 包括新建模板、更新模板、删除模板和查询模板列表。 Spark作业相关API 包括创建批处理作业、取消批处理作业、查询批处理作业列表、查询批处理作业详情、查询批处理作业状态和查询批处理作业日志。 Spark作业模板相关API 包括保存SQL模板、创建作业模板等模板相关API。

    来自:帮助中心

    查看更多 →

  • 应用场景

    和协议差异,通过规则引擎将数据流转到OBS进行存储,还可以流转到 MRS 进行进一步的数据处理。 图6 分布式光伏业务架构图 分布式光伏场景参考架构如下: 端侧不同的厂家的逆变器设备通过MQTT协议上报电压,电流,功率,发电量等数据到云端。 云端IoTDA通过规则引擎将数据流转到OB

    来自:帮助中心

    查看更多 →

  • 设备联动

    时更换电池。 图1 设备联动架构图 若您想要进一步体验设备联动功能,可参考设备触发告警并邮件或短信通知。 云端规则 端侧规则 父主题: 规则引擎

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小,如果启用消息压缩,则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值,且存在消费者版本早于0.10.2,此时消费者的“fetch size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。

    来自:帮助中心

    查看更多 →

  • 应用服务器如何获取设备上报到物联网平台的数据?

    应用 服务器 调用查询设备历史数据接口,主动从物联网平台获取设备上报的数据。 应用服务器调用订阅平台业务数据接口,使物联网平台在设备上报数据时,主动将数据推送给应用服务器。 通过规则引擎数据转发规则,通过DIS或者DMS转发至应用服务器。 父主题: 应用集成(联通用户专用)

    来自:帮助中心

    查看更多 →

  • 查看数据转发通道详情

    个转发规则流转数据的最大积压(缓存)大小为1GB,最大积压(缓存)时间为24小时,如需修改可参考数据转发积压策略配置。 清空积压消息 当规则引擎将消息转发至第三方应用服务器时,若该服务器故障导致消息无法及时处理,IoT物联网平台将会积压数据。考虑到用户对数据实时性的要求,我们支持

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    pala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下:

    来自:帮助中心

    查看更多 →

  • 连通性测试

    输入用于转发的测试数据,或单击右上角"模拟输入模板",使用模板数据,然后单击"连通性测试"。 图2 转发目标-连通性测试结果 父主题: 规则引擎

    来自:帮助中心

    查看更多 →

  • 查询作业实例列表

    String 项目编号,获取方法请参见项目ID和账号ID。 jobName 否 String 作业名称。 如果要查询指定批处理作业的实例列表,jobName就是批处理作业名称; 如果要查询实时作业下某个节点关联的子作业,jobName格式为[实时作业名称]_[节点名称]。 minPlanTime

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    pala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下:

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    pala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下:

    来自:帮助中心

    查看更多 →

  • Sub Job

    度为1~128个字符。 子作业名称 是 选择需要调用的子作业名称。 说明: 您只能选择已存在的批处理作业名称,此批处理作业不能为作业本身,并且该批处理作业为不包含Sub Job节点的作业。 子作业参数名称 是/否 当节点属性中子作业参数配置为空时,子作业使用自身参数变量执行。父作业的“子作业参数名称”不显现。

    来自:帮助中心

    查看更多 →

  • 平台简介(联通用户专用)

    设备联动规则 设备联动规则是规则引擎的一种,通过设置一个规则的触发条件(如温度阈值、时间等),在满足触发条件时,物联网平台会触发一个指令来使设备执行一个操作(如上报信息、打开设备开关、上报告警等)。详细请参见规则引擎。 告警管理 支持管理通过规则引擎里定义触发的设备告警,包括查看

    来自:帮助中心

    查看更多 →

  • HCIP-Big Data Developer

    V2.0考试覆盖:大数据应用开发总指导、大数据主流技术、大数据场景化解决方案(离线批处理、实时检索、实时流处理、融合数仓)、大数据应用开发流程等内容。 知识点 大数据应用开发总指导 5% 大数据离线批处理场景化解决方案 20% 大数据实时检索场景化解决方案 25% 大数据实时流计算场景化解决方案

    来自:帮助中心

    查看更多 →

  • 业务对接适配和验证

    业务应用调用API是否正常。 业务应用向ROMA Connect的Topic收发消息是否正常。 设备向ROMA Connect收发数据是否正常,规则引擎是否正常转发数据。 父主题: 恢复/迁移集成资产

    来自:帮助中心

    查看更多 →

  • 使用DIS触发器

    数据处理方式:“按字节数”和“按批处理”。 表1 数据处理方式介绍 数据处理方式 说明 按字节数 需配置“最大字节数”,每次触发时获取记录的最大字节数。只有当分区中单条记录小于该值,才能被获取。设置范围:0KB-4MB。 按批处理 需配置“批处理大小”,单次拉取的最大数据条数。只

    来自:帮助中心

    查看更多 →

  • 普通任务(Job)和定时任务(CronJob)

    one-off tasks),即仅执行一次的任务,它保证批处理任务的一个或多个Pod成功结束。 Job:是Kubernetes用来控制批处理型任务的资源对象。批处理业务与长期伺服业务(Deployment、StatefulSet)的主要区别是批处理业务的运行有头有尾,而长期伺服业务在用户不停

    来自:帮助中心

    查看更多 →

  • 配置Hive Beeline高可靠性

    Beeline高可靠性 操作场景 在批处理任务运行过程中,beeline客户端由于网络异常等问题断线时,Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时,已经提交过的任务不再重新执行,直接从下一个任务开始执行。 在批处理任务运行过程中,HiveSer

    来自:帮助中心

    查看更多 →

  • 作业开发流程

    开发作业前,您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业:当前提供两种作业类型:批处理和实时处理,分别应用于批量数据处理和实时连接性数据处理,其中批处理作业还支持Pipeline和单节点作业两种模式,具体请参见新建作业。 开发作业:基于新建的作业,进行作业

    来自:帮助中心

    查看更多 →

  • 配置Hive Beeline高可靠性

    Beeline高可靠性 操作场景 在批处理任务运行过程中,beeline客户端由于网络异常等问题断线时,Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时,已经提交过的任务不再重新执行,直接从下一个任务开始执行。 在批处理任务运行过程中,HiveSer

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了