中软国际数据治理专业服务解决方案实践

10.1.1.6 回答 动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处理

查看更多 →

invalid. 规则引擎源端数据不合法 检查规则引擎源端数据 400 RML.0501 The rule engine does not exist. 规则引擎不存在 添加规则引擎 400 RML.0502 Invalid rule engine ID. 规则引擎ID无效 检查规则引擎ID

查看更多 →

Connect。设备接入ROMA Connect后，即可以上报设备数据到ROMA Connect。您也可以通过ROMA Connect向设备下发控制命令，以达到控制设备的效果。 ROMA Connect不会直接存储设备上报的数据，您需要配置数据转发规则，把设备数据转发到其他服务进行存储。 通过MQTT协议

查看更多 →

行为，车辆轨迹等数据到云端。 云端IoTDA支持数据流转到不同云服务进行数据清洗，数据存储，数据分析，从而构筑多种车联网数据应用。 图2 车联网场景参考架构图 智能家居 需求场景：家用电器冰箱、空调、洗衣机、插座、电视、照明等各种家用设备需要接入上云，支持设备数据上报云端，用于感

查看更多 →

。 单击“规则”，选择“数据转发” ，找到对应规则单击“详情”进入数据转发规则详情界面。 图1 规则详情-数据转发规则 选择“设置转发目标”，找到数据转发通道单击“详情”，在弹窗中可查看推送详情。 图2 数据转发规则详情-数据转发规则 图3 推送详情-数据转发规则 表1 参数说明

查看更多 →

称，进入规则详情页面。 配置规则的数据源端。 单击“数据源端”下的“创建数据源端”，增加一条数据源端配置。 配置数据源端相关信息，完成后单击“保存”。 表2 数据源端配置 参数 配置说明 产品名称 选择设备所属的产品。 设备名称 选择要转发数据的设备，可以选择指定设备或全部设备。

查看更多 →

，用于指导您快速实现对象存储数据迁移。 表1 OMS 最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用，优先选择此方案。此方案受OBS限制，具体的约束请见数据回源。 业务零中断，增量迁移间未同步的数据通过回源配置保证用户无感知。

查看更多 →

应用 服务器 如何获取设备上报到物联网平台的数据？ 有以下几种方式： 应用服务器调用查询设备历史数据接口，主动从物联网平台获取设备上报的数据。 应用服务器调用订阅平台业务数据接口，使物联网平台在设备上报数据时，主动将数据推送给应用服务器。 通过规则引擎数据转发规则，通过DIS或者DMS转发至应用服务器。

查看更多 →

设备集成API（V1） 产品管理 设备管理 规则引擎 父主题： 历史API

查看更多 →

设备集成API 设备分组管理 设备管理 订阅管理 产品模板 产品管理 规则引擎 服务管理

查看更多 →

调整相关参数，使其适合业务场景。 批量操作 原因及现象 如果有大批量的数据导入、删除、查询操作，会导致SQL执行变慢。 您可以在控制台查看实例的磁盘总大小、磁盘使用量、IOPS等指标。具体操作，请参见查看实例运行情况。 解决方案 在业务低峰期执行大批量操作，或将大批量操作拆分后分批执行。 定时任务 原因及现象

查看更多 →

10.1.1.6 回答 动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处理

查看更多 →

delta表就是列存表附带的行存表，那么将数据插入delta表后将失去列存表的高压缩比等优势，正常情况下使用列存表的场景都是大批量数据导入，所以默认关闭delta表，如果开启delta表做大批量数据导入，反而会额外消耗更多时间和空间，同样在3CN、6DN的集群上操作，每次导入10000条数据时，开启delt

查看更多 →

Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] Spark作业运行大批量数据时上报作业运行超时异常错误

查看更多 →

功能模拟业务数据调测规则动作的可用性及转发数据的业务一致性；在业务运行阶段数据转发出现故障时，您可使用连通性测试功能进行简单的问题复现及定位。 使用步骤 1、创建转发规则及动作后，单击待调测转发目标中的"测试"。 图1 转发目标-测试 2、在连通性测试对话框的测试数据页签下，输入

查看更多 →

] ，positionCode为岗位编码 说明： 最大批量新增数不能超过200条。 rules List<Object> 否 通用规则，格式：[{"ruleCode": "1001"}]，ruleCode为规则编码 说明： 最大批量新增数不能超过10条。 响应参数 参数 类型 描述

查看更多 →

设备集成指导 业务使用介绍 创建产品 注册设备 接入设备 产品管理 设备管理 规则引擎 订阅管理

查看更多 →

DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云 CDM 将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到 MRS 。 其中CDM

查看更多 →

是否有高效的删除表数据的方法？ 有。删除大批量的日志数据时，使用delete语法需要花费更大的时间，此时可以通过TRUNCATE语法进行大批量删除操作，它的删除速度比delete快得多。 详情请参见TRUNCATE。 功能描述 清理表数据，TRUNCATE在清理表数据时，可以快速地从

查看更多 →

可以是影子同步给设备，也可以是设备同步给影子。详细请参见设备影子。 数据转发规则 数据转发规则是规则引擎的一种，用于将物联网平台接收的设备数据，转发到华为公有云的其它服务进行数据分析、存储等。详细请参见规则引擎。 设备实时状态监控 物联网平台实时监控设备的状态，包括在线、离线、未

查看更多 →

MySQL参数调优建议。 批量操作 原因及现象 如果有大批量的数据导入、删除、查询操作，会导致SQL执行变慢。 您可以在控制台查看实例的磁盘总大小、磁盘使用量、IOPS等指标。具体操作，请参见查看实例性能指标。 解决方案 在业务低峰期执行大批量操作，或将大批量操作拆分后分批执行。 定时任务 原因及现象

查看更多 →