查询数据分析状态 功能介绍 根据数据集ID查询数据集的分析任务状态。 URI URI格式 GET /softcomai/datalake/v1.0/datasStatistics/status/{datasetId} 参数说明 参数名 是否必选 参数类型 备注 datasetId

查看更多 →

提交数据分析请求 功能介绍 管理员在数据集详情页面数据分析分页，提交数据分析请求。 URI URI格式 PUT /softcomai/datalake/v1.0/datasStatistics 参数说明 无。 请求 请求样例 PUT https://console.ulanqab

查看更多 →

责统计数据的人员，您希望他们拥有IoT数据分析服务的查看权限，但是不希望他们拥有增删或者改动IoT数据分析服务资源等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用IoT数据分析服务的查看操作，控制他们对IoT数据分析服务资源的使用范围。 如果华为云账号已

查看更多 →

集群启动Yarn后产生大量作业占用资源 问题现象 MRS 2.x及之前版本集群，用户的MRS集群启动Yarn后产生大量作业，占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0，导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面，

查看更多 →

删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有

查看更多 →

进行实时校对，可以通过IoT数据分析服务轻松实现。 优势 IoT数据分析服务的资产建模能力，可帮助开发者快速构建资产模型并便捷管理，比如料箱和RFID tag的对应关系，料箱和仓库门的对应关系，货物在进出门的过程中，会产生大量的RFID数据，数据分析服务基于Flink技术的实时流

查看更多 →

数据分析常见问题 数据源常见问题 管道作业常见问题 实时分析常见问题 时序分析常见问题 资产建模和分析常见问题

查看更多 →

大数据开发技术门槛较高，而IoT数据分析服务整合了大数据分析领域的最佳实践，为开发者打造一站式数据开发体验，并且跟物联网相关服务（比如IoT设备接入）无缝对接，降低开发者开发难度，提升开发效率。 针对时序数据的优化 针对物联网数据具备的显著时序特征，IoT数据分析服务在数据存储及数据分析上做了大量的优化。

查看更多 →

使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 select * from gs_async_rollback_xact_status()； 处理方法

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 select * from gs_async_rollback_xact_status()； 处理方法

查看更多 →

运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时

查看更多 →

ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间，修改时未停止集群，修改后HDFS进入安全模式，无法启动。 退出安全模式后启动，hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失 查看原生页面Datanode

查看更多 →

数据接入备份 将大量滚动日志文件传输到云端做备份，用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA，并配置数据转发到DIS，实时上传车辆状态、监控数据，采用云上数据分析系统进行

查看更多 →

步的链路，节约了大量数据管理成本，提供了简洁高效的数据实时分析能力。 HTAP实例作为云数据库 GaussDB (for MySQL)的从库实时同步用户数据并提供高性能的数据分析能力，支持在GaussDB(for MySQL)实例上同时支撑在线事务处理和在线数据分析。 标准版是基于开

查看更多 →

使用JDBC接口提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：

查看更多 →

IoT数据分析服务系统权限 下表 为IoT数据分析服务的所有系统权限 表1 IoT数据分析服务系统权限 系统角色/策略名称 描述 类别 Tenant Administrator 拥有该权限的用户拥有除IAM外，其他所有服务的所有执行权限。 系统角色 Tenant Guest 拥有

查看更多 →

IoT数据分析服务权限配置示例 iam授权的过程 默认情况下，管理员创建的IAM子用户没有任何权限，需要将其加入用户组，并给用户组授予策略和角色，才能使得用户组中的用户获得策略定义的权限。 前提条件： 需要管理员账号已开通IoTA数据分析服务，未开通则访问开通服务。 创建好子用户

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 SELECT * FROM gs_async_rollback_xact_status()； 处理方法

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 SELECT * FROM gs_async_rollback_xact_status()； 处理方法

查看更多 →

删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有

查看更多 →