IoTDA结合 DLI +DWS+Astro实现大数据分析 概述 在物联网解决方案中，设备产生庞大的数据，使用传统的Mysql数据库已经无法达到要求，为了降低存储成本，提高数据查询效率，华为云物联网平台可以通过规则引擎，将数据转发到华为云其他云服务，例如可以将海量数据经过 数据湖探索 服务（DL

查看更多 →

与其它云服务的关系 基因容器服务与华为云其它服务的关系如图1所示。 图1 基因容器与华为云服务的关系 云容器引擎（CCE） 基因容器使用的底层资源均由CCE服务创建。云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kuberne

查看更多 →

SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 （推荐）DLI SDK V3：是根据定义API的YAML文件统一自动生成，其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。 DLI SDK（

查看更多 →

华为云数据治理平台 数据治理总体架构 数据治理中心 DataArtsStudio https://support.huaweicloud.com/dataartsstudio/index.html 数据湖 探索 DLI https://support.huaweicloud.com/dli/index

查看更多 →

选择可用的DLI资源队列。DLI预置的资源队列“default”，仅用于客户体验。 委托授权 首次创建DLI的数据连接时，需要您同意访问DLI（数据湖探索）委托授权。授权成功后，再次创建DLI的数据连接时，将不再提示您委托授权。 填写完数据源信息后，单击“确定”即可完成DLI数据连接的添加。

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

auth.user”以及“es.net.http.auth.pass”为创建集群时设置的账号和密码。 插入数据 1 sparkSession.sql("insert into css_table values(18, 'John'),(28, 'Bob')"); 查询数据 1 sparkSession

查看更多 →

DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务， CDM 暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

图解数据湖探索

查看更多 →

情讲解可参考表1。 插入数据 1 sparkSession.sql("insert into opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession

查看更多 →

计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业，则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面；

查看更多 →

控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 创建

查看更多 →

调用说明 数据湖探索提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见构造请求。 DLI API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若AP

查看更多 →

数据安全以数据为中心，基于数据动态流动场景，构建全链路数据湖安全的解决方案，全方位保障数据湖安全，以此满足不同角色（如数据开发工程师，数据安全管理员，数据安全审计员和数据安全运营人员）对数据安全和 数据治理 的诉求。 图1 DataArts Studio 数据安全框架 资源主体：即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据 MRS

查看更多 →

特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 · 元数据：元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。

查看更多 →

表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS）

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

数据库、数据库模式（仅DWS需要）、数据表等新建完成后，如果涉及原始数据表等，您还需要将两套数据湖服务之间的数据进行同步： 数据湖中已有数据：通过CDM或DRS等数据迁移服务，在数据湖间批量同步数据。 数据源待迁移数据：通过对等的CDM或DRS等数据迁移服务作业进行同步，保证生产环境和开发环境的数据湖服务数据一致。

查看更多 →

Kafka实时入库到 GaussDB (DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1

查看更多 →

DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases

查看更多 →