Kafka实时入库到 GaussDB (DWS) 通过 数据湖 探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS) 数据仓库 ，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。

查看更多 →

NoSQL： 表格存储服务 （CloudTable） 搜索：Elasticsearch， 云搜索服务 （ CSS ） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）， MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

Formation，简称LakeFormation）是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接 MapReduce服务 （MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、 AI开发平台 ModelArts、 数据治理中心

查看更多 →

境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源，建议通过名称后缀进行区分，详细操作请参见配置 DataArts Studio 企业模式环境隔离。 配置DB，在同一个数据湖服务下配置两套数据库，进行开发与生产环境隔离。

查看更多 →

搜索：Elasticsearch， 云搜索 服务（ CS S） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21

查看更多 →

应用开发简介 湖仓构建 （DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务

查看更多 →

与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索（Data Lake Insight，简称DLI）用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务（Object Storage S

查看更多 →

ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致，详细操作请参见创建DataArts

查看更多 →

NoSQL： 表格存储 服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive

查看更多 →

所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎，在开发环境下的调测并发布数据开发脚本，发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发 选择开发环境的数据湖引擎，在开发环境下的调测并发布数据开发作业，发布到生产环境后系统会自动替换为对应生产环境引擎。

查看更多 →

NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive

查看更多 →

搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS

查看更多 →

搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS

查看更多 →

LakeFormation入门教程，介绍如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实

查看更多 →

常用最佳实践 实践 描述 数据导入 使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 本实践演示通过数据湖探索服务DLI Flink作业将分布式消息服务Kafka的消费数据实时同步至CloudTable HBase，实现Kafka实时入库到CloudTable

查看更多 →

调用说明 数据湖探索提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见构造请求。 DLI API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若AP

查看更多 →

搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS

查看更多 →

率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过 云监控服务 提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的监控指标请参见数据湖探索监控指标说明及查看指导。 父主题： 安全

查看更多 →

且账号不能处于欠费或冻结状态。 第一次使用数据湖数据湖 DLI时需要登录DLI控制台，如果使用IAM子账户部署该解决方案，请参考部署指南确保该账号已经有DLI的相关授权，第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

查看更多 →

详细信息请参考官网文档。 数据治理 中心（DataArts Studio） DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座，例如MRS Hive、数据仓库服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。详细信息请参考官网文档。

查看更多 →