jar作业可以通过两种方式来读取Hudi表：Spark datasource API 或者通过 SparkSession 提交 SQL。 配置项 hoodie.datasource.query.type 需要配置为 snapshot（snapshot同时也是默认值，因此可以缺省）。 object HudiDemoScala

查看更多 →

数据库审计实例规则配置最佳实践 建议您开启风险告警，配置了风险告警后，当数据库访问触发了审计规则时，DBSS才能及时将风险通知给您，操作详情请参见设置告警通知。 场景一：核心资产数据库表的异常访问、告警 示例：某电商网站后台分为多个微服务，分别为订单管理服务、用户管理服务、商品搜

查看更多 →

群和RDS服务下的MySQL数据库实例对接进行举例说明。 前提条件 已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。

查看更多 →

x及后续版本。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”，则执行以下命令： cd /opt/client 执行以下命令配置环境变量。 source

查看更多 →

如果数据库被删除后，再重新创建同名的数据库，数据库权限不会继承，需要对操作该数据库的用户或项目重新进行赋权。 例如，testdb数据库给用户A赋予了删除数据库的权限，后续执行了删除testdb数据库，并重新创建了testdb数据库。如果希望A用户继续保留删除testdb数据库的权限，则需要重新对A用户赋予该权限。

查看更多 →

Catalog方式登录spark-sql。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 前提条件 已安装Spark服务，且服务运行状态正常。 已安装Spark客户端，详细操作请参见安装客户端（3.x及之后版本）。 已在Manager界面添加人机用户，例如：iceberguser，且

查看更多 →

Insight，简称 DLI ）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，支持数据入湖、 数据仓库 、BI、AI融合等能力。 云数据库 RDS for MySQL：云数据库

查看更多 →

import org.apache.spark.SparkConf; import org.apache.spark.SparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api

查看更多 →

Oracle同步到 MRS Hudi作业配置 消息系统 DMS Kafka 对象存储：OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop：MRS Kafka 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS

查看更多 →

Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程

查看更多 →

DLI数据源 数据湖探索 （Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户

查看更多 →

09:14:16 ... 步骤五：安装Magento组件 安装Magento时可以选择是否安装示例数据。如果安装Magento仅用于测试，可以选择安装示例数据。如果是在生产环境中安装Magento，建议安装全新的Magento，并从初始进行配置。 执行以下命令，安装git。 yum -y install

查看更多 →

DSP Scheduler 安装到Tomcat 安装与配置 创建“DSPScheduler”目录。 解压安装包到 “DSPScheduler”目录中。 Linux #tar -xvf Primeton_DSP_7.0_Scheduler_Linux_64.tar -C DSPScheduler

查看更多 →

转换为jar包，并且将其上传至Flume安装路径下的lib文件夹下（请以用户安装Flume的实际路径为准）。 编写配置文件，需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意，格式为拦截器的全类名 + $Builder。 # 拦截器配置 # 拦截器定义 a1.sources

查看更多 →

配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manage

查看更多 →

示例：不同场景下连接数据库参数配置 以下示例场景中node代表“host:port”，host为数据库 服务器 名称或IP地址，port为数据库 服务器端口 。 容灾场景 某客户有两套数据库集群，其中A集群为生产集群，B集群为容灾集群。当客户执行容灾切换时，A集群将降为容灾集群，B集群将

查看更多 →

、列授权和数据库授权三个场景下的操作。 安全模式支持配置Hive表、列或数据库的权限，普通模式不支持配置Hive表、列或数据库的权限。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。 前提条件

查看更多 →

示例：不同场景下连接数据库参数配置 以下示例场景中node代表“host:port”，host为数据库服务器名称或IP地址，port为数据库服务器端口。 容灾场景 某客户有两套数据库实例，其中A数据库实例为生产数据库实例，B数据库实例为容灾数据库实例。当客户执行容灾切换时，A数据库实例将降为

查看更多 →

示例：不同场景下连接数据库参数配置 以下示例场景中node代表“host:port”，host为数据库服务器名称或IP地址，port为数据库服务器端口。 容灾场景 某客户有两套数据库集群，其中A集群为生产集群，B集群为容灾集群。当客户执行容灾切换时，A集群将降为容灾集群，B集群将

查看更多 →

配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manage

查看更多 →

执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足，报错信息如下： org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException:

查看更多 →