本例中建表是保存在Hive的“default”数据库中，默认具有“default”数据库的“建表”权限。如果Hive的数据库不是“default”，则还需要执行以下步骤： 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选所需指定的数据库的“建表”，单击“确定”保存。

查看更多 →

本例中建表是保存在Hive的“default”数据库中，默认具有“default”数据库的“建表”权限。如果Hive的数据库不是“default”，则还需要执行以下步骤： 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选所需指定的数据库的“建表”，单击“确定”保存。

查看更多 →

SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manage

查看更多 →

概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default

查看更多 →

。 说明： MRS SparkSQL为非全托管服务， DLV 无法直接与非全托管服务进行连接。 CDM 集群提供了DLV与非全托管服务通信的代理。 数据库名 单击“获取数据库”，在列表框中选择数据库。 填写完数据源信息后，单击“确定”即可完成MRS SparkSQL数据连接的添加。 使用 MapReduce服务 （MRS

查看更多 →

配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark

查看更多 →

Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x

查看更多 →

EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题： 数据开发

查看更多 →

配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manage

查看更多 →

自动执行内嵌触发器脚本。 在对象详情页面，如图14所示，单击“内嵌触发器”页签，再单击“新建”。 图14 内嵌触发器 如图15所示，输入触发器的基本信息，单击“保存”。 图15 创建触发器 表4 参数说明 参数 配置说明 标签 内嵌触发器在用户界面展示的名称。 名称 内嵌触发器的名称

查看更多 →

Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

SparkSQL建表时的目录权限 问题 新建的用户，使用SparkSQL建表时出现类似如下错误： 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache

查看更多 →

SparkSQL建表时的目录权限 问题 新建的用户，使用SparkSQL建表时出现类似如下错误： 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache

查看更多 →

SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a

查看更多 →

多变的游戏业务需求。您可以将模式固定的结构化数据存储在云数据库RDS中，模式灵活的业务存储在DDS中，高热数据存储在GeminiDB Redis里，实现对业务数据高效存取，降低存储数据的投入成本。 优势： 支持内嵌文档：内嵌文档可以避免join的使用，降低应用开发的复杂性，灵活的schema支持，方便快速开发迭代。

查看更多 →

在对象“CNAME__Class__ CS T”配置页面，单击“内嵌触发器”页签，再单击“新建”。 图5 新建内嵌触发器 输入触发器的基本信息，单击“保存”。 图6 输入信息 表3 内嵌触发器参数说明 参数 参数说明 标签 内嵌触发器在用户界面展示的名称。 名称 内嵌触发器的名称，单击后默认自动生成，与“标签”值保持一致。

查看更多 →

SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a

查看更多 →

SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a

查看更多 →

场景说明 通过StringUtil内嵌对象EL表达式分割二维数组结果，获取前一节点输出的字段值，输出结果类型为String。 本例中，MRS Hive SQL节点返回单字段二维数组，Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式，通过此表达式即可分割二维数组，获取MRS

查看更多 →