MRS 集群简介 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。有关MRS服务的详细信息，请参考《MapReduce服务用户指南》。

查看更多 →

关系网络 关系网络图 父主题： 组件指南

查看更多 →

time”。 确定信息后，单击“确定”。 新建关系 在“图谱预览”界面左上角选择“新建>新建关系”。 或在搜索框中进行搜索操作后，空白处右键单击鼠标，选择“新建关系”。 弹出“新建关系”对话框。 图3 新建关系 选择“头实体”、“关系名”和“尾实体”，可在下拉的搜索框中直接搜索实体名称。

查看更多 →

关系操作接口 功能介绍 关系操作接口。 URI POST /v3/{project_id}/abm/instances/{instance_id}/metadata3/relationships 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

查看关系实体 操作场景 本文指导您如何查看当前选择的应用租户下的所有关系实体及实体详情。 查看实体列表 登录LinkX-F系统首页。 选择“模型设计 > 数据模型管理”，默认进入“数据实体”页面。 在左侧导航栏选择“关系实体”，进入“关系实体”页面。 列表默认展示“正在工作”、“

查看更多 →

出待删除的绑定关系对列表。 可直接在绑定关系列表中找到待删除的绑定关系对。 根据待删除关系对数量选择删除类型。 单个删除 单个桌面绑定关系需要删除时，可选择单个删除。 单击待删除的关系对所在行的“删除”，进入删除确认页面。 单击“确定”。 批量删除 大量桌面绑定关系需要删除时，可选择批量删除。

查看更多 →

作废关系实体 操作场景 当“模型类型”为“扩展模型”的关系实体不想使用时，您可以在应用运行态作废该关系实体。作废的关系实体将无法使用，请谨慎操作！ 前提条件 已登录应用运行态。 操作步骤 在左侧导航栏中，选择“数据模型管理 > 关系实体”，进入关系实体页面。 勾选需要作废的关系实体，单击“作废”。

查看更多 →

在左侧导航栏中，选择“数据模型管理 > 关系实体”，进入“关系实体”页面。 在“关系实体”页面，根据实际需求，设置筛选条件（所属应用、编码、英文名称、中文名称、模型分类、关系类型、源数据实体名称、目标数据实体名称、创建者、更新者等），单击“搜索”。 图1 条件筛选 在关系实体列表中显示的列表字段

查看更多 →

查看关系详情 功能介绍 通过ID获取关系详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/relation/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

Kafka支持数据加密。 Spark支持子查询字段不带聚合函数语法（设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true）。 Spark支持视图表权限控制（在JDBCserver的自定义custom参数添加spark.ranger

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLV 的数据连接支持以下几种： 数据库类：包括 数据仓库 服务（DWS）、 数据湖探索 服务（DLI）、MapReduce服务（MRS）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

只有包含Spark和Hive组件的集群才能新增Spark和Hive类型的作业。 取值范围： 1：MapReduce 2：Spark 3：Hive Script 4：HiveSQL（当前不支持） 5：DistCp，导入、导出数据。 6：Spark Script 7：Spark SQL，提交SQL语句，（该接口当前不支持）

查看更多 →