SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。 SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark

查看更多 →

HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件，一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS 组件版本信息 组件 版本 CarbonData 2

查看更多 →

Console页面Flink作业状态与Yarn上的作业状态不一致？ SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ Spark作业访问OBS

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传

查看更多 →

HDFS中各模块间的RPC通道，如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 MapReduce访问Yarn，Mapreduce访问HDFS的RPC通道。

查看更多 →

DLV 的数据连接支持以下几种： 数据库类：包括 数据仓库 服务（DWS）、 数据湖探索 服务（ DLI ）、MapReduce服务（MRS）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL

查看更多 →

enabled false true 为了保证Spark2x可以长期访问HBase，建议不要修改HBase与HDFS服务的以下参数： dfs.namenode.delegation.token.renew-interval dfs.namenode.delegation.token

查看更多 →

直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写，影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。

查看更多 →

直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写，影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

map 是 - 数据处理规则 当配置SparkSQL表名不存在时，作业提交失败。 当配置的列名与SparkSQL表列名不匹配时，读取不到数据，导入数据条数会为0。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以SPARK导出到sqlserver2014数据库为例。

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

作业名称 是 填写DLI Spark作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格： 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“

查看更多 →

ZStandardCode”： set hive.exec.compress.output=true; set mapreduce.map.output.compress=true; set mapreduce.map.output.compress.codec=org.apache.hadoop.io

查看更多 →

HDFS中各模块间的RPC通道，如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 Mapreduce访问Yarn，Mapreduce访问HDFS的RPC通道。

查看更多 →

IEF与IoT边缘有什么区别？ IEF为用户提供完整的边缘和云协同的一体化服务，拥有强大的应用管理、边云协同能力，能够统一从云端下发应用到边缘，帮助用户在云端统一对边缘应用进行管理、监控和运维。 IoT边缘主要是边缘的终端设备管理，拥有强大的多终端设备多协议接入能力，且提供边缘数据清洗功能，在边缘清洗数据。

查看更多 →

DDoS攻击与CC攻击有什么区别？ CC（Challenge Collapsar）攻击是DDoS（Distributed Denial of Service）攻击的一种类型，详细说明如下： DDoS攻击 DDoS攻击是一种基于DoS特殊形式的拒绝服务攻击，是一种分布的、协同的大规

查看更多 →

自定义密钥与默认密钥有什么区别？ 自定义密钥和默认密钥的区别，如表 自定义密钥和默认密钥的区别所示。 表1 自定义密钥和默认密钥的区别 名称 概念 区别 自定义密钥 是用户自行通过KMS创建或导入的密钥，是一种密钥加密密钥，主要用于加密并保护DEK。 一个自定义密钥可以加密多个DEK。

查看更多 →

IoTEdge与IEF的关系和区别是什么？ IoTEdge是一组软件产品，包含云服务、边缘运行时软件、边缘模块应用，将云端能力快速拓展至边缘，提供数据采集、低时延自治、云边协同、边缘计算等能力，在园区、城市、工业等场景，作为数据源切入点，解决客户对设备上云、本地计算、数据预处理等

查看更多 →

在迁移过程中无需中断业务，支持断点续传。 安全性高，使用AK/SK校验迁移Agent身份；传输通道使用SSL加密。 限制条件： 源端 服务器 约束与限制请参见兼容性列表与使用限制有哪些？。 镜像服务 迁移 将需要迁移的服务器在线下制作成镜像文件，完成初始化配置（配置网络属性、安装XEN和KVM驱动）

查看更多 →