Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

数据库类 DLV 支持以下几种数据库： 数据仓库 服务（DWS） 数据湖探索 （ DLI ） MapReduce服务（ MRS Hive） MapReduce服务（MRS SparkSQL） MapReduce服务（ClickHouse） 云数据库 MySQL 云数据库 PostgreSQL 云数据库

查看更多 →

如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控 如何防止insert overwrite语句误操作导致数据丢失 未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3

查看更多 →

数据湖 探索（DLI） 使用DLI Spark通用队列 - 数据仓库服务（DWS） 使用DLI Spark通用队列 DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。

查看更多 →

使用Spark（MRS 3.x之前版本） 从零开始使用Spark 从零开始使用Spark SQL 使用Spark客户端 访问Spark Web UI界面 Spark对接OpenTSDB

查看更多 →

使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用

查看更多 →

上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”） hive-site.xml HDFS的“/user/developuser/myjobs/apps/spark2x”目录 hbase-site.xml Spark客户端目录（如

查看更多 →

conf Spark客户端目录（如“/opt/client/Spark2x/spark/jars”） jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x/”目录 将待使用样例工程的项目打包成jar包,比如OoizeSparkHBase-1

查看更多 →

使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 使用Spark执行Hudi样例程序（Java） 父主题： 开发Spark应用

查看更多 →

在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION

查看更多 →

使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie

查看更多 →

是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JD BCS erver中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark cli方式运行metastore

查看更多 →

SparkRTC是否支持在国外使用？ 支持。SparkRTC提供覆盖全球的高质量、大规模的实时音视频网络。 父主题： 产品咨询

查看更多 →

使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用

查看更多 →

shell连接到Spark并执行Spark SQL命令。 开启JDB CS erver并使用JDBC客户端（例如，Spark Beeline）连接。 执行如下命令： cd ./Spark2x/spark/bin ./spark-beeline 创建CarbonData Table 在Spark

查看更多 →

使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据，以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell，需将查询命令写在spark.sql()的括号中。 本操作

查看更多 →

</dependency> 2. SparkSession添加下面两个参数 .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") .config("spark.sql.catalog.spark_catalog"

查看更多 →

使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用

查看更多 →

如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控 如何防止insert overwrite语句误操作导致数据丢失 未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3

查看更多 →

删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark2x JDBCServer中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark2x cli方式运行metastore

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →