使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在命令窗口中执行的SQL保存下来，便于后期查看。您也可以再次执行这些SQL，无需重复输入。 前提条件 需要开启“SQL保存到执行记录”。 开启SQL保存到执行记录后，SQL执行记录信息会保存到DAS服务的管理主机。 使用限制

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 使用限制

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 使用限制

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 使用限制

查看更多 →

使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于 MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使

查看更多 →

eaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Streaming Kafka依赖包路径为“$SPARK_HOME/jars/stream

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

Cassandra实例的代码。 如果是spark 2.x 连接GeminiDB Cassandra，建议使用的版本如下： spark：2.5.1 scala：2.12 spark-cassandra-connector：2.5.1 使用如下样例代码连接数据库即可： /**

查看更多 →

大小。首先在Spark的配置文件“hive-site.xml”中，查看Hive的数据库路径的配置，默认为“/user/hive/warehouse”。Spark服务多实例默认数据库路径为“/user/hive/warehouse”，例如“/user/hive1/warehouse”。

查看更多 →

conf”配置文件中设置该参数。 Spark客户端提交的任务在客户端配的“spark-defaults.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下，使用Spark CLI（如spark shell、spark sql、spark submit）时，如果使

查看更多 →

Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录 FusionInsight Manager管理界面，修改JD BCS erver的参数“spark.authenticate.enableSaslEncryp

查看更多 →