bigdata.spark.examples.StreamingExampleProducer {BrokerList} {Topic} 其中，ClassPath应包含Spark客户端Kafka jar包的绝对路径，如/opt/client/Spark2x/spark/jars/*

查看更多 →

将OBS数据源中的数据写入Spark SQL表中时，需要先获取AK/SK。获取方法如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。 输入登录密码和短信验证码，单击“确定”，下载密钥，请妥善保。 操作步骤 准备使用Spark

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在命令窗口中执行的SQL保存下来，便于后期查看。您也可以再次执行这些SQL，无需重复输入。 前提条件 需要开启“SQL保存到执行记录”。 开启SQL保存到执行记录后，SQL执行记录信息会保存到DAS服务的管理主机。 操作步骤

查看更多 →

exit(-1) #创建SparkConf conf = SparkConf().setAppName("wordcount") #创建SparkContext 注意参数要传递conf=conf sc = SparkContext(conf=conf)

查看更多 →

命令执行记录 当您开启命令保存到执行记录后，数据管理服务会将您在命令窗口中执行的命令保存下来，便于后期查看。您也可以再次执行这些命令，无需重复输入。 前提条件 需要开启“命令保存到执行记录”。 开启命令保存到执行记录后，命令执行记录信息会保存到DAS服务的管理主机。 操作步骤 登录管理控制台。

查看更多 →

使用多级agent串联从本地采集静态日志保存到HBase 操作场景 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。 本章节适用于 MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传

查看更多 →

使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。

查看更多 →

使用多级agent串联从本地采集静态日志保存到HBase 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参

查看更多 →

【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 用户问题 提交一个Spark应用，包含单个Job百万个Task。应用结束后，在JobHistory中访问该应用的WebUI页面，浏览器会等待较长时间才跳转到应用WebUI页面，若10分钟内无法跳转，则页面会显示Proxy

查看更多 →

开启SQL执行记录后，会保存到哪里 DAS服务的管理主机。 父主题： 产品咨询

查看更多 →

Spark客户端使用实践 本章节提供从零开始使用Spark2x提交spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写spark应用程序；Spark SQL为执行SQL的模块。 场景说明

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 操作步骤

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 操作步骤

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 操作步骤

查看更多 →

“表结构模式”可填写需访问的数据库名称，如果填写，后续创建数据集时，刷新表，页面上只可见该数据库下的表。如果不填写，后续创建数据集时，刷新表，页面上会显示所有数据库下的表。创建数据集请参考永洪BI创建数据集。 其他选项不需要填写，也无需勾选“需要登录”选项。 图3 添加数据源配置 表1 数据库连接参数

查看更多 →

使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使

查看更多 →

业务信息梳理 护网/重保前，需要对整体护网信息进行盘点，全面梳理可能针对云上业务系统的攻击路径，构建安全防护架构。 安全云脑纳管了网站、 弹性云服务器 、数据库、IP、VPC等资产，并关联对应的安全服务，护网、重保期间立志于从网络层、应用层、主机层、数据层等多方面构建整体网络防护架构，全面保障用户业务系统的安全稳定。

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 操作步骤

查看更多 →

SQL执行记录 当您开启SQL保存到执行记录后，数据管理服务会将您在SQL窗口中执行的SQL语句保存下来，便于后期查看。您也可以再次执行这些SQL语句，无需重复输入。 前提条件 需要在SQL查询窗口右上角开启SQL保存到执行记录。开启后，SQL执行记录信息会保存到DAS服务的管理主机。 操作步骤

查看更多 →

Spark客户端使用实践 本章节提供从零开始使用Spark，提交Spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写Spark应用程序；Spark SQL为执行SQL的模块。 场景说明 假

查看更多 →