throws Exception { SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark.some.config.option"

查看更多 →

//创建一个配置类SparkConf，然后创建一个SparkContext SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark

查看更多 →

停止单流任务 功能介绍 调用此接口停止单流任务 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/apps/{app_id}/individual

查看更多 →

管理函数流任务 查看函数流任务 登录函数工作流控制台，左侧导航栏单击“函数流”。 在函数流列表页面，支持设置函数流任务卡片显示和列表显示。 图1 设置显示方法 卡片显示 图2 卡片显示 列表显示 图3 列表显示 在函数流页面，可以查看所有已创建的函数流任务，您可以执行如表1中的管理操作。

查看更多 →

创建函数流任务 本章节主要介绍如何创建函数流任务和编排函数流任务。您可以根据实际业务场景来创建标准函数流或快速函数流。 标准模式面向普通的业务场景，支持长时间任务，支持执行历史持久化和查询，只支持异步调用，在函数流运行记录页面查询执行结果。 快速模式面向业务执行时长较短，需要极致

查看更多 →

使用Structured Streaming接收Kafka中数据，生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5

查看更多 →

使用Structured Streaming接收Kafka中数据，生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5

查看更多 →

启动单流任务 功能介绍 调用此接口接口启动单流任务。 API触发单流录制流名规则：{jobtype}_{jobid}_{roomid}_{userid} jobtype取值为's'代表单流录制。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Exp

查看更多 →

监控同步任务状态 操作场景 同步任务开始后，您可以随时查看同步的进度以及详情，以确定同步迁移的执行状态是否正常。 操作步骤 登录管理控制台，进入“ 对象存储迁移 服务”页面。 在左侧导航树，选择“同步任务”。 单击任务ID记录名称，查看同步任务执行情况。如图1所示。具体的参数说明参见表1。

查看更多 →

修改单流任务失败，语义有误，当前请求无法被 服务器 理解，或参数有误 404 修改单流任务失败，应用不存在或者任务编号不存在 500 修改单流任务失败，服务器错误 错误码 请参见错误码。 父主题： 单流任务管理

查看更多 →

单流任务管理 启动单流任务 查询单流任务状态 停止单流任务 更新单流任务

查看更多 →

xample SparkStreamingKafka010JavaExample Spark Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程应用程序实时累加计算Kafka中的流数据，统计每个单词的记录总数。 SparkStreamin

查看更多 →

准备Spark应用Java开发环境 操作场景 Java开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Java开发环境，推荐使用IDEA工具，安装要求如下。 JDK使用1.7版本（或1.8版本） IntelliJ IDEA（版本：13

查看更多 →

如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：

查看更多 →

任务监控管理 查询任务监控信息列表 查询单个任务的日志详情 查询单次调度日志详情 查询指定任务的调度信息总览 父主题： 数据集成API

查看更多 →

Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程应用程序实时累加计算Kafka中的流数据，统计每个单词的记录总数。 sparksecurity-examples/SparkStreamingKafka010PythonExample sparksecurity-exampl

查看更多 →

查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成，但是查看不到日志。 原因分析 问题1：可能原因是 MapReduce服务 异常。 问题2：可能原因如下： Spark的JobHistory服务异常。 日志太大，NodeManager在做日志汇聚的时候出现超时。

查看更多 →

如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →

如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：

查看更多 →