Flink异步Checkpoint机制的Java/Scala示例程序。 本工程中，程序使用自定义算子持续产生数据，产生的数据为一个四元组（Long，String，String，Integer）。数据经统计后，将统计结果打印到终端输出。每隔6秒钟触发一次checkpoint，然后将checkpoint的结果保存到HDFS中。

查看更多 →

ent”。 将待运行的应用程序上传到集群客户端所在节点。 本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”（部分版本集群中Spark2x文件夹名称为Spark，请以实际为准）。

查看更多 →

Spark Core样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： val

查看更多 →

v) in result: print k + "," + str(v) # 停止SparkContext spark.stop() 父主题： Spark Core样例程序

查看更多 →

getOrCreate() import spark.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(","))

查看更多 →

Spark SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from

查看更多 →

getOrCreate() import spark.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(","))

查看更多 →

Spark SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from

查看更多 →

插件。 在弹出的“Plugins Changed”页面，单击“Restart”，使配置生效。 图10 Plugins Changed 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者

查看更多 →

Flink DataStream样例程序（Java） 功能介绍 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 DataStream FlinkStreamJavaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink

查看更多 →

Flink DataStream样例程序（Java） 功能介绍 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 DataStream FlinkStreamJavaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink

查看更多 →

Flink DataStream样例程序（Java） 功能介绍 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 代码样例 下面代码片段仅为演示，完整代码参见FlinkStreamJavaExample样例工程下的com.huawei.bigdata.flink.examples

查看更多 →

functions.source.RichSourceFunction; import java.util.ArrayList; import java.util.List; import java.util.Random; // 该类是带checkpoint的source算子 public

查看更多 →

根据业务逻辑，开发对应的Spark应用程序，并设置用户编写的Spark应用程序的主类等常数。 如果您使用的是普通模式，准备业务应用代码及其相关配置即可。 调用org.apache.spark.launcher.SparkLauncher.launch()方法，将用户的应用程序提交。 将Spark

查看更多 →

ionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同，需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中，例如“$SPARK_HOME/jars”路径。

查看更多 →

插件。 在弹出的“Plugins Changed”页面，单击“Restart”，使配置生效。 图10 Plugins Changed 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者

查看更多 →

Flink DataStream样例程序（Java） 功能介绍 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 DataStream FlinkStreamJavaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink

查看更多 →

Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;

查看更多 →

launcher.SparkLauncher.launch()方法，将用户的应用程序提交。 将SparkLauncher程序和用户应用程序分别生成Jar包，并上传至运行此应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中编包并运行Spark程序章节。 SparkLaun

查看更多 →

在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令： source 客户端安装目录/bigdata_env

查看更多 →

launcher.SparkLauncher.launch()方法，将用户的应用程序提交。 将SparkLauncher程序和用户应用程序分别生成Jar包，并上传至运行此应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中编包并运行Spark程序章节。 SparkLaun

查看更多 →