Kafka对接SpringBoot样例代码 本章节适用于 MRS 3.3.0及之后版本。 功能简介 通过SpringBoot实现对Kafka集群生产消费的功能。 代码样例 通过SpringBoot实现Kafka生产消费的样例代码如下： @RestController public class

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

Spark Streaming对接kafka0-10程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

据的。 Kafka服务的topic的leader异常后，如果Kafka的leader和follower的offset相差太大，用户重启Kafka服务，Kafka的follower和leader相互切换，则Kafka服务重启后，topic的offset变小。 如果Spark Str

查看更多 →

Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

使用Kafka Eagle对接MRS Kafka 应用场景 Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity

查看更多 →

Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）

查看更多 →

GuoYijun CaiXuyu FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1

查看更多 →

a中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */

查看更多 →

Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）

查看更多 →

a中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */

查看更多 →

Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）

查看更多 →

Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）

查看更多 →

a中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */

查看更多 →

GuoYijun CaiXuyu FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1

查看更多 →

Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例

查看更多 →

a中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */

查看更多 →