分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    spark 机器学习 Kafka 更多内容
  • 配置Kafka后进先出

    配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false spark.streaming

    来自:帮助中心

    查看更多 →

  • Spark Streaming性能调优

    数据接收器作为一个Kafka的消费者,对于它的配置优化,请参见Kafka开源文档:http://kafka.apache.org/documentation.html。 处理器调优 Spark Streaming的底层由Spark执行,因此大部分对于Spark的调优措施,都可以应用在Spark

    来自:帮助中心

    查看更多 →

  • 运行SparkStreamingKafka样例工程时报“类不存在”问题

    1/install/ FusionInsight -Spark2x-3.1.1/spark/jars/streamingClient010”目录: kafka-clients-xxx.jar kafka_2.12-xxx.jar spark-streaming-kafka-0-10_2.12-3.1.

    来自:帮助中心

    查看更多 →

  • 运行SparkStreamingKafka样例工程时报“类不存在”问题

    1/install/FusionInsight-Spark2x-3.1.1/spark/jars/streamingClient010”目录: kafka-clients-xxx.jar kafka_2.12-xxx.jar spark-streaming-kafka-0-10_2.12-3.1.

    来自:帮助中心

    查看更多 →

  • Kafka

    Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS 应用开发开源jar包冲突列表说明

    来自:帮助中心

    查看更多 →

  • Kafka

    Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

    来自:帮助中心

    查看更多 →

  • 由于Kafka配置的限制,导致Spark Streaming应用运行失败

    由于Kafka配置的限制,导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时,Kafka上接收不到回写的数据,且Kafka日志报错信息如下: 2016-03-02 17:46:19,017 | INFO | [kaf

    来自:帮助中心

    查看更多 →

  • 由于Kafka配置的限制,导致Spark Streaming应用运行失败

    由于Kafka配置的限制,导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时,Kafka上接收不到回写的数据,且Kafka日志报错信息如下: 2016-03-02 17:46:19,017 | INFO | [kaf

    来自:帮助中心

    查看更多 →

  • 获取MRS集群信息

    流式集群包含的组件有:Kafka,Flume,ZooKeeper,Ranger 混合集群包含的组件有:Hadoop,Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Kafka,Flume,Guardian

    来自:帮助中心

    查看更多 →

  • Spark

    Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题: 组件介绍

    来自:帮助中心

    查看更多 →

  • 场景说明

    bigdata.spark.examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} JAR_PATH为程序jar包所在路径; BrokerList格式为brokerIp:9092;

    来自:帮助中心

    查看更多 →

  • Java样例代码

    put("bootstrap.servers", brokers); kafkaParams.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); kafkaParams

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming样例程序(Java)

    .option("kafka.security.protocol", protocol) .option("kafka.sasl.kerberos.service.name", service) .option("kafka.kerberos.domain

    来自:帮助中心

    查看更多 →

  • 分布式消息服务RocketMQ版

    Native Lives Kubernetes系列课程,带你走进云原生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的智能问答机器人,有问题欢迎随时求助哦! 社区求助

    来自:帮助中心

    查看更多 →

  • Standalone模式spark配置

    Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径,jar包需要放在spark所在服务器上。如果spark是集群环境,则每个节点都需要放入jar包,且路径相同。

    来自:帮助中心

    查看更多 →

  • Spark Streaming调优

    式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0.8.2以后版本,可以使用异步模式的新Producer接口。 配置多个Broker的目录,设置多个IO线程,配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分:http://kafka

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

    来自:帮助中心

    查看更多 →

  • 场景说明

    StreamingExampleProducer {BrokerList} {Topic} JAR_PATH为程序jar包所在路径,BrokerList格式为brokerIp:9092。 需要修改程序SecurityKafkaWordCount类中kerberos.domain.name的值为$KAFKA_HOME/config/consumer

    来自:帮助中心

    查看更多 →

  • Spark Streaming性能调优

    数据接收器作为一个Kafka的消费者,对于它的配置优化,请参见Kafka开源文档:http://kafka.apache.org/documentation.html。 处理器调优 Spark Streaming的底层由Spark执行,因此大部分对于Spark的调优措施,都可以应用在Spark

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了