分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    spark java api往kafka写 更多内容
  • Kafka常用API介绍

    Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API介绍 父主题: Kafka应用开发常见问题

    来自:帮助中心

    查看更多 →

  • Spark常用API介绍

    Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JD BCS erver接口介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • Spark常用API介绍

    Spark常用API介绍 Spark Java API接口介绍 Spark scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDB CS erver接口介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • Spark常用API介绍

    Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • Spark2x样例工程介绍

    apache.spark.launcher.SparkLauncher类采用Java/Scala命令方式提交Spark应用。 sparknormal-examples/SparkLauncherScalaExample sparknormal-examples/SparkOnClickHouseJavaExample

    来自:帮助中心

    查看更多 →

  • YARN Java API接口介绍

    YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol

    来自:帮助中心

    查看更多 →

  • HBase Java API接口介绍

    void put(Put put) 该表写入一条数据。 void put(List<Put> puts) 该表写入一批数据。 void close() 释放该Table对象持有的资源。 表1和表2只列举了部分常用的方法。 父主题: HBase对外接口介绍

    来自:帮助中心

    查看更多 →

  • HDFS Java API接口介绍

    groupId,String locatorId) 用colocation模式,创建一个FSDataOutputStream,从而允许用户在f路径文件。 f为HDFS路径。 overwrite表示如果文件已存在是否允许覆盖。 用户指定文件所属的groupId和locatorId必须已经存在。

    来自:帮助中心

    查看更多 →

  • Spark2x样例工程介绍

    launcher.SparkLauncher类采用Java/Scala命令方式提交Spark应用。 sparksecurity-examples/SparkLauncherScalaExample sparksecurity-examples/SparkOnClickHouseJavaExample

    来自:帮助中心

    查看更多 →

  • 视频帮助

    MapReduce服务 MRS Flink TableAPI使用样例 21:00 Flink TableAPI使用样例 MapReduce服务 MRS 使用java命令提交spark任务样例 21:22 使用java命令提交spark任务样例 MapReduce服务 MRS Spark读写HBase样例

    来自:帮助中心

    查看更多 →

  • 流式写入Hudi表

    --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous // 指定流处理模式为连续模式 父主题: Hudi操作

    来自:帮助中心

    查看更多 →

  • Flink Kafka样例程序(Java)

    Flink Kafka样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink

    来自:帮助中心

    查看更多 →

  • Spark Core样例程序(Java)

    //创建一个配置类SparkConf,然后创建一个SparkContext SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark

    来自:帮助中心

    查看更多 →

  • Spark SQL样例程序(Java)

    throws Exception { SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark.some.config.option"

    来自:帮助中心

    查看更多 →

  • Spark SQL样例程序(Java)

    throws Exception { SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark.some.config.option"

    来自:帮助中心

    查看更多 →

  • DLI常用跨源分析开发方式

    scala样例代码 pyspark样例代码 java样例代码 Redis源表 Redis结果表 Redis维表 Flink作业样例 DDS 创建DDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 - - DMS - - Kafka源表 Kafka结果表 -

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming状态操作样例程序开发思路

    在kafka中生成模拟数据(需要有Kafka权限用户) 确保集群安装完成,包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming样例程序开发思路

    程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、SparkKafka。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。

    来自:帮助中心

    查看更多 →

  • Spark Python API接口介绍

    Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的APISpark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用

    来自:帮助中心

    查看更多 →

  • Spark Scala API接口介绍

    Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的APISpark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scala应

    来自:帮助中心

    查看更多 →

  • Spark Scala API接口介绍

    Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的APISpark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scala应

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了