Topic创建成功后，执行以下命令运行程序。 java -cp .:/opt/client/lib/* com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-producer.sh”向输入Topic中写入消息：

查看更多 →

文件被进程httpd锁定，而httpd进程还一直向这个文件写入日志数据，最后一列的“deleted”状态说明这个日志文件已经被删除，但是由于进程还在一直向此文件写入数据，因此空间并未释放。 可以选择关闭或者重启httpd进程，或重启操作系统。推荐在线清空access_log。 执行以下命令清空access_log。

查看更多 →

用“kafka-console-producer.sh”向输入Topic中写入消息： cd /opt/client source bigdata_env kafka-console-producer.sh --broker-list Broker实例IP地址:Kafka连接端口 --topic

查看更多 →

在YARN-Client模式下，Driver部署在Client端，在Client端启动。YARN-Client模式下，不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceManager发送Spark应用提交请求，Client端将启动ApplicationMaster

查看更多 →

写入操作配置 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table

查看更多 →

number)和大小。一个请求行不能超过一个缓冲区的大小，否则会向客户端返回414（Request-URI Too Large）错误。请求头字段也不能超过一个缓冲区的大小，否则返回400（Bad Request）错误给客户端。缓冲区仅按需分配。如果在请求处理结束后连接转换为保持活动状态，则释放这些缓冲区。

查看更多 →

使用FTP上传文件时写入失败，文件传输失败怎么办？ 问题描述 使用FTP上传文件时，写入失败，文件传输失败。 约束与限制 该文档适用于Windows系统上的FTP服务。 可能原因 FTP服务端在NAT环境下，客户端需使用被动模式连接服务端。在这种情况下，服务端的IP地址无法从路由

查看更多 →

填写Topic的描述信息。 步骤二：向Topic收发消息 在本地PC上使用Kafka命令行工具，通过命令行方式向Topic收发消息。 根据ROMA Connect实例是否开启SASL_SSL，向Topic收发消息的操作有所差异。若开启SASL_SSL访问，则客户端向Topic发送和接收的消息会加密传输，安全性更高。

查看更多 →

.appName("AvroSourceExample")\ .getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.datasources

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败，客户端提示数据块没有足够副本数。 客户端日志： 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW

查看更多 →

将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Java或Scala样例代码

查看更多 →

.appName("AvroSourceExample")\ .getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.datasources

查看更多 →

用“kafka-console-producer.sh”向输入Topic中写入消息： cd /opt/client source bigdata_env kinit 组件操作用户（例如developuser） kafka-console-producer.sh --broker-list

查看更多 →

Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

用“kafka-console-producer.sh”向输入Topic中写入消息： cd /opt/client source bigdata_env kafka-console-producer.sh --broker-list Broker实例IP地址:Kafka连接端口 --topic

查看更多 →

用“kafka-console-producer.sh”向输入Topic中写入消息： cd /opt/client source bigdata_env kinit 组件操作用户（例如developuser） kafka-console-producer.sh --broker-list

查看更多 →

{Topic} 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$

查看更多 →