org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

场景说明 场景说明 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有kafka权限用户）。

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM 支持的Hadoop类型连接主要包括以下几类： MRS 集群：MRS HDFS，MRS

查看更多 →

生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。 hadoop-huaweicloud-x

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

使用Kafka客户端创建两个Topic，用于输入Topic和输出Topic。 开发一个Kafka Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 创建MRS集群 购买一个包含有Kafka组件的MRS集群，详情请参见购买自定义集群。

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS

查看更多 →

e”，“orange”，“apple”，随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作，并将实时结果打印输出，如： apple：1 orange：1 apple：2 功能分解 根据上述场景进行功能分解，如表1所示。 表1 在应用中开发的功能 序号 步骤

查看更多 →

场景说明 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing GuoYijun CaiXuyu Liyuan FangBo

查看更多 →

e”，“orange”，“apple”，随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作，并将实时结果打印输出，如： apple：1 orange：1 apple：2 功能分解 根据上述场景进行功能分解，如表1所示： 表1 在应用中开发的功能 序号 步骤

查看更多 →

使用Kafka客户端创建两个Topic，用于输入Topic和输出Topic。 开发一个Kafka Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 方案架构 生产者（Producer）将消息发布到K

查看更多 →

e”，“orange”，“apple”，随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作，并将实时结果打印输出，如： apple：1 orange：1 apple：2 功能分解 根据上述场景进行功能分解，如表1所示： 表1 在应用中开发的功能 序号 步骤

查看更多 →

/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh' 验证安装。 hadoop version

查看更多 →

Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

efault;user.principal=spark/hadoop.COM;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.COM;' spark/hadoop.COM字符串在本集群上使用klist -kt /opt

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data.txt")

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如Da

查看更多 →

，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data.txt")

查看更多 →

数据格式和调用并发数有相应的约束限制，需要您在使用服务前参考约束准备好待审核的数据。 准备数据 配置自定义词库（可选） 自定义白名单词库/自定义黑名单词库 使用 文本内容审核 服务，您可以配置自定义白名单词库或自定义黑名单词库，来帮助您过滤和检测指定文本内容。 配置自定义词库（可选） 调用API或SDK 在线调试 以文本 内容审核 为例，介绍如何使用API

查看更多 →

Streaming样例程序开发思路 场景说明 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。

查看更多 →