SP2操作系统，请在公共镜像中选择该镜像。 登录 弹性云服务器 ，创建应用目录并进入目录，本实践以目录mall为例。 搭建MySQL数据库并记录搭建地址、端口和连接数据库的用户名和密码。demo已经可以自行创建对应库，无需手动创建。 执行如下命令将应用下载至创建的mall目录并安装。 curl -l http://demos

查看更多 →

HTTP函数 该特性仅FunctionGraph v2版本支持。 概述 FunctionGraph支持两种函数类型，事件函数和HTTP函数。HTTP函数专注于优化 Web 服务场景，用户可以直接发送 HTTP 请求到 URL 触发函数执行，从而使用自己的Web服务。HTTP函数只

查看更多 →

区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到 DLI 队列中。Kafka Broker节点的hostname和IP请联系Kaf

查看更多 →

DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接

查看更多 →

微服务引擎开启了安全认证之后，所有调用的API都需要先获取token才能调用，认证流程请参考服务中心RBAC说明。 使用安全认证首先需要从微服务引擎获取用户名和密码，然后在配置文件中增加如下配置。和配置AK/SK一样，password默认明文存储，开发者可以自定义password的加密存储算法。 明文方法 spring:

查看更多 →

入口必须在bootstrap文件中设置，用户直接写启动命令，端口统一开放成8000，绑定IP为127.0.0.1。 bootstrap文件是HTTP函数的启动文件，HTTP函数仅支持读取bootstrap 作为启动文件名称，其它名称将无法正常启动服务，bootstrap启动文件请参见bootstrap文件示例。

查看更多 →

指本地文件系统中文件路径，每个节点都需要放一份/opt/log1.txt和/opt/log2.txt。可以默认，也可以设置。 <windowTime> 指窗口时间大小，以分钟为单位。可以默认，也可以设置。 运行向Kafka生产并消费数据样例程序（Scala和Java语言）。 生产数据的执行命令启动程序。 bin/flink

查看更多 →

Manager，选择“集群 > 服务 > ZooKeeper”，在“配置”页签查看“clientPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到“/srv/B

查看更多 →

Manager，选择“集群 > 服务 > ZooKeeper”，在“配置”页签查看“clientPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到"/srv/B

查看更多 →

区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kaf

查看更多 →

内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 MRS 基于Apache Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka

查看更多 →

rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。

查看更多 →

rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。

查看更多 →

--topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties

查看更多 →

Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。 代码样例 Token认证机制支持API，用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下： public static Properties initProperties()

查看更多 →

(args.length < 3) { System.err.println("Usage: KafkaWordCount <bootstrap-servers> " + "<subscribe-type> <topics>") System.exit(1)

查看更多 →

broker-0的CPU使用率（客户端 服务器 和实例在相同的AZ中） CPU消耗=58.10% 图8 broker-0的CPU使用率（客户端服务器和实例在不同的AZ中） CPU消耗=17.20% 图9 broker-1的CPU使用率（客户端服务器和实例在相同的AZ中） CPU消耗=56.70%

查看更多 →

本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。 前提条件 集群中已安装HDFS、Yarn、Kafka和Flink服务。 包含Kafka服务的客户端已安装，例如安装路径为：/opt/client

查看更多 →

sasl.mechanism=PLAIN 参数说明如下：username和password为首次开启密文接入时填入的用户名和密码，或者创建用户时设置的用户名和密码。 SASL_SSL：如果已经设置了用户名和密码，以及SSL证书配置，请跳过此步骤。否则在Kafka客户端的“/con

查看更多 →

Connection refused, retrying”。 原因分析 NCCL是一个提供GPU间通信原语的库，实现集合通信和点对点发送/接收原语。当训练作业出现NCCL的报错时，可以通过调整NCCL的环境变量尝试解决问题。 处理步骤 进入状态“运行失败”的训练作业详情页，单击“日志”页签，查看NCCL报错。

查看更多 →

client目录下获取。 代码样例 下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink

查看更多 →