HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

业务开发，并方便地将业务提交到Storm平台开启实时数据的接收、处理及结果输出；并可以在合适的时候中止业务。 高可用性 Nimbus HA机制，避免了开源Storm集群中Nimbus出现单点故障而导致集群无法提供Topology的新增及管理操作的问题，增强了集群可用性。 父主题：

查看更多 →

基础设施底座设计原则 工业互联网 公共技术服务平台基础设施云平台采用华为混合云解决方案，以一体化全栈方式交付完整的云服务平台，由华为云统一规划，满足工业互联网平台业务资源要求。基础设施底座总体建设方案如下： 基础设施层主要提供整个云平台的基础设施，包括 服务器 ，交换机，路由器，防火墙，安全设备。

查看更多 →

工业互联网公共技术服务平台基础设施云平台采用华为混合云解决方案，以一体化全栈方式交付完整的云服务平台，与华为云统一架构，统一服务，统一API；云平台部署在客户机房，就近提供云服务，可减少服务时延；数据本地保存，由华为云统一规划、运维，是用户业务迁移上云的优选途径。 华为混合云解决方案具体具有以下优势特点：

查看更多 →

DC双链路负载混合云组网构建流程 本章节介绍通过企业路由器构建DC双链路负载混合云组网总体流程，流程说明如表1所示。 表1 构建DC双链路负载混合云组网流程说明 步骤 说明 步骤一：创建云服务资源 创建1个企业路由器，构建一个同区域组网只需要1个企业路由器。 创建业务VPC和子网，本示例中创建1个VPC和子网。

查看更多 →

大规模混合云组网。 通过企业路由器，可以实现专线的动态选路和切换，多个专线链路之间形成负载均衡，有效扩展网络带宽，增加吞吐量，提升网络性能的同时保证高可靠性。 接下来，将主要为您介绍如何通过企业路由器和全球接入网关，构建DC双链路负载混合云组网。 方案架构 为了提升混合云组网的网

查看更多 →

DC双链路负载混合云组网构建流程 本章节介绍通过企业路由器构建DC双链路负载混合云组网总体流程，流程说明如表1所示。 表1 构建DC双链路负载混合云组网流程说明(全球接入网关DGW） 步骤 说明 步骤一：创建云服务资源 创建1个企业路由器，构建一个同区域组网只需要1个企业路由器。

查看更多 →

大规模混合云组网。 通过企业路由器，可以实现专线的动态选路和切换，多个专线链路之间形成负载均衡，有效扩展网络带宽，增加吞吐量，提升网络性能的同时保证高可靠性。 接下来，将主要为您介绍如何通过企业路由器和全球接入网关，构建DC双链路负载混合云组网。 方案架构 为了提升混合云组网的网

查看更多 →

不支持跨环境挂载ELB的自管理SLB切换成平台托管模式。 平台托管SLB不支持与前端资源、微服务等合设，需要拆分才能将自管理SLB切换为平台托管SLB。 平台托管SLB不支持下发非中心管理的自定义配置，暂不支持将自管理SLB切换为平台托管SLB。 平台托管SLB必须挂载在ELB上

查看更多 →

不支持跨环境挂载ELB的自管理SLB切换成平台托管模式。 平台托管SLB不支持与前端资源、微服务等合设，需要拆分才能将自管理SLB切换为平台托管SLB。 平台托管SLB不支持下发非中心管理的自定义配置，暂不支持将自管理SLB切换为平台托管SLB。 平台托管SLB必须挂载在ELB上

查看更多 →

DC双链路主备混合云组网构建流程 本章节介绍通过企业路由器构建DC双链路主备混合云组网总体流程，流程说明如表1所示。 表1 构建DC双链路主备混合云组网流程说明(全球接入网关DGW） 步骤 说明 步骤一：创建云服务资源 创建1个企业路由器，构建一个同区域组网只需要1个企业路由器。

查看更多 →

路主备混合云组网。 方案架构 为了提升混合云组网的网络可靠性，并且控制成本费用，XX企业同时部署了两条DC链路，均可以连通云上VPC和线下IDC的网络。两条DC链路形成主备，当主链路故障后，可自动切换至备链路，降低了单链路故障导致的业务中断风险。 图1 DC双链路主备混合云组网(全球接入网关DGW）

查看更多 →

路主备混合云组网。 方案架构 为了提升混合云组网的网络可靠性，并且控制成本费用，XX企业同时部署了两条DC链路，均可以连通云上VPC和线下IDC的网络。两条DC链路形成主备，当主链路故障后，可自动切换至备链路，降低了单链路故障导致的业务中断风险。 图1 DC双链路主备混合云组网(全球接入网关DGW）

查看更多 →

在“组件配置”页面上方的下拉框中选择需要操作的组件。 图1 选择组件 单击“伸缩策略”模块中的“编辑”。 单击选择“混合策略”，参考表1配置混合弹性伸缩策略。 表1 配置混合伸缩策略 参数 参数说明 最大实例数 扩容时允许达到的最大实例数。 取值范围[1，99]。 说明： 最大实例数必须大于最小实例数。

查看更多 →

Files按钮，打开文件上传窗口，选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面 输入有效的GitHub开源仓库地址后会展示该仓库下的文件及文件夹，说明用户输入了有效的仓库地址，同时给出该仓库下所有的分支供选择，选择完成后单击“克隆”开始Clone仓库。

查看更多 →

Spark开源命令支持说明 本章节介绍了目前 DLI 对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的

查看更多 →

如图1所示，用户的业务一部分部署在云上区域A的VPC-A内，一部分部署在云下IDC中，通过VPN基于公网的加密通道，可以快速连通云上和云下的网络通信。相比云专线，使用VPN，配置更简单且成本较低。 图1 通过VPN连通VPC和云下IDC 基于物理专线，通过云专线可以连通VPC和云下数据中心网络。

查看更多 →

eck_post.sh ./ bash step4_check_post.sh 登录北鲲云控制台 图1 登录北鲲云控制台 登录北鲲云管理后台 图2 登录北鲲云管理后台 父主题： 搭建北鲲云平台运行环境

查看更多 →