HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

据不会replicate到备集群。通过将BulkLoad操作记录在WAL上，同步至备集群，备集群通过WAL读取BulkLoad操作记录，将对应的主集群的HFile加载到备集群，完成数据的备份。 开源版本中HBase对于系统表ACL做了过滤，ACL信息不会同步至备集群，通过新加一个过滤器org

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。 Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior

查看更多 →

在 服务器 中存放了文件并进行了备份，新增或删除文件后进行再次进行备份，前后备份的大小并没有变化。E CS 创建的备份比文件系统查询到的磁盘占用空间大。以下原因可能造成文件系统与备份大小不一致：文件系统的元数据会占用磁盘空间。磁盘进行了格式化操作，例如Windows系统正常格式化操作后，全盘数据有写入操作，备份软件需要备份全盘的数据，备份软件会对

查看更多 →

为什么备份中文件系统容量和备份大小不一致？ 常见现象 在服务器中存放了文件并进行了备份，新增或删除文件后进行再次进行备份，前后备份的大小并没有变化。 ECS创建的备份比文件系统查询到的磁盘占用空间大。 原因分析 以下原因可能造成文件系统与备份大小不一致： 文件系统的元数据会占用磁盘空间。

查看更多 →

企业ERP->OA->SparkPack 企业ERP 业务报价 用户在OA系统新建业务报价单。 批准者在OA系统对业务报价单进行审批。 流程审批结束后业务报价中的物料代码、业务伙伴代码、价格、币种、可用起始日期、可用结束日期、价格清单编号，同步给SAP的特殊价格中。 业务报价 OA->SparkPack

查看更多 →

创建泛微OA连接器 新建函数getEcoOAToken，函数配置如下： 函数代码如下： /** * common是平台提供的公共函数，包括方法有post和get请求 * * const common = require("./common.js"); * const headers

查看更多 →

数据； 遍历查询出的所有未同步数据，对每条数据单独处理； 按照OA创建数据接口要求，将B1查询出的数据构造成OA接口的请求格式； 使用OA连接器中创建数据的执行动作，调用OA创建数据接口，在OA中创建数据； 如果在OA中创建数据成功，使用servicelayer连接器中更新数据的

查看更多 →

数据从OA同步到ERP 整体设计流程： 详细设计图： 图1 如上图，数据从OA同步到ERP具体方案如下： 使用之前已经建好的B1(servicelayer)连接器，在连接器中创建一个执行动作，封装创建单据的统一接口； 创建一条api流，用于接受OA审批完成后外发的数据； 将OA外发

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的操作都要在审计日志中添加Username。

查看更多 →

HiLens Kit不能显示中文怎么办？ 问题描述 技能上所标注的标签是中文，安装技能至HiLens Kit上，运行技能时无法显示中文标签。 解决方法 显示中文需要安装pillow包，安装pillow包需要源码编译。 进入论坛参与讨论，下载已编译好的zip包安装pillow包。 父主题：

查看更多 →

若调用SDK接口时涉及到部分字段包含中文后报错的问题，如description字段，请在python文件头部添加“# -*- coding: utf-8 -*- ”，具体做法请参考Python使用UTF-8编码。

查看更多 →

为何上报中文数据，平台会乱码呈现？ 问题描述 使用MQTT.fx设备模拟器进行数据上报时，在json字符串中携带中文字符，如下图： 上报至IoTDA平台后，会出现乱码情况，如下图： 解决办法： 与平台交互时，不使用中文字符； 请将上报数据中的中文字符进行Unicode编码处理；

查看更多 →

v/auth/applytoken systemid: OA系统标识 password: OA系统密码 operator：OA操作人 建立连接器连接、认证鉴权 项目Service Layer云服务地址 客户 https://api-service.sperp.myhuaweicloud

查看更多 →