华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

小文件合并工具 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

业务需要通过网络对客户端软件进行实时更新，包括APP更新，手游更新等，传统的下载类业务也需要支持更多的文件数量和更大的文件，如果所有的请求都通过源站服务器来处理，服务器和网络会成为很大的瓶颈，导致下载体验变差。使用CDN下载加速可以将下载量大的内容分发到各地的CDN节点，有效减轻

查看更多 →

小文件合并工具 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。

查看更多 →

条数据进行融合。 图1 知识融合示例 配置知识融合后，知识图谱服务会对数据按配置规则进行知识融合。但是融合结果不一定完全正确，需要经过融合验证，判断融合的数据是否描述的是同一个实体或概念。 前提条件 已创建完知识图谱，即完成图谱创建，并在配置知识融合步骤2打开知识融合开关配置知识融合的信息。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

GET /v1.0/cdn/domains cdn:configuration:queryDomainList - POST /v1.0/cdn/domains cdn:configuration:createDomains - DELETE /v1.0/cdn/domains/{domain_id}

查看更多 →

内容分发网络 CDN CDN使用HTTPS证书 CDN回源方式使用HTTPS CDN安全策略检查 CDN使用自有证书 父主题： 系统内置预设策略

查看更多 →

图1 建模方式融合1 图2 建模方式融合2 图3 建模方式融合3 自定义 sql 融合 选择来源表和目标表，目标表是基础层的表，要确保来源表的表结构表名称和目标表一一对应，填写融合的 sql 语句，保存完之后在列表页启动作业。 交换任务成功运行后，系统将根据融合配置将于数仓基础层用张业务表合并为一张宽表。

查看更多 →

技术原理 下图展示在 app 中集成视频通话的基本工作流程： 图2-1技术原理

查看更多 →

方案原理 本章节分别通过生产站点正常工作、生产站点故障以及生产站点和跨可用区容灾站点同时故障三个场景，介绍在不同的故障情况下，本方案如何接管用户的业务。 生产站点正常工作 当生产站点正常工作时，状态如图1所示。 通过SDRS，在区域A内将可用区1的生产站点服务器的数据、配置信息同

查看更多 →

原理介绍 端云协同 独有编码 设备仿真

查看更多 →

集成原理 轻量级接续条可以快速高效的集成到第三方系统，您可以通过图1了解主要集成原理。 图1 轻量级接续条集成原理 OpenEye：云客服的多媒体软终端产品，通过该客户端界面实现呼叫功能。您也可以通过其他可注册到云客服的工具进行呼叫，例如WebRTC、手机APP等。 软电话号码：

查看更多 →

技术原理 父主题： CA代理服务介绍

查看更多 →

方案原理 本章节分别通过生产站点正常工作、生产站点故障以及生产站点和跨可用区容灾站点同时故障三个场景，介绍在不同的故障情况下，本方案如何接管用户的业务。 生产站点正常工作 当生产站点正常工作时，状态如图1所示。 通过SDRS，在区域A内将可用区1的生产站点服务器的数据、配置信息同

查看更多 →

技术原理 CA服务技术原理图请参见图1。 图1 CA服务的技术原理 用户在通过CA服务申请证书时，需要根据实际需求来配置CA信息、证书模板、白名单和CRL等信息。 申请证书方式： 手动申请：分为通过基本信息申请证书、通过上传CSR文件申请证书两种方式。 自动申请：通过配置CMP协

查看更多 →

迁移原理 CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输

查看更多 →

原理介绍 工业数字模型驱动引擎（Industrial Digital Model Engine，简称iDME）基于数据模型驱动，以正向设计即开发的模式构建云化SaaS多租的业务应用，基于全领域数据模型和数字化模型，构建企业级数字化与智能化数据应用。 图1 iDME工作原理 数据建模引擎是怎样工作的？

查看更多 →