小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

适用于有加速需求的网站，对网站中图片、小文件等静态资源提供加速服务，包括门户网站、电商平台、资讯APP、UGC应用（User Generated Content，用户原创内容）等。CDN网络能够对加速 域名 下的静态资源提供良好的加速服务，支持通过自定义缓存规则控制文件在CDN节点的缓存过期时间，缓

查看更多 →

条数据进行融合。 图1 知识融合示例 配置知识融合后， 知识图谱服务 会对数据按配置规则进行知识融合。但是融合结果不一定完全正确，需要经过融合验证，判断融合的数据是否描述的是同一个实体或概念。 前提条件 已创建完 知识图谱 ，即完成图谱创建，并在配置知识融合步骤2打开知识融合开关配置知识融合的信息。

查看更多 →

GET /v1.0/cdn/domains cdn:configuration:queryDomainList - POST /v1.0/cdn/domains cdn:configuration:createDomains - DELETE /v1.0/cdn/domains/{domain_id}

查看更多 →

如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

图1 建模方式融合1 图2 建模方式融合2 图3 建模方式融合3 自定义 sql 融合 选择来源表和目标表，目标表是基础层的表，要确保来源表的表结构表名称和目标表一一对应，填写融合的 sql 语句，保存完之后在列表页启动作业。 交换任务成功运行后，系统将根据融合配置将于数仓基础层用张业务表合并为一张宽表。

查看更多 →

技术原理 应用安全的原理如图1所示。 图1 应用安全原理图 父主题： 应用安全介绍

查看更多 →

.example.com.c.cdnhwc1.com。 请求被指向CDN服务。 CDN对域名进行智能解析，将响应速度最快的CDN节点IP地址返回给本地DNS。 用户获取响应速度最快的CDN节点IP地址。 浏览器在得到最佳节点的IP地址以后，向CDN节点发出访问请求。 如果该IP地

查看更多 →

集成原理 如果您期望了解我们的集成原理，请参见图1。 图1 Web聊天控件token认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Token认证方式）

查看更多 →

集成原理 如果您期望了解我们的实现原理，请参见图1。 图1 Web聊天控件Authorization认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Authorization认证方式）

查看更多 →

备份原理 DDM实例暂不支持客户手动备份，实例将在每日凌晨2点至3点自动备份，删除逻辑库、逻辑库分片变更后清理数据、删除实例等影响Metadata的重要操作也会触发元数据备份。 备份原理如图1所示。 图1 备份原理 元数据库是用来存放DDM实例信息以及下挂的数据节点信息，各区域的所有DDM实例共用一个元数据库。

查看更多 →

如已配置OBS服务， 云审计 服务将事件转存至OBS桶中。用户也可以通过云审计服务的事件列表查看事件文件。云审计服务工作原理示意如图1所示。 图1 云审计服务工作原理示意图

查看更多 →

使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因

查看更多 →

技术原理 父主题： CA代理服务介绍

查看更多 →

技术原理 CA服务技术原理图请参见图1。 图1 CA服务的技术原理 用户在通过CA服务申请证书时，需要根据实际需求来配置CA信息、证书模板、白名单和CRL等信息。 申请证书方式： 手动申请：分为通过基本信息申请证书、通过上传 CS R文件申请证书两种方式。 自动申请：通过配置CMP协

查看更多 →

方案原理 本章节分别通过生产站点正常工作、生产站点故障以及生产站点和跨可用区容灾站点同时故障三个场景，介绍在不同的故障情况下，本方案如何接管用户的业务。 生产站点正常工作 当生产站点正常工作时，状态如图1所示。 通过SDRS，在区域A内将可用区1的生产站点 服务器 的数据、配置信息同

查看更多 →

原理介绍 作业流（Workflow）是对作业流程及其各操作步骤之间业务规则的抽象、概括描述。作业流提供了一种很好的工程化的方式来解决业务问题，使得业务抽象、流程格式化、易维护和易拓展，实现一定程度的业务可视化。 下面将介绍两种开发模式的作业流。 分支开发模式：是采用直接 clone

查看更多 →

迁移原理 CDM 迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输

查看更多 →

原理介绍 工业数字模型驱动引擎（Industrial Digital Model Engine，简称iDME）基于数据模型驱动，以正向设计即开发的模式构建云化SaaS多租的业务应用，基于全领域数据模型和数字化模型，构建企业级数字化与智能化数据应用。 图1 iDME工作原理 数据建模引擎是怎样工作的？

查看更多 →

技术原理 下图展示在 app 中集成视频通话的基本工作流程： 图2-1技术原理

查看更多 →