中软国际数据治理专业服务解决方案实践

基于key-partOid哈希表实现 分区路由的主要处理逻辑根据导入数据元组的分区键计算其所在分区的过程，相比非分区表这部分为额外增加的开销，这部分开销在最终数据导入上的具体性能损失和 服务器 CPU处理能力、表宽度、磁盘/内存的实际容量相关，通常可以粗略认为： x86服务器场景下分区表相比普通表的导入性能会略低10%以内。

查看更多 →

哈希+哈希 分区路由的主要处理逻辑根据导入数据元组的分区键计算其所在分区的过程，相比非分区表这部分为额外增加的开销，这部分开销在最终数据导入上的具体性能损失和服务器CPU处理能力、表宽度、磁盘/内存的实际容量相关，通常可以粗略认为： x86服务器场景下一级分区表相比普通表的导入性能会略低

查看更多 →

使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身

查看更多 →

如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控？ 回答 当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常

查看更多 →

如何避免对历史数据进行minor compaction？ 问题 如何避免对历史数据进行minor compaction？ 回答 如果要先加载历史数据，后加载增量数据，则以下步骤可避免对历史数据进行minor compaction： 加载所有历史数据。 将major compact

查看更多 →

对所有账号授予指定目录的读权限 场景介绍 当一个文件夹下的对象都需要授权所有账号访问权限时，可以通过桶策略配置授予所有账号访问文件夹内对象的权限。 配置须知 本案例预置的“目录只读”模板允许所有账号（所有互联网用户）对指定目录执行以下权限： GetObject：获取对象内容、获取对象元数据

查看更多 →

多对一的场景约束及操作建议 因业务需要，不同实例、不同表的数据需要进行合并时，数据复制服务提供的数据迁移和实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现；库表级多对一仅实时同步支持，通过实时同步的对象名映射功能，实现库级或者表级数据多对一同步。

查看更多 →

数据备份时是否对网络带宽有要求？ 云上备份等操作不依赖用户自身网络条件，对带宽没有要求，只依赖华为云管理面的防火墙和带宽限制。 若操作存在延迟，可能与备份时间段有关。备份的业务高峰期在22点到早上8点，建议客户评估业务类型，分散时间备份，如果在业务高峰时段备份，可能会有一定的延迟。

查看更多 →

如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控？ 回答 当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常

查看更多 →

左上角的云资产授权后的“修改”，完成云资产委托授权，如图2所示打开数据库委托授权开关。 同意授权后，DSC将根据您的选择，设置委托权限以此来访问您的云上资产，详细的委托授权策略请参见云资产委托授权/停止授权。 停止授权，需要您的资产没有绑定任务。停止授权后，DSC会删除您的委托和

查看更多 →

如何对DSC的操作记录进行审计？ DSC的所有操作都会通过API形式记录在 云审计 服务（Cloud Trace Service， CTS ）中。 开通云审计服务后，您可以在云审计服务中查看有关DSC的所有操作记录，供安全审查使用。关于如何查看审计日志，请参见查看DSC的云审计日志。 父主题：

查看更多 →

哈希+哈希 分区路由的主要处理逻辑根据导入数据元组的分区键计算其所在分区的过程，相比非分区表这部分为额外增加的开销，这部分开销在最终数据导入上的具体性能损失和服务器CPU处理能力、表宽度、磁盘/内存的实际容量相关，通常可以粗略认为： x86服务器场景下一级分区表相比普通表的导入性能会略低

查看更多 →

对其他账号授予指定对象的读权限 场景介绍 本案例介绍如何为其他账号授予OBS桶中某个对象或某类对象的读权限。这里的账号指华为云账号本身，不包含账号下的IAM用户，如果要为IAM用户授权，请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权，推荐使用桶策略。

查看更多 →

”持续交付也好，DevOps也罢，最终目标是快速的交付价值。 如果说管理实践的目的是为了鉴别什么是正确的事情，以及正确的做事情。那么工程实践的目的，是除了正确的做事情以外，还能高效的做事。 工程实践就像人体的肌肉，是强调执行力的，是大脑想到然后肌肉能够做到并且快速的做到。每一丝的赘肉都会影响身体执行的速度，所以需要

查看更多 →

我对存储在OBS上的数据加密时，可支持哪些加密技术？ 您在将数据上传到OBS中前，可以事先对数据进行加密，以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方

查看更多 →

对部署资源的配置漂移进行修复 部署服务通过IaC代码将资源部署到服务器后，服务器上资源的配置文件被人为修改，导致服务器上的资源配置与部署服务中的资源配置出现不一致，则认为发生了配置漂移。可以在“环境详情”页面查看资源是否存在配置漂移，如图1所示。 图1 配置漂移 用户对环境进行一

查看更多 →

数据复制服务对源数据库有什么要求 不同链路，数据库和权限的要求也不同，可参考以下链接，选择对应链路查看使用须知： 支持的数据库版本 实时迁移方案概览 备份迁移方案概览 实时同步方案概览 数据订阅使用须知 实时灾备方案概览 父主题： 产品咨询

查看更多 →

数据复制服务对目标数据库有什么要求 在创建任务时，用户填写的连接目标数据库的用户，需具备一定的权限。不同链路的具体权限可参考使用须知中权限要求。 实时迁移请参考实时迁移方案概览 备份迁移请参考备份迁移方案概览 实时同步请参考实时同步方案概览 数据订阅强参考数据订阅使用须知 实时灾备请参考实时灾备方案概览

查看更多 →

并致力于提高能源利用效率，减少对化石燃料的依赖，以减少对环境的不良影响。 国际合作推动实现可持续的废物管理和资源循环利用， 包括减少废物产生、促进废物分类与回收利用，以及采用环境友好的废物处理技术。 国际环境保护强调加强环境教育，提高公众对环境问题的认识与意识，激发公众参与环境保护的热情， 并通过

查看更多 →

MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例，不同规格对数据库的连接数存在差异，仅供参考。 DRS对源数据库的压力及影响 全量（初始化）阶段，DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句，对源库影响

查看更多 →

我创建的微调数据集会被其他用户调用去训练他们的大模型吗？ 用户个人创建的数据集是属于个人账号下的专属数据，未经本人许可不会被其他人员查看到，且不会被其他用户在大模型训练时调用。 父主题： AI原生应用引擎

查看更多 →