中软国际数据治理专业服务解决方案实践

、不可靠的缺点。而采用云数据内存加速的“全自动主动缓存方案”，支持界面可视化配置，配置完成后即可实现数据自动同步。同时还支持数据过滤及过期等功能，极大提高了开发效率及数据的可靠性。 图1 原理图 父主题： 通过GeminiDB Redis实现MySQL内存加速

查看更多 →

执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark;

查看更多 →

基于NCAD几何处理引擎处理几何数据应用 方案概述 资源和成本规划 实施步骤 附录 文档修订历史

查看更多 →

通过内存备份机制定位问题，参见内存备份机制。

查看更多 →

t”参数的值。 建议您的实例预留内存值至少配置为30%，2021年之后创建的实例预留内存默认值已经修改为30%。 预留内存百分比是以实例规格的最大可用内存为基数，而不是以内存规格为基数的，最大可用内存可参考实例规格中实例产品规格表中“实例可使用内存”列的值。 父主题： Redis使用

查看更多 →

memset和memcpy操作动态内存，发生越界踩内存问题。对于memset和memcpy操作，当入参为动态内存节点时，增加对内存节点实际大小与入参指定大小的检查，若指定大小大于节点实际大小时，输出error信息，并且取消该次memset或memcpy操作，所以能够防止操作越界。动态内存越界场景下，可开启该功能定位问题。错误码定义见错误码

查看更多 →

内存优化型 概述 内存优化型类别的专属主机适合处理内存中的大型数据集，搭载Intel Xeon SkyLake全新一代CPU，同时搭载全新网络加速引擎，以及DPDK（Data Plane Development Kit）快速报文处理机制，提供更高的网络性能，提供最大512GB基于

查看更多 →

的请求时，会导致所有请求排队等待，在请求处理完成前，Redis不能响应其他请求，因此容易引发性能问题。而Redis删除大的集合键时，就属于一种比较耗时的请求。 原理 Redis 4.0提供的一种惰性删除或者说延迟释放机制，主要用于解决删除大key对Redis进程的阻塞，从而避免带来性能与可用性问题。

查看更多 →

数据备份与恢复 备份桌面数据 恢复桌面数据

查看更多 →

迁移故障处理 本章节介绍了在迁移过程中不同迁移故障的处理建议。 重新启动数据同步失败 重新启动数据同步失败的处理建议： 分析源Redis是否存在大Key，如果源Redis存在大key，建议将大key打散成多个小key后再迁移。 检查目标Redis的规格是否小于迁移数据大小、是否有其他任务在执行。

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据库结果处理函数 PQgetvalue PQnfields PQntuples PQfname PQresultStatus PQGetBatchErrorCount PQGetBatchErrorOffset PQGetBatchErrorCode PQGetBatchErrorMessage

查看更多 →

来负面影响，开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种： 数据校验：通常数据采集后需要进行校验，保证数据合法。 数据校验是指对数据可用性的基本判断和验证的过程。通常，用户采集的数据或多或少都会有很多格式问题，无法被进一步处理。以图像识别为例，用户经常会从网上找一

查看更多 →

object 数据来源，与inputs二选一。 description 否 String 数据处理任务描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 inputs 否 Array of ProcessorDataSource objects 数据来源列表，与data_source二选一。

查看更多 →

数据开发与治理 数据源管理与数据标准管理 数据建模 数据开发 数据血缘、资源管理、函数管理和变量管理 数据发布CI/CD、任务运维 数据质量管理 元数据管理 数据资源管理 数据服务管理 数据安全 父主题： 产品操作

查看更多 →

数据识别与准备 在迁移开始前，华为云 OMS 服务会先对源端存储系统中的数据进行识别，包括对象大小、最后修改时间以及位置等关键信息。基于这些信息，服务会为用户生成一个对应的迁移任务配置，确保迁移过程的高效性和准确性。 父主题： 迁移工作原理

查看更多 →

个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

查看更多 →

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。

查看更多 →

数据库结果处理函数 PQgetvalue PQfname PQnfields PQntuples PQresultStatus 父主题： libpq接口参考

查看更多 →

节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创

查看更多 →

数据采集与分析 前提条件 已配置邮箱 服务器 ，具体操作请参见调测邮箱通知功能。 操作步骤 选择“运维管理 > 数据采集与分析 > 数据采集与分析”。 根据需要选择相应的功能使用，详情请参见表1。 表1 任务管理 任务 说明 操作方法 采集设备日志 采集和统计设备故障日志，以了解设备的状态以及运行情况。

查看更多 →