中软国际数据治理专业服务解决方案实践

迁移故障处理 本章节介绍了在迁移过程中不同迁移故障的处理建议。 重新启动数据同步失败 重新启动数据同步失败的处理建议： 分析源Redis是否存在大Key，如果源Redis存在大key，建议将大key打散成多个小key后再迁移。 检查目标Redis的规格是否小于迁移数据大小、是否有其他任务在执行。

查看更多 →

JVM监控界面内存监控中，为何最大内存比分配内存小？ 通过-Xmx设置了堆内存的最大值，堆内存的分配值也不一定比设定的堆内存的最大值小，JVM是动态申请堆内存的，即使配置了-Xms最小值，也不是一开始就分配到-Xms值，会根据2的倍数申请，很可能稍微超过-Xmx的限制，可增加-X

查看更多 →

数据备份与恢复 备份桌面数据 恢复桌面数据

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

查看更多 →

数据库结果处理函数 PQgetvalue PQfname PQnfields PQntuples PQresultStatus 父主题： libpq接口参考

查看更多 →

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。

查看更多 →

节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创

查看更多 →

数据采集与分析 前提条件 已配置邮箱 服务器 ，具体操作请参见调测邮箱通知功能。 操作步骤 选择“运维管理 > 数据采集与分析 > 数据采集与分析”。 根据需要选择相应的功能使用，详情请参见表1。 表1 任务管理 任务 说明 操作方法 采集设备日志 采集和统计设备故障日志，以了解设备的状态以及运行情况。

查看更多 →

数据采集与分析 数据采集与分析 父主题： 运维管理

查看更多 →

数据运营与质量 数据运营 展示数据的注册、使用情况；同时将热门物理表、逻辑实体和热搜词汇直观展示给用户，以供参考决策。 图1 数据运营 总物理资产数量：系统中已存在的总的物理表数量 注册资产总量：系统中已注册关系的资产数量 访问量：访问系统的用户数量 注册资产：展示近12个月中注册的关系资产的数量分布

查看更多 →

数据备份与恢复 物理机故障时， 弹性云服务器 是否会自动恢复？ 如何备份本地盘数据？

查看更多 →

DRS仅支持从低版本迁移到高版本。 升级时的规格变更过程，会有2次主备切换和2次闪断，规格变更之后请检查DRS任务。 大版本升级后，如果需要保证迁移前后实例的IP地址不变，可以修改高版本的IP地址为原来的连接地址（原实例的IP地址需要先释放出来）。具体操作请参见修改实例内网地址。 父主题： 变更实例

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据库结果处理函数 PQgetvalue PQnfields PQntuples PQfname PQresultStatus PQGetBatchErrorCount PQGetBatchErrorOffset PQGetBatchErrorCode PQGetBatchErrorMessage

查看更多 →

来负面影响，开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种： 数据校验：通常数据采集后需要进行校验，保证数据合法。 数据校验是指对数据可用性的基本判断和验证的过程。通常，用户采集的数据或多或少都会有很多格式问题，无法被进一步处理。以图像识别为例，用户经常会从网上找一

查看更多 →

执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark;

查看更多 →

数据开发与治理 数据源管理与数据标准管理 数据建模 数据开发 数据血缘、资源管理、函数管理和变量管理 数据发布CI/CD、任务运维 数据质量管理 元数据管理 数据资源管理 数据服务管理 数据安全 父主题： 产品操作

查看更多 →

数据识别与准备 在迁移开始前，华为云 OMS 服务会先对源端存储系统中的数据进行识别，包括对象大小、最后修改时间以及位置等关键信息。基于这些信息，服务会为用户生成一个对应的迁移任务配置，确保迁移过程的高效性和准确性。 父主题： 迁移工作原理

查看更多 →

的元数据（高可用场景下存储在ZooKeeper）。因为文件系统的存储空间足够，适合于大状态，长窗口，或大键值状态的有状态处理任务，也适合于高可用方案。 RocksDBStateBackend是内嵌数据库后端，正常情况下state存储在RocksDB数据库中，该数据库数据放在本地磁

查看更多 →

获取大屏指定组件数据 功能介绍 获取大屏指定组件数据。 URI POST /v1/{project_id}/screens/{screen_id}/query-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参考获取项目ID。

查看更多 →