中软国际数据治理专业服务解决方案实践

1.3 修复问题列表： MRS Manager 优化扩缩容逻辑，解决V1作业管理接口tcp连接残留问题 MRS大数据组件 MRS Hive 解决hiveserver内存溢出问题、存在大量小文件的情况下，MergeFile阶段非常慢问题、insert overwrite的load p

查看更多 →

加速，更高效传输数据。 表2 资源类型 资源类型 说明 静态资源 每次访问得到的都是相同的文件。 例如：图片、视频、网站中的文件（html、css、js）、软件安装包、apk文件、压缩包文件等。 动态资源 每次访问得到的都是不同的文件。 例如：网站中的文件（asp、jsp、php

查看更多 →

什么是华为云WSA 全站加速（Whole Site Acceleration）适用于各行业动静态内容混合、含较多动态资源请求（如asp、jsp、php等格式的文件）的源站应用服务。通过智能网络加速技术及优质的全线路、跨区域覆盖网络，优化客户在动静态混合、纯动态站点/APP、内容上

查看更多 →

8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium

查看更多 →

外部排序功能，当执行排序时如果内存不足会将一部分数据溢出到磁盘中。 TungstenAggregate 新Hash聚合功能，默认对数据调用外部排序进行排序，然后再进行聚合，因此内存不足时在排序阶段会将数据溢出到磁盘，在聚合阶段因数据有序，在内存中只保留当前key的聚合结果，使用的内存较小。

查看更多 →

外部排序功能，当执行排序时如果内存不足会将一部分数据溢出到磁盘中。 TungstenAggregate 新Hash聚合功能，默认对数据调用外部排序进行排序，然后再进行聚合，因此内存不足时在排序阶段会将数据溢出到磁盘，在聚合阶段因数据有序，在内存中只保留当前key的聚合结果，使用的内存较小。

查看更多 →

需避免大量递归调用，否则容易造成栈溢出或oom。 需避免不断创建对象或数组，否则容易造成内存耗尽。 Java UDF应该捕获和处理可能发生的异常，不能将异常给服务处理，以避免程序出现未知异常。可以使用try-catch块来处理异常，并在必要时记录异常信息。 UDF中应避免定义静态集合类用于临时数据的存储，

查看更多 →

的UI数据个数为1000个。 当前大集群优化已增加将UI数据溢出到磁盘的优化，其溢出条件是每个Stage中的UI数据大小达到最小阈值5MB。如果每个Stage的task数较小，那么其UI数据大小可能达不到该阈值，从而导致该Stage的UI数据一直缓存在内存中，直到UI数据个数到达

查看更多 →

将一个numeric类型的变量转换成双精度类型。 该函数将nv指向的变量中的numeric值转换成dp指向的双精度变量。成功时该函数返回0，出错时返回-1（包括溢出）。溢出时，全局变量errno将被额外地设置成PGTYPES_NUM_OVERFLOW。 int PGTYPESnumeric_to_int(numeric*

查看更多 →

将一个numeric类型的变量转换成双精度类型。 该函数将nv指向的变量中的numeric值转换成dp指向的双精度变量。成功时该函数返回0，出错时返回-1（包括溢出）。溢出时，全局变量errno将被额外地设置成PGTYPES_NUM_OVERFLOW。 int PGTYPESnumeric_to_int(numeric*

查看更多 →

间，会导致无法生成wdr报告。 asp_log_directory 参数说明：asp_flush_mode设置为all或者file时，asp_log_directory决定存放 服务器 asp日志文件的目录。它可以是绝对路径，或者是相对路径（相对于数据目录的路径），仅sysadmin用户可以访问。

查看更多 →

动核销历史账单？ 当月退款、调账的负向信用额度金额出账时优先抵扣当月的正向信用额度消费， 当月信用额度支付总金额为负数时表示本期存在溢出金额，溢出金额会用于偿还账号下历史未结清的账单及本期以后账单，比如202101月消费信用额度支付金额为50.00元，退款信用额度支付金额为-40

查看更多 →

内存使用率高问题排查 使用文档数据库时，当实例的内存使用率达到90%，SWAP利用率超过5%时，此时认为实例的内存已达瓶颈，会导致系统响应慢，甚至出现内存溢出（OOM）的隐患。 本章节主要介绍排查解决实例内存使用率高的问题。 查看内存使用情况 您可以通过查看监控指标（内存使用率和

查看更多 →

Impala的元数据存放在内存中，Impalad需要从Catalog同步全量元数据，要保证Impala的jvm内存大于Catalog的jvm内存，才可以容纳下这些元数据。 建表时分区不要超过10万个，分区太多会影响元数据加载速度，阻塞查询 Impala元数据和分区、文件数量正相

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge

查看更多 →

JDBC）通过Loadbalance方式连接DDM，在某些场景下连接切换时会陷入死循环，最终导致栈溢出。 问题定位 查看APP日志，定位异常原因。 例如，从以下日志中分析出异常最终原因为栈溢出。 Caused by: java.lang.StackOverflowError at

查看更多 →

什么是全站加速（WSA）？ 全站加速适用于各行业动静态内容混合，含较多动态资源请求（如asp、jsp、php等格式的文件）的网站。 全站加速融合了动态和静态加速，用户请求资源时，静态内容从边缘节点就近获取，动态内容通过动态加速技术智能选择最佳路由回源获取。 CDN全站加速有效提升

查看更多 →

为了减轻服务器的负担，建议注意以下几点： 仅为需要加密的页面使用SSL，如“https://www.domain.com/login.asp”，不要把所有页面都使用“https://”，特别是访问量大的首页。 尽量不要在使用了SSL的页面上设计大块的图片文件或者其他大文件，尽量使用简洁的文字页面。

查看更多 →

mysql协议访问数据库，执行备份数据库表提示1251-lost connection to mysql server during query 问题现象 mysql协议访问数据库，执行备份数据库表提示lost connection to mysql server during query

查看更多 →

p、精度比对，进而定位训练场景下的精度问题 支持溢出检测功能，判断是否存在输入正常但输出存在溢出的API，从而判断是否为正常溢出。 梯度状态监控，用于采集梯度数据并进行梯度相似度比对，可以精准定位出现问题的step。 执行pip install mindstudio-probe msprobe使用手册

查看更多 →

业务类型选择的是网站加速、文件下载加速或点播加速，且源站类型为源站IP或源站 域名 的加速域名，会有两条默认缓存规则。 常规动态文件（如： .php .jsp .asp .aspx）默认缓存过期时间为0，对此类动态文件请求会直接回源，此默认规则允许修改和删除。 所有文件默认30天缓存过期时间，此默认规则允许修改，不允许删除。

查看更多 →