中软国际数据治理专业服务解决方案实践

从Visual Studio官网，下载最新版Visual Studio。 下载完毕后，点击exe文件，开始安装。 安装过程中选择“工作负荷 > ASP.NET和Web开发”，如图1所示，安装完成后启动即可。 图1 选择安装.NET环境依赖 父主题： 使用SDK（.NET）

查看更多 →

3 修复问题列表： MRS Manager 优化扩缩容逻辑，解决V1作业管理接口tcp连接残留问题 MRS 大数据组件 MRS Hive 解决hiveserver内存溢出问题、存在大量小文件的情况下，MergeFile阶段非常慢问题、insert overwrite的load p

查看更多 →

当事件队列溢出时如何配置事件队列的大小 问题 当Driver日志中出现如下的日志时，表示事件队列溢出了。当事件队列溢出时如何配置事件队列的大小？ 普通应用 Dropping SparkListenerEvent because no remaining room in event

查看更多 →

当事件队列溢出时如何配置事件队列的大小 问题 当Driver日志中出现如下的日志时，表示事件队列溢出了。当事件队列溢出时如何配置事件队列的大小？ 普通应用 Dropping SparkListenerEvent because no remaining room in event

查看更多 →

外部排序功能，当执行排序时如果内存不足会将一部分数据溢出到磁盘中。 TungstenAggregate 新Hash聚合功能，默认对数据调用外部排序进行排序，然后再进行聚合，因此内存不足时在排序阶段会将数据溢出到磁盘，在聚合阶段因数据有序，在内存中只保留当前key的聚合结果，使用的内存较小。

查看更多 →

外部排序功能，当执行排序时如果内存不足会将一部分数据溢出到磁盘中。 TungstenAggregate 新Hash聚合功能，默认对数据调用外部排序进行排序，然后再进行聚合，因此内存不足时在排序阶段会将数据溢出到磁盘，在聚合阶段因数据有序，在内存中只保留当前key的聚合结果，使用的内存较小。

查看更多 →

文件等。 动态资源 每次访问得到的都是不同的文件。 例如：网站中的文件（asp、jsp、php、perl、cgi）、API接口、数据库交互请求等。 伪静态内容 界面显示是以html等静态形式，但其实是用ASP一类的动态脚本来处理的。伪静态内容本质上还是动态，作动态内容处理。 选择加速类型

查看更多 →

选择表模型 在设计数据仓库模型的时候，最常见的有两种：星型模型与雪花模型。选择哪一种模型需要根据业务需求以及性能的多重考量来定。 星型模型由包含数据库核心数据的中央事实数据表和为事实数据表提供描述性属性信息的多个维度表组成。维度表通过主键关联事实表中的外键。如图1。 所有的事实都必须保持同一个粒度。

查看更多 →

取值范围：字符串 默认值：安装时指定。 asp_log_directory 参数说明：asp_flush_mode设置为all或者file时，asp_log_directory决定存放 服务器 asp日志文件的目录。它可以是绝对路径，或者是相对路径（相对于数据目录的路径），仅sysadmin用户可以访问。

查看更多 →

间，会导致无法生成wdr报告。 asp_log_directory 参数说明：asp_flush_mode设置为all或者file时，asp_log_directory决定存放服务器asp日志文件的目录。它可以是绝对路径，或者是相对路径（相对于数据目录的路径），仅sysadmin用户可以访问。

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge

查看更多 →

取值范围：字符串 默认值：安装时指定。 asp_log_directory 参数说明：asp_flush_mode设置为all或者file时，asp_log_directory决定存放服务器asp日志文件的目录。它可以是绝对路径，或者是相对路径（相对于数据目录的路径），仅sysadmin用户可以访问。

查看更多 →

res 操作结果句柄。 PQntuples返回一个整数结果，在 32 位操作系统上大型的结果集可能使返回值溢出。 返回值 int类型数字。 示例 请参见示例章节。 父主题： 数据库执行语句函数

查看更多 →

PQntuples返回一个整数结果，在 32 位操作系统上大型的结果集可能使返回值溢出。 参数 表1 PQntuples参数 关键字 参数说明 res 操作结果句柄。 返回值 int类型数字。 示例 参见：示例 父主题： 数据库执行语句函数

查看更多 →

内存使用率高问题排查 使用文档数据库时，当实例的内存使用率达到90%，SWAP利用率超过5%时，此时认为实例的内存已达瓶颈，会导致系统响应慢，甚至出现内存溢出（OOM）的隐患。 本章节主要介绍排查解决实例内存使用率高的问题。 查看内存使用情况 您可以通过查看监控指标（内存使用率和

查看更多 →

聚合函数 表1 聚合函数列表 序号 MySQL数据库 GaussDB 数据库 差异 1 AVG() 支持，有差异 GaussDB中指定DINSTINCT且SQL语句包含GROUP BY子句时，不保证结果的顺序。 GaussDB中当expr中的列为BIT、BOOL、整数类型，且所有行

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge

查看更多 →

间，会导致无法生成wdr报告。 asp_log_directory 参数说明：asp_flush_mode设置为all或者file时，asp_log_directory决定存放服务器asp日志文件的目录。它可以是绝对路径，或者是相对路径（相对于数据目录的路径），仅sysadmin用户可以访问。

查看更多 →

发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。

查看更多 →

发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。

查看更多 →

位操作系统上大型的结果集可能使返回值溢出。 原型 int PQntuples(const PGresult *res); 参数 表1 PQntuples参数 关键字 参数说明 res 操作结果句柄。 返回值 int类型数字。 示例 参见：示例 父主题： 数据库执行语句函数

查看更多 →