大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →

长事务产生大量临时表导致内存超限的解决办法 场景描述 云数据库 GaussDB (for MySQL)实例在11:30到12:27分内存使用率持续上升，最终触发内存超限。 图1 内存使用率 原因分析 查看processlist.log日志，查询到有两个慢SQL与图1中内存增长的时间比较匹配。

查看更多 →

为什么七层监听器的监控中有大量499返回码？ HTTP返回码499对应的说明为：client has closed connection，即说明客户端主动断开了连接。 可能的原因： 客户端设置的请求超时时间太短，导致客户端未发送完HTTP请求就因为请求超时关闭了连接，建议排查访问

查看更多 →

对象存储卷概述 为满足数据持久化的需求，CCE支持将 对象存储服务 （OBS）创建的存储卷挂载到容器的某一路径下，对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 图1 CCE挂载对象存储卷 约束限制 安全容器不支持使用对象存储卷。 OBS限制单用户创建100个桶，但是

查看更多 →

以配置超高IO的云硬盘和合适的带宽。 更多信息，请参见内存优化型。 图形渲染 对图像视频质量要求高、大内存，大量数据处理，I/O并发能力。可以完成快速的数据处理交换以及大量的GPU计算能力的场景。例如图形渲染、工程制图。 推荐使用GPU加速型 弹性云服务器 ，基于NVIDIA Tesla

查看更多 →

CloudTable Doris冷热分离特性仅支持Doris 2.0.5及以上版本。 背景 在数据分析的实际场景中，冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多，如果我们将所有数据存储在本地，将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储，将冷热数据分别存储在成本不同

查看更多 →

使用 DLI Flink SQL进行电商实时业务数据分析 应用场景 当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等

查看更多 →

开通数据库代理后，还是有大量select请求分发到主节点 原因分析： 读权重参数 设置主节点和只读节点的读权重分配，可以控制读请求的分发配比，仅在存在只读节点时生效。 例如：一主两只读，设置的读权重为1(主):2(只读1):3(只读2)，那么会按照1:2:3将读请求分发到主和只读

查看更多 →

开通数据库代理后有大量select请求分发到主节点 原因分析： 延时阈值参数 只读实例同步主实例数据时允许的最长延迟时间。延时阈值仅在存在只读实例时生效。为避免只读实例读取的数据长时间和主实例不一致，当一个只读实例的延迟时间超过设置的延迟阈值，则不论该只读实例的读权重是多少，读请求都不会转发至该只读实例。

查看更多 →

90年提出 数据仓库 （Data Warehouse）。数据仓库主要功能是将OLTP经年累月所累积的大量数据，通过数据仓库特有的数据储存架构进行OLAP，最终帮助决策者能快速有效地从大量数据中，分析出有价值的信息，提供决策支持。自从数据仓库出现之后，信息产业就开始从以关系型数据库为基础的运营式系统慢慢向决策支持系统发展。

查看更多 →

关于对象存储的详细介绍，请以对象存储类别为准。 性能说明 容器负载挂载对象存储时，每挂载一个对象存储卷，后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时，常驻进程会占用大量内存，部分场景下内存消耗量参考表1，为保证负载稳定运行，建议负载使用的对象存储卷数量不超过其申请的内存GiB数量，如负载

查看更多 →

关于对象存储的详细介绍，请以对象存储类别为准。 性能说明 容器负载挂载对象存储时，每挂载一个对象存储卷，后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时，常驻进程会占用大量内存，部分场景下内存消耗量参考表1，为保证负载稳定运行，建议负载使用的对象存储卷数量不超过其申请的内存GiB数量，如负载

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie

查看更多 →

BI工具 对接永洪BI：与永洪BI对接实现数据分析。具体内容请参考《 数据湖探索 开发指南》。 DLI核心引擎：Spark+Flink+Trino Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache

查看更多 →

RDS for MySQ L实例 迁移中，大量binlog文件导致数据盘空间不足 RDS for MySQL实例迁移中，短时间内产生大量binlog文件，导致数据盘空间不足（91%），影响业务正常运行 。 解决方案 请及时清理过期数据。 随着业务数据的增加，原来申请的数据库磁盘容量可

查看更多 →

RDS for PostgreSQL有大量owner是rdsadmin的schema怎么删除 场景描述 RDS for PostgreSQL有大量owner是rdsadmin的schema，怎么删除这些schema。 原因分析 RDS for PostgreSQL中的临时表分为会话级临时表和事务级临时表。

查看更多 →

随着客户业务的不断成长，企业规模逐年扩大，在针对内部员工的人力资源服务上遇到的挑战也在剧增。 场景杂乱，系统业务协同效果差 高频、常见问题频发，消耗大量人力成本 人工客服缺乏智能化技术辅助 知识库构建难、维护累、更新慢 本方案介绍如何通过易路eGPT人力资源知识服务和智能客服解决方案对传统

查看更多 →

华为 数据治理 思考 华为在发展中也遇到了如下的数据问题： 数据管理责任不清晰，造成数据问题无人决策解决； 数据多源头，造成数据不一致，不可信； 数据大量搬家造成IT重复投资； 数据无定义造成难于理解、难于使用； 各部门发布报告，统计口径不一致，困扰业务决策； 数据形态多样化，数据量迅猛增长，数据处理逻辑复杂，投资大；

查看更多 →

Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构，拥有大量的贸易统计数据库，其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。

查看更多 →

尽可能的降低使用成本。 平衡突发查询 大数据集群上，由于有大量的数据，企业会经常面临临时的分析任务，例如支撑企业决策的临时数据报表等，都会导致对于资源的消耗在极短时间内剧增。 MRS 提供的弹性伸缩能力，可以在突发大数据分析时，及时补充计算节点，避免因为计算能力不足，导致业务宕机。用

查看更多 →

使用Hive加载OBS数据并分析企业雇员信息 本实践指导使用Hive对OBS中存储的原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的存算分离大数据分析。以用户开发一个Hive数据分析应用为例，通过客户端连接Hive后，执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。 通过Flink作业处理OBS数据

查看更多 →