COMPRESSION=middle) DISTRIBUTE BY hash (ss_item_sk); 为这些表加载样例数据。 在基准表中记录加载时间。 基准 优化前 优化后 加载时间（11张表） 341584ms 257241ms 占用存储 Store_Sales 42GB - Date_Dim

查看更多 →

调整Hive元数据超时 大分区表包含过多分区，导致任务超时，同时大量分区可能需要更多时间来加载与元存储缓存同步。因此，为了在更大规模存储中获得更好的性能，建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。 使用HetuEngine管理员用户登录 FusionInsight

查看更多 →

大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练，如何进行模型学习 如何调整训练参数，使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数，使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。

查看更多 →

图2 查看专属资源池磁盘信息 创建模型 使用大模型创建模型，选择从 对象存储服务 （OBS）中导入，需满足以下参数配置： 采用自定义引擎，开启动态加载 使用大模型要求用户使用自定义引擎，并开启动态加载的模式导入模型。用户可以制作自定义引擎，满足大模型场景下对镜像依赖包、推理框架等的特殊需

查看更多 →

该组件包应用的场景，有以下几种： 高级页面：该组件适用于高级页面开发场景。 标准页面：该组件适用于标准页面开发场景。 业务大屏：该组件适用于AstroCanvas大屏页面开发场景。 业务小屏：该组件适用于AstroCanvas小屏页面开发场景s。 可同时勾选多项，勾选后，在相应类型页面开发中，才可使用该组件。

查看更多 →

通用设置 在通用设置中，可以设置网页图标、开启页面加载动画等功能。 项目通用设置 参考登录华为云Astro大屏应用界面中操作，登录华为云Astro大屏应用界面。 在华为云Astro大屏应用界面的项目列表中，单击已创建的项目，进入项目。 在主菜单中，选择“项目设置”，进入项目设置页面。

查看更多 →

was an error with your query. 回答 IE浏览器存在功能问题，不支持在307重定向中处理含有form data的AJAX POST请求。 建议更换兼容的浏览器，例如Google Chrome浏览器。 父主题： Hue常见问题

查看更多 →

32K版本：32768 评测NLP大模型所需数据量 要求所有文本大小最大不超过100MB，目录下文件数量最多不超过100个。数据条数范围为：3-1000条。 构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表3。 表3

查看更多 →

an error with your query.”。 原因分析 IE浏览器存在功能问题，不支持在307重定向中处理含有form data的AJAX POST请求，建议更换兼容的浏览器。 解决办法 推荐使用Google Chrome浏览器21及以上版本。 父主题： 使用Hue

查看更多 →

本实践使用华为云 CDM 服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云 MRS 服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。HBase会把数

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制。 因此在off heap时，内存可能会超出此限制。

查看更多 →

point恢复时，每张卡都需要从持久化存储中加载，在训练集群规模较大，存储带宽较低的场景下，加载耗时可能会达到小时级，严重影响训练恢复。因此，我们在AITurbo SDK中提供了快速保存和加载checkpoint的功能，当前流行的两种大模型训练框架Megatron进行简单适配便可使用。

查看更多 →

point恢复时，每张卡都需要从持久化存储中加载，在训练集群规模较大，存储带宽较低的场景下，加载耗时可能会达到小时级，严重影响训练恢复。因此，我们在AITurbo SDK中提供了快速保存和加载checkpoint的功能，当前流行的两种大模型训练框架Megatron进行简单适配便可使用。

查看更多 →

消耗。 大表、事实表。 RoundRobin 表数据按照轮询的方式依次分布到各DN实例。 优点：每个DN仅包含部分数据，占用整体空间小；数据轮询均匀分布，不依赖分布列，不存在数据存储倾斜问题。 缺点：无法通过分布列条件消除和减少节点间通信，此类场景性能不如HASH。 大表、事实表，无合适分布列的表。

查看更多 →

消耗。 大表、事实表。 RoundRobin 表数据按照轮询的方式依次分布到各DN实例。 优点：每个DN仅包含部分数据，占用整体空间小；数据轮询均匀分布，不依赖分布列，不存在数据存储倾斜问题。 缺点：无法通过分布列条件消除和减少节点间通信，此类场景性能不如HASH。 大表、事实表，无合适分布列的表。

查看更多 →

据可以通过CDM或者加载外表的方式进行数据集成，本地文件则通过Doris自带的StreamLoad工具进行本地文件加载。 离线数据加载 离线数据可以从 数据湖 加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad

查看更多 →

据遍历左表做匹配，将小表放在右边，减少匹配查询的次数。根据使用的情况，大表join小表的性能比小表join大表的性能有数量级的提升。 【大表在左小表在右】 SELECT count(a.id) FROM ( SELECT id FROM mytable WHERE id < 100000000

查看更多 →

如何高效备份，容灾 传统场景采用文件或者块存储的数据库系统，备份恢复与数据量强相关，故在大数据量场景下，无法快速备份恢复，进而影响数据库的数据可靠性。 云数据库 GeminiDB基于DFV存储，底层采取Append Only方式存储，并在该基础上结合数据库逻辑进行分布式并行算法优化，极大地提升了数据备份、恢复性能。

查看更多 →

看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

该组件包应用的场景，包含但不限于以下几种： 高级页面：该组件适用于高级页面开发场景。 标准页面：该组件适用于标准页面开发场景。 业务大屏：该组件适用于AstroCanvas大屏页面开发场景。 业务小屏：该组件适用于AstroCanvas小屏页面开发场景。 可同时勾选多项，勾选后，在相应类型页面开发中，才可使用该组件。

查看更多 →