中软国际数据治理专业服务解决方案实践

分区并发控制 分区并发控制给出了分区表DQL、DML、DDL并发过程中的行为规格限制。用户在设计分区表并发业务时，尤其是在进行分区维护操作时，可以参考本章节指导。 常规锁设计 DQL/DML-DQL/DML并发 DQL/DML-DDL并发 DDL-DDL并发 父主题： 分区表

查看更多 →

当用户的部门已分配并发资源时，则使用已分配并发资源数进行会议； 当用户的部门未分配并发资源时，则使用企业共享并发资源进行会议； 多条订单场景，每条订单都可以分配一次给同一个部门，资源总数是多条订单的总和； 以上并发管理均基于使用会议并发进行会议时，才适配并发管理逻辑，云会议室资源池除外。

查看更多 →

并发数是什么？ 并发数是指云 堡垒机 上同一时刻连接的运维协议连接数。 云堡垒机系统对登录用户数没有限制，可无限创建用户。但是同时刻不同用户连接协议总数，不能超过当前版本规格的并发数。 例如，10个运维人员同时通过云堡垒机运维设备，假设平均每个人产生5条协议连接（例如通过SSH客户端

查看更多 →

管理并发写入操作 事务隔离说明 写入和读写操作 并发写入事务的潜在死锁情况 并发写入示例 父主题： 导入数据

查看更多 →

DDL-DDL并发 GaussDB Kernel不支持DDL操作自身的并发，后触发业务会被先触发业务阻塞。 父主题： 分区并发控制

查看更多 →

分区并发控制 分区并发控制给出了分区表DQL、DML、DDL并发过程中的行为规格限制。用户在设计分区表并发业务时，尤其是在进行分区维护操作时，可以参考本章节指导。 常规锁设计 DQL/DML-DQL/DML并发 DQL/DML-DDL并发 DDL-DDL并发 父主题： 分区表

查看更多 →

DDL-DDL并发 GaussDB不支持DDL操作自身的并发，后触发业务会被先触发业务阻塞。 父主题： 分区并发控制

查看更多 →

S CS I磁盘IO压力大时，在线并发扩容失败怎么办？ 问题描述 Linux系统、SCSI类型磁盘的 云服务器 进行在线并发（大于10个）扩容，扩容之后部分磁盘容量实际未发生变化。 例如，将磁盘容量由1G在线并发扩容到2G后，执行lsblk命令查看磁盘容量，发现sdb/sdc/sdd/sdr的磁盘容量没有发生变化。

查看更多 →

发现和处理Redis大Key热Key 大Key和热Key的定义 名词 定义 大Key 大Key可以分为两种情况： Key的Value较大。一般单个String类型的Key大小达到10KB，或者集合类型的Key总大小达到50MB，则定义其为大Key。 Key的元素较多。一般定义集合

查看更多 →

。 时序数据排序 时序数据排序即根据给定的参数对时间序列进行排序。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 时序数据处理 > 时序数据排序”，界面新增“时序数据排序”内容。 对应参数说明，如表2所示。 表2 参数说明 参数 参数说明 时间列 时序数据时间列，

查看更多 →

栅格数据处理 打开 SuperMap iDesktop 图1 打开 在数据的数据处理选项卡下面选择重分级，选择源数据，设置参数 图2 设置参数 执行完成后在数据源下面新生成数据集result_reclass 图3 新生成数据集 在数据的数据处理选项卡下面选择重采样，选择源数据，设置参数采样模式

查看更多 →

选择界面左侧“数据管理>数据预处理”，单击“创建”，可输入作业名称、描述及数据集，单击保存。若当前选不到目标数据集，可查看该数据集是否已参与其他的预处理作业。 目标数据集需要对所选字段的分布类型进行严格定义。处理评估/预测数据前建议先使用训练数据进行预处理，以确保当数据处理达到目标需求。

查看更多 →

SFT微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.py存放在llm_train/As

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools”目录中，脚本样

查看更多 →

创建数据处理任务 您可以创建一个数据处理任务，对已有的数据进行数据校验、数据清洗、数据选择或者数据增强操作。 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制

查看更多 →

开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业，然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据，和评估/预测数据。 数据预处理作业选择的结构化数据集（包括

查看更多 →

使用函数处理IOT数据 案例概述 准备 构建函数程序

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

并发请求。这种情况下，只需要保证节点间网速通畅，避免集群性能受限。 大规格三节点： 如果需要处理大量数据、需要高性能计算，但可以承受较高的成本，可以选择大规格三节点集群。 例如，规格为32核256G的大规格集群（dws2.m6.8xlarge.8），拥有更快的CPU处理能力和更大

查看更多 →

使用函数处理DIS数据 案例概述 准备 构建程序 添加事件源 处理数据

查看更多 →