。 图1 创建数据处理基本信息 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。 设置数据处理类型。数据处理类型支持“数据清洗”、“数据校验”、“数据选择”和“数据增强”。 针对不同的数据处理类型，您需要填写相应算子的设置参数，算子的详细参数参见数据处理预置算子说明。 图2

查看更多 →

tokenizer-name-or-path：tokenizer的存放路径 -workers：设置数据处理使用执行卡数量 -log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出 数据预处理后输出的训练数据如下： alpaca_text_document

查看更多 →

是一个用于设置序列长度的参数，表示模型处理的序列长度。在训练大规模模型时，可以通过设置这个参数来优化模型的训练速度和效果。 数据预处理后输出的训练数据如下： alpaca_text_document.bin alpaca_text_document.idx 训练的时指定的数据路径为${p

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

制，保护系统和用户的隐私及数据安全。 用户权限策略 基于角色的访问控制，用户通过角色与权限进行关联，并支持细粒度权限策略，可满足不同的授权需求。针对不同的用户， DataArts Studio 提供了管理者、开发者、运维者、访问者四种不同的角色，各个角色拥有不同的权限。 数据安全 针

查看更多 →

String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类，键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。 output_path

查看更多 →

Service，OBS）上的数据，数据无需搬迁。 提供一键式异构数据库迁移工具 GaussDB (DWS) 提供配套的迁移工具，可支持MySQL、Oracle和Teradata的SQL脚本迁移到GaussDB(DWS) 。 高性能 云化分布式架构 GaussDB(DWS) 采用全并行的MPP架构数

查看更多 →

获取 数据仓库 的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

为任务的组成部分。通过定义任务的触发条件、依赖关系和执行顺序，可以实现复杂的数据处理流程，并确保每个作业在正确的时间和顺序下执行。 此外，作业还可以调用自定义脚本，以实现更高级的调度和编排功能。通过这样的集成，可以进一步提升作业调度的灵活性和可扩展性，满足不同业务场景下的需求。

查看更多 →

库存、财务和零售销售系统）的数据汇集在一起。为了确保整个公司的报告具有一致的准确性，数据仓库采用一种高度结构化的方式来存储数据。这种结构可将数据一致性规则直接构建到数据库的表中。同时对标准SQL，事务支持传统数据库语法有很好的兼容性。 当您需要对大量结构化数据执行复杂查询并获得超

查看更多 →

的源数据通常存储在关系数据库的数据仓库中。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLTP也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。OLTP是传统的关系型数据库的主要应用

查看更多 →

查询指定流程创建者的所有流程 功能介绍 查询指定流程创建者的所有流程 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/datashare/dataset/query-processes

查看更多 →

修改项目中数据处理作业的参数接口 功能介绍 修改项目中数据处理作业的参数。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/data/process/job/{job_id}/config 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定公网IP DWS集群运维时间窗检查 父主题： 系统内置预设策略

查看更多 →

内获得高性能、高可靠的企业级数据仓库集群。 您只需点击几下鼠标，就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。 提供一键式异构数据库迁移工具 DWS提供配套的迁移工具，可支持Oracle和Teradata的SQL脚本迁移到DWS。

查看更多 →

创建数据仓库 GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →

，若有分支增加另行计算。 流程校验。 对流程中参数的规则和合法性进行校验。 流程调试。 测试流程是否按照预期的效果执行。触发方式为“事件触发”时，才显示该按钮。 流程发布。 成功发布后，流程才会自动化运行。发布后的流程，不支持再次编辑。 父主题： 流程管理

查看更多 →

下线流程中的版本 使用说明 流程中某个版本不再使用时，可通过归档功能，将其下线。 操作步骤 参考如何登录AstroFlow中操作，登录AstroFlow界面。 在“我的应用 > 全部应用”中，单击对应的应用，进入应用。 在主菜单中，选择“流程管理”。 单击对应的流程，进入流程详情页面。

查看更多 →

删除流程的某个版本 使用说明 删除流程中不再使用的某个版本。仅支持删除“设计中”的流程，“已归档”和“运行中”的流程不支持删除。 操作步骤 参考如何登录AstroFlow中操作，登录AstroFlow界面。 在“我的应用 > 全部应用”中，单击对应的应用，进入应用。 在主菜单中，选择“流程管理”。

查看更多 →