对象存储服务 OBS     

对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。

 
 

    对象存储OBS预定义常量 更多内容
  • 常量与宏

    常量与宏 GaussDB 支持的常量和宏请参见表1。 表1 常量和宏 参数 描述 示例 CURRENT_CATA LOG 当前数据库 1 2 3 4 5 testdb=# SELECT CURRENT_CATALOG; current_database ------------------

    来自:帮助中心

    查看更多 →

  • 常量与宏

    常量与宏 GaussDB支持的常量和宏请参见表1。 表1 常量和宏 参数 描述 示例 CURRENT_CATALOG 当前数据库 1 2 3 4 5 testdb=# SELECT CURRENT_CATALOG; current_database ------------------

    来自:帮助中心

    查看更多 →

  • 常量与宏

    常量与宏 GaussDB支持的常量和宏请参见表1。 表1 常量和宏 参数 描述 示例 CURRENT_CATALOG 当前数据库 1 2 3 4 5 testdb=# SELECT CURRENT_CATALOG; current_database ------------------

    来自:帮助中心

    查看更多 →

  • 创建对象存储服务

    数据。 OBS简介 对象存储服务 OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。对象存储服务OBS的基本组成是桶和对象。桶是OBS存储对象的容器,每个桶都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过桶的访问 域名 来定位桶。对象是OBS中数据存储的基本单位。

    来自:帮助中心

    查看更多 →

  • 监控对象存储服务

    监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶,

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。

    来自:帮助中心

    查看更多 →

  • 源端为对象存储

    fromJobConfig.bucketName 是 String 对象存储的桶名。 fromJobConfig.inputDirectory 是 String 抽取文件的路径。支持输入多个文件路径(最多50个),默认以“|”分隔,也可以自定义文件分隔符,例如:“FROM/example.csv|FROM/b

    来自:帮助中心

    查看更多 →

  • 专属对象存储

    专属对象存储 专属对象存储是专属云资源下的对象存储服务对象存储服务可以申请独享的专属物理主机资源,从而满足您对隔离性、安全性、性能的更高要求。 图1 专属对象存储 购买专属对象存储 专属云的申请和开通是线下进行的,开通专属云后才能购买专属对象存储,购买方法请参见如何购买专属对象存储。 对象

    来自:帮助中心

    查看更多 →

  • 对接对象存储代理

    对接对象存储代理 背景信息 当对不同存储类型(OBS或MINIO)中的对象实例进行操作时,为了实现实例格式的兼容性,需要对不同存储类型中的对象实例配置存储代理连接器。 新建对象存储代理连接器 参考创建连接器入口中操作,进入创建连接器页面。 在左侧列表中,选择“存储 > 对象存储代理”,单击“+”。

    来自:帮助中心

    查看更多 →

  • 对象存储迁移流程

    对象存储迁移流程 您可直接登录管理控制台进行对象存储迁移操作,迁移流程如图1所示。 图1 对象存储迁移流程 具体说明: 创建源端和目的端的访问密钥(AK/SK)。 源端:参见源端云服务提供商的相关资料。 目的端:参见创建访问密钥(AK/SK)。 在对象存储服务中创建用于存放迁移数据的桶。

    来自:帮助中心

    查看更多 →

  • 导入对象存储卷

    在左侧导航树中选择“资源管理 > 存储管理”,选择“对象存储卷”页签,单击“导入”。 在弹出的“导入对象存储”对话框中,从列表里选择要导入的对象存储(dbss-audit-agent-{projectid})。 图2 “导入对象存储”对话框 按表1所示信息选择导入对象存储的集群和命名空间,如图2所示。

    来自:帮助中心

    查看更多 →

  • 源端为对象存储

    fromJobConfig.bucketName 是 String 对象存储的桶名。 fromJobConfig.inputDirectory 是 String 抽取文件的路径。支持输入多个文件路径(最多50个),默认以“|”分隔,也可以自定义文件分隔符,例如:“FROM/example.csv|FROM/b

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中,具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b训练为例,执行脚本0_pl_pretrain_13b

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。

    来自:帮助中心

    查看更多 →

  • 预训练

    训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。

    来自:帮助中心

    查看更多 →

  • 增加常量字段

    增加常量字段 概述 “增加常量字段”算子,用于直接生成常量字段。 输入与输出 输入:无 输出:常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息: 输出字段名:配置字段名。 类型:配置字段类型。 时间格式:字段类型为“DAT

    来自:帮助中心

    查看更多 →

  • 优化器开销常量

    优化器开销常量 介绍优化器开销常量。这里描述的开销可以按照任意标准度量。只关心其相对值,因此以相同的系数缩放它们将不会对优化器的选择产生任何影响。缺省时,它们以抓取顺序页的开销为基本单位。也就是说将seq_page_cost设为1.0,同时其他开销参数以它为基准设置。也可以使用其他基准,比如以毫秒计的实际执行时间。

    来自:帮助中心

    查看更多 →

  • 预检查

    检查 在“检查”页面可以进行迁移任务校验,校验是否可以进行任务迁移。 如图所示,查看检查结果,如有失败的检查项,需要修复后,单击“重新校验”按钮重新进行迁移任务的校验。 检查失败项处理建议请参见《数据复制服务用户指南》中的“检查失败项修复方法”,访问地址:https://support

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了