上传数据和算法至OBS（首次使用时需要） 前提条件 已经在OBS上创建好并行文件系统，请参见创建并行文件系统。 已经在obsutil安装和配置，请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地，并解压。 通过obsutil将数据集上传至OBS桶中。 ./obsutil

查看更多 →

示例Demo 合约开发需要使用go mod，因此请确保GO111MODULE为on、镜像源配置。请确保可正常访问华为云镜像网站，环境设置命令如下 go env -w GO111MODULE=on go env -w GOPROXY=https://repo.huaweicloud

查看更多 →

com/repository/goproxy/ go env -w GONOSUMDB=* 示例Demo基于Go SDK开发，主要用于帮助开发人员理解并开发Go客户端应用程序，示例Demo下载链接。 Demo目录主要分为： main.go文件，为Go语言客户端主程序。 huaweichain

查看更多 →

go)，详情可参考SDK客户端配置。 示例Demo项目结构如下： 表1 示例Demo目录结构 文件 介绍 huaweichain Go语言客户端SDK，相关介绍请参考Go SDK介绍。 main.go Go语言客户端主程序。 contract.go 通过合约对业务数据交互。对数据有修改的操作如插入和删

查看更多 →

Demo体验 Demo安装包下载 Demo 包完整性校验 Demo一览

查看更多 →

String 本地需要上传的文件夹路径。 当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时，OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址，必须以“obs://”作为前缀，上传的目标文件夹后缀必须以“/”结尾。

查看更多 →

利用obsutil上传软链接 obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数：link，来实现上传软链接的功能。 obsutil支持识别文件夹软链接，如果软链接指向的真实路径是一个文件夹则会递归扫描该文件夹中的内容。

查看更多 →

OBS是否支持批量上传文件？ OBS管理工具批量上传功能的支持情况： 表1 OBS管理工具批量上传功能 工具 批量上传 管理控制台 OBS管理控制台支持批量上传文件，单次最多支持100个文件同时上传，总大小不超过5GB。详见上传文件。 OBS Browser+ 支持上传多个文件或

查看更多 →

单击“设置”，修改设置，将最大并行任务数&并发数调整为50，来提升上传效率。 图3 修改设置 检查访问路径及设置后，单击“上传”。 上传对象有“单个文件”和“文件夹”，用户根据实际需求选择。上传过程中可以查看上传“任务管理”，查看文件上传进度。 图4 上传数据 父主题： 数据上传

查看更多 →

P访问数据源。 单击“新建连接”来创建OBS连接，连接类型选择“ 对象存储服务 （OBS）”后单击“下一步”，配置OBS连接参数，如图3所示。 图3 创建OBS连接 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点：配置为OBS的 域名 或IP地址，例如“obs.myhuaweicloud

查看更多 →

启动数据上传 数据中心管理员接收用户磁盘，并将磁盘挂载到 服务器 后，会短信通知用户输入访问密钥（AK/SK），访问密钥（AK/SK）验证成功后启动数据上传。 前提条件 用户收到输入访问密钥（AK/SK）短信通知。 操作步骤 登录DES管理控制台。 选择服务单列表中“待输入访问密钥（

查看更多 →

启动数据上传 前提条件 已经完成Teleport方式服务单的申请。 如果用户在创建完服务单后已经输入了访问密钥（AK/SK），那么此处就不用再重复输入。设备回寄后管理员会直接启动数据上传。 操作步骤 登录DES管理控制台。 选择服务单列表“待输入访问密钥（AK/SK）”状态服务单，

查看更多 →

上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。

查看更多 →

上传增量数据 使用 CDM 将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样

查看更多 →

P访问数据源。 单击“新建连接”来创建OBS连接，连接类型选择“对象存储服务（OBS）”后单击“下一步”，配置OBS连接参数，如图3所示。 图3 创建OBS连接 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点：配置为OBS的域名或IP地址，例如“obs.myhuaweicloud

查看更多 →

上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样

查看更多 →

容易导致数据上传失败。当上传数据量超过500GB时，建议使用obsutil。如果数据量巨大且对时效性要求较高、能够接受额外的服务成本，建议使用数据快递进行数据上传。 具体使用哪个数据上传方式请参考表1。 表1 数据上传场景 上传数据方式 业务场景 优势 劣势 推荐 OBS Browser+

查看更多 →

OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移

查看更多 →

OBS数据访问 在E CS 上通过内网访问OBS 通过Nginx反向代理访问OBS

查看更多 →

使用 MRS Hive表对接OBS文件系统 MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 本章节指导用户创建Hive表存放数据到OBS，基本内容如下所示： 创建ECS委托 为MRS集群配置委托

查看更多 →

华为云OBS 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小。包含“读取文件”和“上传文件”两个执行动作，“当有新文件上传”一个触发事件。 连接参数 华为云OBS连接器使用自定义认证，连接参数说明如表1所示。

查看更多 →