yaml文件中或在代码中设置如下参数： fs.obs.impl: org.apache.hadoop.fs.obs.OBSFileSystem fs.obs.access.key: xxx fs.obs.secret.key: xxx fs.obs.endpoint: xxx fs.obs.buffer.dir:

查看更多 →

在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS：

查看更多 →

青云QingStor迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM', 'hive.metastore.kerberos.principal' = 'hive/hadoop.hadoop.com@HADOOP.COM', 'hadoop.security.authentication'

查看更多 →

是否支持从非华为云存储中读取图片 OCR服务支持读取公网http和https的图片地址，如果使用非华为云存储，请确保相应的图片可以通过公网进行访问。 父主题： API使用类

查看更多 →

core-site.xml文件中的配置项，包括：fs.obs.access.key，fs.obs.secret.key，fs.obs.endpoint和fs.obs.impl。 fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、

查看更多 →

读取输出口显示内容 接口名称 WEB_GetVideoOutSourceAPI 功能描述 读取输出口显示内容时调用该接口。 应用场景 读取输出口显示内容。 URL https://ip/action.cgi?ActionID=WEB_GetVideoOutSourceAPI 参数

查看更多 →

训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： 训练作业

查看更多 →

使用Scan读取HBase数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

配置Hive读取Hudi表 Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS的数据，通过Spark组件、Flink组件或者Hudi客户端，可以将Hudi表的数据映射为Hive外部表，基于该外部表，Hive可以方便地进行实时视图查询、读优化视图查询以及增量视图查询。

查看更多 →

该方案基于 对象存储服务 OBS和MapReduce服务 MRS ，帮助用户在华为云上快速搭建大数据存算分离集群。MRS是一个在华为云上部署和管理Hadoop系统的服务，通过为MRS集群绑定弹性云服务 E CS 委托方式访问OBS，实现用户使用MRS集群作数据计算处理，而数据存储在OBS服

查看更多 →

在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以下命令上传客户端节点“/opt/test

查看更多 →

场景介绍 某企业基于弹性云 服务器 （Elastic Cloud Server，ECS）构建好基础的业务后，随着数据增长，硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后，决定将OBS作为数据存储资源池，以减轻服务器负担。 在ECS上可以通

查看更多 →

访问OBS 操作场景 虚拟专用网络 、云专线线下节点通过终端节点高速访问OBS。 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持通过控制台直接选择“网关”类型的OBS终端节点服务，因此本场景仅适用于这些区域。 其他区域的“网关”类型的OBS终端节点服务目前需

查看更多 →

OBS连接 介绍 通过OBS连接，可以对对象存储服务（Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置

查看更多 →

OBS资源 资源是服务中存在的对象。在OBS中，资源包括桶和对象。您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 OBS的指定资源与对应路径 资源类型 资源名称 资源路径 bucket 桶 【格式】 obs:*:*:bucket:桶名称 【说明】 对于桶资源，I

查看更多 →

表1 资源说明 资源 资源说明 弹性云服务器（ECS） Windows系统：需安装OBS Browser+ Linux系统：需安装obsutil 对象存储服务（OBS） OBS作为数据存储资源池，以减轻服务器负担。 须知： 确保待访问的OBS资源与ECS属于同一个区域。如果不属于同一个区域，将采用公网访问。

查看更多 →