obsutil checkpointdir 更多内容
  • Java样例代码

    println("Usage: DstreamKafkaWriter <checkPointDir> <brokers> <topic>"); System.exit(1); } String checkPointDir = args[0]; String brokers

    来自:帮助中心

    查看更多 →

  • 增量同步复制对象

    支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源对象大小自动设置每个分段任务的段大小。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 说明: 每个分段复制任务会

    来自:帮助中心

    查看更多 →

  • 最佳实践

    最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming样例程序开发思路

    <topic> <checkpointDir>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type>指Kafka订阅类型(如subscribe)。 <topic>指读取Kafka上的topic名称。 <checkpointDir>指checkpoi

    来自:帮助中心

    查看更多 →

  • Java样例代码

    设置Streaming的CheckPoint目录 if (!"nocp".equals(checkPointDir)) { jssc.checkpoint(checkPointDir); } final String columnFamily = "cf";

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming样例程序开发思路

    <topic> <checkpointDir>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type>指Kafka订阅类型(如subscribe)。 <topic>指读取Kafka上的topic名称。 <checkpointDir>指checkpoi

    来自:帮助中心

    查看更多 →

  • 设置桶和对象的存储类别

    支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 说明: 每个分段上传任务会

    来自:帮助中心

    查看更多 →

  • 在Linux ECS上使用obsutil通过内网访问OBS

    具体方法请参见如何判断是否内网访问OBS? 下载obsutil obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点(Endpoint)和访问密钥(AK和SK)。 具体操作请参见obsutil指南的初始化配置章节。

    来自:帮助中心

    查看更多 →

  • 下载软件

    myhuaweicloud.com/obsutil_adapter/obsutil_adapter.zip -P /opt/huawei cd /opt/huawei unzip obsutil_adapter.zip -d obsutil_adapter/ obsutil_adapter.py

    来自:帮助中心

    查看更多 →

  • 获取卫星遥感数据

    下载和安装obsutil、初始化配置obsutil。 进入obsutil工具所在目录,运行./obsutil cp obs://xxx命令,将桶中的对象下载至本地。 obsutil使用详情参见通过obsutil下载对象。 复制数据到指定桶 登录MapDS控制台。 在左侧导航栏选中“卫星遥感数据”,进入订单列表页面。

    来自:帮助中心

    查看更多 →

  • 如何查看桶内的文件夹大小?

    如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。

    来自:帮助中心

    查看更多 →

  • 删除断点记录文件

    Windows操作系统 obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil clear [checkpoint_dir]

    来自:帮助中心

    查看更多 →

  • 步骤四:下载工具并初始化

    下载OBS Browser+ 登录OBS Browser+ obsutil 下载obsutil 初始化obsutil obsfs 下载获取obsfs 初始化obsfs SDK 下载SDK,具体参考各语言开发指南的下载章节 安装和初始化SDK,具体参考各语言开发指南的快速入门章节

    来自:帮助中心

    查看更多 →

  • 工具相关

    工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传/下载/复制? 并行文件系统是否支持挂载到Windows 服务器

    来自:帮助中心

    查看更多 →

  • 删除分段上传任务

    删除单个分段上传任务 obsutil abort obs://bucket/key -u=xxx [-f] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 批量删除分段上传任务 obsutil abort obs://bucket[/key]

    来自:帮助中心

    查看更多 →

  • 问题定位简介

    问题定位简介 obsutil提供多种方式帮助用户自助进行日常问题分析和定位,具体方式及其说明如表1所示。您通常需要结合多种方式以准确定位问题。 表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的

    来自:帮助中心

    查看更多 →

  • 查看版本号

    查看工具当前的版本号。 命令结构 Windows操作系统 obsutil version macOS/Linux操作系统 ./obsutil version 运行示例 以Windows操作系统为例。运行示例如下: obsutil version obsutil version:5.1.9, obssdk

    来自:帮助中心

    查看更多 →

  • run.sh脚本测试ModelArts训练整体流程

    com/obsutil/current/obsutil_linux_amd64.tar.gz #tar -xzvf obsutil_linux_amd64.tar.gz && mv obsutil_linux_amd64_*/ utils #alias obsutil='/opt/utils/obsutil' #obsutil

    来自:帮助中心

    查看更多 →

  • 脚本简介

    上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil更加适合执行批量处理和自动化任务。 有关obsutil的更多介绍,请参见《工具指南》中的obsutil章节。 父主题: 简介

    来自:帮助中心

    查看更多 →

  • 华为云OBS

    华为云OBS 华为云OBS提供了obsutil工具来解冻归档对象,支持批量解冻。 obsutil工具支持Windows、Linux和macOS等操作系统,您可以根据实际情况下载和安装合适的版本。 操作步骤 下载并安装obsutil。 解冻归档存储对象。 解冻完成后,参考华为云OB

    来自:帮助中心

    查看更多 →

  • 其他脚本调用

    否完整。 操作步骤 执行以下命令调用脚本。 cd /opt/huawei/obsutil_adapter && python3 obsutil_adapter.py /opt/huawei/obsutil_adapter是本脚本的解压路径,请根据实际修改。 父主题: 备份上传OBS

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了