obsutil checkpointdir 更多内容
  • 列举接口是否支持保存结果到本地文件

    列举接口是否支持保存结果到本地文件 obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作) obsutil ls obs://bucketName

    来自:帮助中心

    查看更多 →

  • 查看命令帮助

    Windows操作系统 obsutil help [command] macOS/Linux操作系统 ./obsutil help [command] 运行示例 以Windows操作系统为例,运行obsutil help mb,查看创建桶命令的帮助文档。 obsutil help mb

    来自:帮助中心

    查看更多 →

  • 列举失败结果清单文件

    sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls -failed [-limit=1000] [-o=xxx] 运行示例

    来自:帮助中心

    查看更多 →

  • 列举桶内对象返回的大小与控制台桶内对象大小不一致

    询当前桶内对象个数及对象占用空间,对应obsutil中调用stat命令返回的结果;由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 由于桶存量包含了桶内对象及桶内碎片的整体大小,而obsutil列举对象命令仅列举桶内对象不包含桶碎片,

    来自:帮助中心

    查看更多 →

  • 删除对象

    删除单个对象 obsutil rm obs://bucket/key [-f] [-versionId=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 批量删除对象 obsutil rm obs://bucket/[key]

    来自:帮助中心

    查看更多 →

  • Spark Streaming对接Kafka0-10样例程序开发思路

    版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic> <batchTime>,其中<checkPointDir>指应用程序结果备份到HDFS的路径,<brokers>指获取元数据的Kafka

    来自:帮助中心

    查看更多 →

  • 初始化配置

    初始化配置 使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点地址(Endpoint)和访问密钥(AK和SK)。获得OBS的认证后,才能使用obsutil执行OBS桶和对象的相关操作。 前提条件 已下载obsutil软件包,具体请参见下载和安装obsutil。

    来自:帮助中心

    查看更多 →

  • 归档日志文件

    files to [D:\obsutil\obsutil_log.zip] 参数说明 参数 约束 描述 file_or_folder_url 可选 日志归档路径,规则如下: 如果该值为空,则以obsutil_log.zip为归档文件名,将日志归档到obsutil命令同级目录下; 如果

    来自:帮助中心

    查看更多 →

  • Spark Streaming对接Kafka0-10样例程序开发思路

    器的任意目录(例如“ /opt” )下。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic> <batchTime>,其中<checkPointDir>指应用程序结果备份到HDFS的路径,<brokers>指获取元数据的Kafka

    来自:帮助中心

    查看更多 →

  • 迁移完成后,如何修改已迁移对象路径?

    过来,原来桶中的数据已不存在。 对象较多 推荐使用obsutil工具修改对象路径。 请参见下载obsutil获取工具,并参见初始化配置对工具进行初始化。 使用工具命令移动对象。 以Windows操作系统为例: 运行obsutil mv obs://src_bucket/key o

    来自:帮助中心

    查看更多 →

  • 检查并更新版本

    检查并更新版本 功能说明 检查并更新obsutil版本。 命令结构 Windows操作系统 obsutil update [-f] [-retrytimes=xxx] macOS/Linux操作系统 ./obsutil update [-f] [-retrytimes=xxx] 运行示例

    来自:帮助中心

    查看更多 →

  • 配置命令行工具

    -q 否 设置obsutil安装路径,默认安装在当前运行目录。 设置时,该路径必须为obsutil运行文件名,如/home/path/obsutil、/home/path/obsutil-1.1.1 --obs_down_load_url -D 否 obsutil下载链接,obs

    来自:帮助中心

    查看更多 →

  • 指定obsutil上传下载时进行限速

    指定obsutil上传下载时进行限速 obsutil支持通过在配置文件.obsutilconfig中配置rateLimitThreshold参数实现对上传/下载操作进行限速,参数具体描述可参考配置参数说明;默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带宽

    来自:帮助中心

    查看更多 →

  • 校验上传数据的一致性

    方式二:使用obsutil校验上传数据的一致性 obsutil支持在上传数据时通过附加参数(vmd5)来校验数据的一致性。 以在Windows操作系统上传本地一个位于D盘的test.txt文件至mytestbucket桶为例,开启一致性校验的命令示例如下: obsutil cp D:\test

    来自:帮助中心

    查看更多 →

  • 利用crontab配置定时任务

    /var/log/cron,查看最近的定时任务执行记录。 执行命令:ps -ef | grep obsutil,查看obsutil进程是否正在执行。 如何强制终止正执行的定时任务? 执行命令:ps -ef | grep obsutil,查看obsutil的进程信息。 执行命令:kill -9 PID,强制终止该进程(PID为查询到的进程号)。

    来自:帮助中心

    查看更多 →

  • 配置参数说明

    \<用户名>)的子文件夹.obsutil_log下的obsutil.log文件。 说明: 如果该参数为空,则不会产生日志; 该路径必须是一个文件,不能为文件夹; 开启obsutil日志后,命令运行过程中产生的正常/异常的日志记录都会保存在obsutil日志文件中,可用于问题分析和定位;

    来自:帮助中心

    查看更多 →

  • 删除桶策略

    Windows操作系统 obsutil bucketpolicy obs://bucket -method=delete [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil bucketpolicy

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming对接Kafka样例程序开发思路

    <maxShowDelay> <clickTopic> <maxClickDelay> <triggerInterver> <checkpointDir>。<checkpointDir>指checkpoint文件存放路径。 <kafkaBootstrapServers>指获取元数据的Kafka地址。

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming样例程序开发思路

    在运行样例程序时需要指定<brokers> <subscribe-type> <topic> <protocol> <service> <domain><checkpointDir>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type>指Kafka订阅类型(如subscribe)。

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming样例程序开发思路

    在运行样例程序时需要指定<brokers> <subscribe-type> <topic> <protocol> <service> <domain><checkpointDir>,其中<brokers>指获取元数据的Kafka地址(需使用21007端口),<subscribe-type>指Kafka订阅

    来自:帮助中心

    查看更多 →

  • 如何上传数据至OBS?

    BS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了