首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件input_data1.txt和input_data2.txt，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS客户

查看更多 →

linux_amd64.tar.gz"，需要替换为上一步中obsutil_linux_amd64.tar.gz在OBS上的路径（需将文件设置为公共读）。 单机单卡运行脚本： # 在代码主目录下创建一个run.sh，内容如下 #!/bin/bash # 从obs中下载数据到本地SSD盘

查看更多 →

如何对OBS的文件重命名？ 由于OBS管理控制台不支持对OBS的文件重命名，当您需要对OBS文件进行重命名时需要通过调用MoXing API实现，在已有的或者新创建的Notebook中，执行如下命令，通过接口对OBS中的文件进行重命名。 具体操作如下： 如下示例为将文件“obs_file

查看更多 →

female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1

查看更多 →

数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1

查看更多 →

数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1

查看更多 →

Permission 常量名 原始值 说明 PERMISSION_READ READ 读权限。 如果有桶的读权限，则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 如果有对象的读权限，则可以获取该对象内容和元数据。 PERMISSION_WRITE WRITE 写权限。

查看更多 →

如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件，例如读取文件的内容，需要如何操作？ 回答 默认情况下，可以在UDF中用文件的相对路径来操作文件，如下示例代码： public String evaluate(String text) { //

查看更多 →

如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件，例如读取文件的内容，需要如何操作？ 回答 默认情况下，可以在UDF中用文件的相对路径来操作文件，如下示例代码： public String evaluate(String text) { //

查看更多 →

将待处理的日志文件放置在HDFS系统中。 在Linux系统中新建文本文件，将待处理的数据复制到文件中。例如将MapReduce统计样例程序开发思路中log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在H

查看更多 →

数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1

查看更多 →

查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败，父目录可以看见此文件（不可见字符）。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常，写入了不可见字符。可以将该文件名重定向写入本地文本中，使用vi命令打开。 hdfs dfs

查看更多 →

BS目录，可以获取批量服务预测结果，包括预测结果文件和AI应用预测结果。 若预测成功，目录下有预测结果文件和AI应用预测结果；若预测失败，目录下只有预测结果文件。 预测结果文件：文件格式为“xxx.manifest”，里面包含文件路径、预测结果等信息。 AI应用预测结果输出： 当

查看更多 →

方法二：在Notebook中通过SDK上传下载OBS文件 使用ModelArts SDK接口将OBS中的文件下载到Notebook后进行操作。 示例代码：将OBS中的文件file1.txt下载到Notebook的/home/ma-user/work/路径下。其中，桶名称、文件夹和文件的名称均可以按照业务需求自定义。

查看更多 →

首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件input_data1.txt和input_data2.txt，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS客户

查看更多 →

Id.txt。单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024，可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 当涉及多文件/文件夹时，如需确认失败任务的具体错误信息，可参考结果清单文件夹下的失败结果清单文件“cp

查看更多 →

并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL

查看更多 →

并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL

查看更多 →

并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL

查看更多 →

并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL

查看更多 →

并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL

查看更多 →