配置HDFS文件目录标签策略 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式，同时设置每个Datanode对应一个或多个标签，从而给文件的数据块存储指定了特定范围的Datanode。 当使用基于标签的数据块摆放策略

查看更多 →

/apps{1~5}/ 固定目录 WebHCat使用到Hive的包的路径 否 执行WebHCat任务会失败 /hbase 固定目录 HBase数据存储目录 否 HBase用户数据丢失 /hbaseFileStream 固定目录 HFS文件存储目录 否 HFS文件丢失，且无法恢复 /ats/active

查看更多 →

读取模型 概述 读取spark pipeline model类型的模型文件。 输入 无 输出 spark pipeline model类型的模型对象 参数说明 参数 参数说明 input_model_path 模型文件所在的路径 样例 params = { "input_model_path":

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式

查看更多 →

数据读取 单表查询 多表连接查询 子查询表达式 WITH表达式 UNION操作符的使用

查看更多 →

length Integer 参数解释： 文件长度。 取值范围： 不涉及 type String 参数解释： 文件类型。 取值范围： FILE：文件 DIRECTORY：目录 children_num Integer 参数解释： 该目录下的文件条目数。 取值范围： 不涉及 access_time

查看更多 →

创建文件系统本地目录 当创建文件系统后，您需要将文件系统挂载至 云服务器 上，在为root用户创建一个本地目录。 如已成功挂载文件系统，可跳过此章节。请记录步骤4的本地目录后，按照为每个用户创建有读写权限的子目录执行操作。 前提条件 确定云 服务器 操作系统类型，不同操作系统安装NFS客户端的命令不同。

查看更多 →

配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划

查看更多 →

配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划

查看更多 →

切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通集群跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin

查看更多 →

读取数据 概述 读取格式化的数据，支持csv、json、parquet等。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path 数据文件的绝对路径、相对路径、目录路径或者文件路径均可 format 文件格式，支持csv等 has_header 是否包含表头

查看更多 →

如何新建多层文件夹目录？ 问题描述 为什么在协同空间单击“新建文件夹”，左侧目录只创建了一级文件夹目录。如何创建二级、三级文件夹目录？ 图1 新建文件夹1 解决办法 通过左侧文件夹目录上的“新建文件夹”入口，创建子文件夹目录。具体操作如下： 登录协同平台。 左侧目录选择“团队协同空间”。

查看更多 →

参数解释： 返回目录的文件列表，列表中元素字段含义如下： name：文件名或目录路径。 isDir：是否为目录。 size：文件大小。 请求示例 已创建好OBS类型连接器，连接器实例名称为“命名空间__TestOBS”，执行如下请求，列举OBS桶中“a/b/c”路径下文件，起始文件为“1.txt”。

查看更多 →

执行如下命令查看用户自定义配置文件所在父目录的权限。 ll <文件所在路径的父目录路径> 进入NFS盘待访问文件所在目录，修改用户自定义配置文件所在父目录的权限为755。 chmod 755 -R /<文件所在路径的父目录路径> 确认Core或者Task节点是否可以访问到该配置文件。 以root用户登录Core/Task节点。

查看更多 →

402653184 B = 384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额，即限制某目录下的文件最多占用空间大小，例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件（文件大小*副本数）。 hadoop dfsadmin

查看更多 →

缓存可以指定目录，以及指定文件后缀吗？ 可以的，具体操作请参见缓存配置。 父主题： 缓存配置

查看更多 →

DIS Agent支持配置监听多个目录或文件，例如想收集"/home/folder1/file1"和"/home/folder2/file2"这两个文件的日志，可以通过配置多个DISStream来实现：

查看更多 →

变量读取规则 无论是手工输入方式还是文件变量导入的方式添加变量，选择不同的变量读取模式和变量共享模式时变量读取规则如下表1。 表1 变量读取规则 变量读取模式 变量共享模式 概述 举例 顺序模式 用例模式 每个并发按顺序读取一个变量值。 例如，10并发压力模式下的任务，在执行过程中，不同并发按照顺序读取变量中的值。

查看更多 →

使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't

查看更多 →

读取parquet数据 概述 读取parquet格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path parquet数据文件所在的路径 样例 params = { "input_file_path": "" # @param {

查看更多 →

left on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小 blocksize越小，文件数量的上限越小。（ blocksize，系统默认

查看更多 →