--query="INSERT INTO orc_tab001 FORMAT ORC" #orc格式文件格式文件数据可以从HDFS中导出，例如： hdfs dfs -cat /user/hive/warehouse/hivedb.db/emp_orc/000000_0_copy_1 |

查看更多 →

转换格式失败，spark-sql使用其内置的Metastore，而不是Hive中使用的Metastore，所以读取元数据时失败，spark-sql内部读取的是Partque格式的数据，而Hive中默认是ORC的。 处理步骤 登录Spark客户端节点，执行如下命令，进入spark-sql： cd {客户端安装目录}

查看更多 →

货币类型 MONEY NUMERIC BIGINT HDFS导出数据准备：HDFS导出准备即配置 MRS ，具体信息可参考《MapReduce服务用户指南》。 父主题： 导出ORC数据到MRS

查看更多 →

HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。

查看更多 →

使用Scan读取数据 功能介绍 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数

查看更多 →

读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

DWS输出流（通过OBS方式转储） 开源Kafka输出流 文件系统输出流 EMAIL DIS输入流 - JSON DIS输入流 OBS输入流 MRS Kafka输入流 开源Kafka输入流 DIS输出流 OBS输出流 MRS Kafka输出流 开源Kafka输出流 ORC - OBS输出流 DWS输出流（通过OBS方式转储）

查看更多 →

大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数

查看更多 →

ORC_ERROR ORC03 逻辑错误类型（ LOG ICERROR） ORC_ERROR ORC04 范围错误类型（RANGEERROR） ORC_ERROR ORC05 写错误类型（WRITEERROR） ORC_FATAL ORC06 中断错误类型（ASSERTERROR） ORC_ERROR

查看更多 →

绑定委托 步骤三：创建OBS文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“mrs-demo01”。 其他参数请根据需要填写。 图5 创建并行文件系统 单击“立即创建”。 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到Hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.MultiComponentExample类：

查看更多 →

<arg> [-sr] -tb <arg> --jars用于指定“protobuf-java-2.5.0.jar”文件所在路径和HBase客户端配置文件所在路径。HBase客户端配置文件所在路径为“客户端安装目录/HBase/hbase/conf”。 支持在提交命令中指定executor数

查看更多 →

匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息，其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区，将给出指定分区的文件系统信息，而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name

查看更多 →

size; }AudioFrame; 表1 参数说明 参数名 说明 data 输出参数，存放读取到音频数据的智能指针。 size 输出参数，读取到音频数据的大小。 n 输入参数，一次读取音频帧数，最大不超过512。 返回值 成功返回0，失败则返回-1，失败时可通过日志查看原因。 父主题：

查看更多 →

读取音频数据 该接口用于读取n帧音频数据。仅支持1.0.8及以上固件版本。 接口调用 hilens.AudioCapture.read(nFrames) 参数说明 表1 参数说明 参数名 是否必选 参数类型 描述 nFrames 否 整型 要读取的帧数量，默认值为1。支持最多一次读取

查看更多 →

读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */

查看更多 →

从MRS导入数据概述 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到Hadoop集群。 代码样例 下面代码片段仅为演示，具体代码请参见com.huawei.bigdata.mapreduce.examples.MultiComponentExample类：

查看更多 →