当在Filter中使用Big Double类型数值时，过滤结果与Hive不一致 现象描述 当在filter中使用更高精度的double数据类型的数值时，过滤结果没有按照所使用的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值，系

查看更多 →

Streaming对接Kafka样例程序 Spark Structured Streaming状态操作样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题： Spark2x开发指南（普通模式）

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

CarbonData数据分析 新建CarbonData表 删除CarbonData表 修改CarbonData表 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题： 使用CarbonData

查看更多 →

合并CarbonData表Segments 操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行，所以，索引也只在每次加载时执行。这意味着，对于每次加载都会产生一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg

查看更多 →

合并CarbonData表Segments 操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行，所以，索引也只在每次加载时执行。这意味着，对于每次加载都会产生一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每

查看更多 →

CarbonData性能调优 CarbonData调优思路 CarbonData性能调优常见配置参数 创建CarbonData Table的建议 父主题： 使用CarbonData（ MRS 3.x及之后版本）

查看更多 →

组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 21.3.4.25 DBService 2.7.0 Flink 1.12.2 Flume 1.9.0 Guardian 0.1.0 HBase 2.2.3 HDFS 3.1.1 Hive 3.1.0 Hudi（集成在Spark2x中）

查看更多 →

从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部 服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题： 从OBS并行导入数据

查看更多 →

CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入目录“/op

查看更多 →

CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法，所有方法在org.apache.spark.util.CarbonSegmentUtil类中。 如下方法已废弃： /** * Returns the valid segments

查看更多 →

参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri，可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 dfs.nameservices

查看更多 →

<spark-opts> 中的spark-archive-2x.zip路径需要根据实际HDFS文件路径进行修改。 修改上传后HDFS的“/user/developuser/myjobs/apps/spark2x”目录下的“hive-site.xml”中“hive.security.authenticator

查看更多 →

<spark-opts> 中的spark-archive-2x.zip路径需要根据实际HDFS文件路径进行修改。 修改上传后HDFS的“/user/developuser/myjobs/apps/spark2x”目录下的“hive-site.xml”中“hive.security.authenticator

查看更多 →

快速使用HetuEngine访问Hive数据源 本章节指导用户从零开始使用HetuEngine对接Hive数据源，并通过HetuEngine查询本集群Hive数据源的数据库表。 前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务（DBService、KrbSe

查看更多 →

MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 21.3.4.25 DBService 2.7.0 Flink 1.12.2 Flume 1.9.0 HBase 2.2.3 HDFS 3.1.1 HetuEngine 1.2.0 Hive 3.1.0 Hudi（集成在Spark2x中）

查看更多 →

DFS，Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改变carbonstore的位置和warehouse的位置。 HDFS中的配置 fs.defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。当使用“vie

查看更多 →

sparknormal-examples/SparkHivetoHbaseJavaExample Spark从Hive读取数据再写入到HBase的应用开发样例代码。 sparknormal-examples/SparkHivetoHbasePythonExample sparkn

查看更多 →

HIVE优化 概述 Hive架构 Hive提供了Hadoop的SQL能力，主要参考标准的SQL，Hive进行了部分的修改，形成了自己的特有的SQL语法HQL（Hive SQL），更加适合于Hadoop的分布式体系，该SQL目前是Hadoop体系的事实标准。 Hive调优 用户输入

查看更多 →

Hive连接 介绍 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links":

查看更多 →