onExample/SparkHivetoHbase-1.0.jar /opt/female/SparkHivetoHbasePythonExample/SparkHivetoHbasePythonExample.py 父主题： Spark从Hive读取数据再写入HBase样例程序

查看更多 →

使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JD BCS erver已启动。登录Spark2x客户端节点。 使用Spark-Beeline工具创建Spark表table1。 create table table1 ( key string

查看更多 →

jar /opt/female/SparkHivetoHbasePythonExample/SparkHivetoHbasePythonExample.py 父主题： Spark从Hive读取数据再写入HBase样例程序

查看更多 →

OOM问题，同时显示信息正确，建议选择spark.sql.userlocalFileCollect参数进行配置。 false spark.sql.uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点：结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略，大数据情况下

查看更多 →

Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表，这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时，Spark1.5更新过数据后，Spark2x中访问也能感知到变化 ，反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。

查看更多 →

ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。 Ignore：如果已经存在数据，则不做操作。这类似于SQL中的“如果不存在则创建表”。 读取RDS上的数据 1 2 3 4 5 6 7

查看更多 →

Doris支持导入和导出HDFS数据，并且支持直接查询HDFS数据源。 Doris与Hudi组件的关系 Doris支持直接查询Hudi数据源。 Doris与Spark组件的关系 使用Spark Doris Connector可以通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris。

查看更多 →

Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表，这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时，Spark1.5更新过数据后，Spark2x中访问也能感知到变化 ，反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。

查看更多 →

person表的数据。 根据person表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包

查看更多 →

使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JDB CS erver已启动。然后在Spark2x客户端，使用Spark-Beeline工具执行如下操作。 使用Spark-beeline工具创建Spark表table1。 create

查看更多 →

使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。 使用Spark-beeline工具创建Spark表table1。 create table table1 ( key string

查看更多 →

步骤条 步骤条是装饰组件的一种，用于引导用户按照流程完成任务的导航条。 在大屏设计页面，从“全部组件 > 其它”中，拖拽“步骤条”组件至画布空白区域，如图1。 图1 步骤条 图2 边距样式说明 卡片 卡片是指包裹图表组件的外层架构，可以理解为组件由卡片中基础元素（卡片标题、图表、卡片背景、卡片边框）和图表元素构成。

查看更多 →

onExample/SparkHivetoHbase-1.0.jar /opt/female/SparkHivetoHbasePythonExample/SparkHivetoHbasePythonExample.py 父主题： Spark从Hive读取数据再写入HBase样例程序

查看更多 →

partitionColumn设置的字段数据最小值，该值包含在返回结果中。 upperBound partitionColumn设置的字段数据最大值，该值不包含在返回结果中。 numPartitions 读取数据时并发数。 说明： 实际读取数据时，会根据“lowerBound”与“

查看更多 →

partitionColumn设置的字段数据最小值，该值包含在返回结果中。 upperBound partitionColumn设置的字段数据最大值，该值不包含在返回结果中。 numPartitions 读取数据时并发数。 说明： 实际读取数据时，会根据“lowerBound”与“

查看更多 →

OOM问题，同时显示信息正确，建议选择 spark.sql.userlocalFileCollect参数进行配置。 false spark.sql.uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点：结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略，大数据情况下

查看更多 →

配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

直接降冷 支持通过媒资ID将媒资文件从标准存储类型批量降冷为低频存储或归档存储类型。 操作步骤 登录视频点播控制台。 在左侧导航栏中，选择“媒资管理 > 媒资降冷”。进入“媒资降冷”页面，如图1所示。 图1 媒资降冷 参数配置说明，如表1所示。 表1 参数说明 参数 说明 触发条件

查看更多 →

的offset变小。 如果Spark Streaming应用一直在运行，由于Kafka上topic的offset变小，会导致读取Kafka数据的起始位置比结束位置大，这样将无法从Kafka读取数据，应用报错。 如果在重启Kafka服务前，先停止Spark Streaming应用，等Kafka重启后，再重启Spark

查看更多 →

Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：

查看更多 →