需要增加--conf spark.driver.extraClassPath=/opt/client/Spark2x/spark/conf/:/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/x86/*:/kafkadir/*。

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

，失败（fail）或忽略（ignore）。有关详细信息，请参阅•Bad Records处理： carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息，请参阅 Bad Records处理： carbon

查看更多 →

UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

jar）拷贝到Spark运行环境下（即Spark客户端），如“/opt/female”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user

查看更多 →

配置YARN模式下Spark内部需要上传到HDFS的文件。 /Spark_path/spark/conf/s3p.file,/Spark_path/spark/conf/locals3.jceks Spark_path为Spark客户端的安装路径。 spark.sql.bigdata

查看更多 →

配置YARN模式下Spark内部需要上传到HDFS的文件。 /Spark_path/spark/conf/s3p.file,/Spark_path/spark/conf/locals3.jceks Spark_path为Spark客户端的安装路径。 spark.sql.bigdata

查看更多 →

retainedApplications”决定），当内存中的Spark应用个数超过这个数值时，HistoryServer会回收最先缓存的Spark应用，同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝地使用SQL语句亦或是DataSet

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝地使用SQL语句亦或是DataSet

查看更多 →

，失败（fail）或忽略（ignore）。有关详细信息，请参阅•Bad Records处理： carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息，请参阅 Bad Records处理： carbon

查看更多 →

配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Dr

查看更多 →

配置Spark事件队列大小 配置场景 Spark中的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Driv

查看更多 →

Properties import org.apache.spark.sql.{Row,SparkSession} import org.apache.spark.sql.SaveMode 创建会话。 1 val sparkSession = SparkSession.builder().getOrCreate()

查看更多 →

回收站 批量还原回收站 批量删除回收站 父主题： API

查看更多 →

设置回收策略 功能介绍 设置已删除实例保留天数，修改保留天数后删除的实例按照新的天数来保留，修改之前已在回收站的实例保留天数不变。 接口约束 设置已删除实例保留天数，可设置范围1~7天。 URI PUT https://{Endpoint}/v3/{project_id}/ins

查看更多 →

团队被删除后，还可以在回收站进行恢复。 单击左侧导航“回收站”，进入回收站页面。 在回收站列表中，单击目标对象所在行的，根据提示信息完成恢复操作。 彻底删除操作 如果回收站中对象不再需要，则可以进行彻底删除。 单击左侧导航“回收站”，进入回收站页面。 在回收站列表中，单击目标对象

查看更多 →

回收站 回收站可回收60天内删除的内容，防止用户误删除，资源被删除后可以通过回收站对已删除数据进行恢复操作。 查询已删除内容 在开天 集成工作台 界面中，选择左侧导航栏中的“业务可视化 > 回收站”。 回收站的列表栏自动显示已删除的内容信息，包含“名称/ID”、“类型”、“版本号”、“删除时间”、“删除人”等。

查看更多 →

回收站 操作场景 删除的部分网站数据可以暂时存放回收站，以便还原。 目前文章、产品和图册数据以及资源库文件支持回收站功能，其他数据暂不支持。 图1 回收站 删除的内容会在回收站保留30天，之后会删除。 文件保留时间是按当天开始算的。例如：保留时间为3天，如果在20号18点删除了文

查看更多 →

RDS不回收只读实例，只有主备或者单机实例才会进入回收站。 已停止的实例被删除后不会进入回收站。 回收站策略机制默认开启，且不可关闭。 实例删除后会执行一次全量备份，全量备份完成才能通过重建实例恢复数据。 设置回收站策略 回收站保留天数默认7天。修改回收站保留天数，仅对修改后新进入回收站的实例生效，对于修改前已经

查看更多 →