Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem

查看更多 →

回收站 批量还原回收站 批量删除回收站 父主题： API

查看更多 →

回收站 设置回收站策略 重建实例 父主题： 实例生命周期管理

查看更多 →

回收站 Octopus平台支持用户删除数据包，执行删除操作的数据包将暂存回收站，等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下： 在“数据包”页签，单击指定数据包操作栏内的“删除”。 确认后单击“确认删除”，删除后的数据包将放入回收站。 图1 删除数据包 查看数据包状态。

查看更多 →

查询回收策略 功能介绍 查询回收策略。 URI GET https://{Endpoint}/v3/{project_id}/instances/recycle-policy 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户在某一region下的project

查看更多 →

选择左侧导航栏的“主机列表 > 回收站”，默认进入“待回收主机”页签。 单击“待回收资源”，切换至“待回收资源”页签。 勾选需要回收的资源，单击“立即回收”。 查看已回收资源 进入运维中心工作台。 在顶部导航栏单击“专项角色”，在下拉列表中选择“基础运维角色”。 单击，选择“运维 > 主机管理服务（VMS）”。

查看更多 →

RDS不回收只读实例，只有主备或者单机实例才会进入回收站。 回收站策略机制默认开启，且不可关闭。 实例删除后会执行一次全量备份，全量备份完成才能通过重建实例恢复数据。 设置回收站策略 回收站保留天数默认7天。修改回收站保留天数，仅对修改后新进入回收站的实例生效，对于修改前已经存在的实例，仍保持原来的回收策略，请您谨慎操作。

查看更多 →

RDS不回收只读实例，只有主备或者单机实例才会进入回收站。 回收站策略机制默认开启，且不可关闭。 实例删除后会执行一次全量备份，全量备份完成才能通过重建实例恢复数据。 设置回收站策略 回收站保留天数默认7天。修改回收站保留天数，仅对修改后新进入回收站的实例生效，对于修改前已经存在的实例，仍保持原来的回收策略，请您谨慎操作。

查看更多 →

UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

，失败（fail）或忽略（ignore）。有关详细信息，请参阅•Bad Records处理： carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息，请参阅 Bad Records处理： carbon

查看更多 →

String 否 Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。 -dc / --driver-cores String 否 Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。 -dm / --driver-memory

查看更多 →

jar）拷贝到Spark运行环境下（即Spark客户端），如“/opt/female”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user

查看更多 →

，失败（fail）或忽略（ignore）。有关详细信息，请参阅•Bad Records处理： carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息，请参阅 Bad Records处理： carbon

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝的使用SQL语句亦或是DataSet

查看更多 →

retainedApplications”决定），当内存中的Spark应用个数超过这个数值时，HistoryServer会回收最先缓存的Spark应用，同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。

查看更多 →

retainedApplications”决定），当内存中的Spark应用个数超过这个数值时，HistoryServer会回收最先缓存的Spark应用，同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。

查看更多 →

Properties import org.apache.spark.sql.{Row,SparkSession} import org.apache.spark.sql.SaveMode 创建会话。 1 val sparkSession = SparkSession.builder().getOrCreate()

查看更多 →

如果业务需求对应的SQL无法简化，则需要配置DRIVER内存： 使用spark-submit或者spark-sql运行SQL语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4]

查看更多 →

配置YARN模式下Spark内部需要上传到HDFS的文件。 /Spark_path/spark/conf/s3p.file,/Spark_path/spark/conf/locals3.jceks Spark_path为Spark客户端的安装路径。 spark.sql.bigdata

查看更多 →

配置YARN模式下Spark内部需要上传到HDFS的文件。 /Spark_path/spark/conf/s3p.file,/Spark_path/spark/conf/locals3.jceks Spark_path为Spark客户端的安装路径。 spark.sql.bigdata

查看更多 →