提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

S中。 分布式缓存服务 分布式缓存服务（Distributed Cache Service，简称D CS ）为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，兼容Redis，满足用户高并发及快速数据访问的业务诉求。 ROMA Connect可以使用Redis作为数据

查看更多 →

是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JD BCS erver中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark cli方式运行metastore

查看更多 →

${BIGDATA_HOME}/tmp/spark2x_JobHistory spark.history.store.maxDiskUsage JobHistory本地磁盘缓存的最大可用空间 10g 父主题： Spark运维管理

查看更多 →

管理向量索引缓存 CSS 的向量检索引擎使用C++实现，使用的是堆外内存，该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中，向量索引与Lucene其他类型索引一样，每一个segment构造并存储一份索引文件，在查询

查看更多 →

创建刷新缓存任务 功能介绍 创建刷新缓存任务。 调用方法 请参见如何调用API。 URI POST /v1.0/cdn/content/refresh-tasks 表1 Query参数 参数 是否必选 参数类型 描述 enterprise_project_id 否 String

查看更多 →

扩容缓存实例 功能介绍 用户可以为状态为“运行中”的Redis和Memcached缓存实例进行扩容和实例类型从单机升级为主备操作。 URI POST /v1.0/{project_id}/instances/{instance_id}/extend 参数说明见表1。 表1 参数说明

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

创建预热缓存任务 功能介绍 创建预热任务。 调用方法 请参见如何调用API。 URI POST /v1.0/cdn/content/preheating-tasks 表1 Query参数 参数 是否必选 参数类型 描述 enterprise_project_id 否 String

查看更多 →

创建刷新缓存任务 功能介绍 创建刷新缓存任务。 URI POST /v1.0/cdn/refreshtasks 参数说明请参见表1。 表1 参数说明 名称 是否必选 参数类型 描述 enterprise_project_id 否 String 当用户开启企业项目功能时，该参数生效

查看更多 →

是 String 缓存引擎：Redis。 engine_version 否 String 缓存版本。 Redis缓存引擎，取值为4.0、5.0、6.0。 capacity 是 Float 缓存容量（G Byte） Redis4.0、Redis5.0和Redis6.0基础版：单机和主备类型实例取值：0

查看更多 →

缓存刷新和缓存预热提示用户权限不足 如果您在进行缓存刷新和缓存预热操作时提示权限不足，可参照以下方法排查： 如果您使用的是IAM子账号登录，请先确认您的IAM子账号是否具有刷新预热的操作权限：CDN RefreshAndPreheatAccess。子账号的操作权限可向主账号管理员申请开通。

查看更多 →

缓存刷新和缓存预热有什么区别？ 缓存刷新和缓存预热的区别如下所示： 缓存刷新：提交缓存刷新请求后，CDN节点的缓存内容将会被强制过期。当用户向CDN节点请求资源时，CDN会直接回源站请求对应的资源返回给用户，并将其缓存。 缓存预热：提交缓存预热请求后，源站将会主动将对应的资源缓存

查看更多 →

refIP string 分布式缓存实例的访问IP地址 refPort integer 分布式缓存实例的访问端口 refName string 分布式缓存实例的名称 refID string 分布式缓存实例的ID chargeMode string 分布式缓存实例的包周期类型 blueprint样例

查看更多 →

分布式身份 注册个人分布式身份 注册企业分布式身份 更新企业DID服务 查询分布式身份文档 父主题： API

查看更多 →

云搜索服务 CSS - Elasticsearch输出流 - 分布式缓存服务 DCS - DCS输出流 自定义作业交互 文档数据库服务 DDS - DDS输出流 - 数据接入服务 DIS DIS输入流 DIS输出流 - 分布式消息服务 DMS DMS输入流 DMS输出流 - 数据仓库服务

查看更多 →

配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录 FusionInsight Manager系统，选择“集群

查看更多 →

在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_shuffle”的文件。 HistoryServer默认会缓存50个Spark应用（由配置项“spark.history.retainedApp

查看更多 →