从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：

查看更多 →

指定为集群“公网访问地址”或“公网访问 域名 ”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 password ：默认管理员用户的密码。 在命令行窗

查看更多 →

FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于 MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter

查看更多 →

并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on

查看更多 →

中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

创建训练作业界面无云存储名称和挂载路径排查思路 问题现象 创建训练作业界面没有云存储名称和挂载路径这两个选项。 原因分析 用户的专属资源池没有进行网络打通，或者用户没有创建过SFS。 处理方法 在专属资源池列表中，单击资源池“ID/名称”，进入详情页。单击右上角“配置NAS VPC”，检查是否开启了NAS

查看更多 →

创建共享文件夹 操作场景 该操作指导管理员在NAS存储上创建共享文件夹。 操作步骤 使用管理员帐号登录云应用的管理控制台。 在左侧导航栏中依次选择“存储 > NAS存储”，进入“NAS存储”页面。 单击NAS存储名称右侧“NAS存储管理”进入NAS存储详情页面。 在共享文件夹页签单

查看更多 →

联创建存储卷声明PVC、存储卷PV和底层存储。 已有底层存储的场景下，根据是否已经创建PV可选择“新建存储卷”或“已有存储卷”，静态创建PVC，具体操作请参见通过静态存储卷使用已有文件存储。 本文中选择“动态创建存储实例”。 存储类 文件存储对应的默认存储类为csi-sfs或csi-nas。

查看更多 →

云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS Turbo文件系统，并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问本地NAS存储和云上SFS

查看更多 →

写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →

删除个人文件夹 操作场景 该操作指导管理员在NAS存储上删除个人文件夹。 操作步骤 使用管理员帐号登录云应用的管理控制台。 在左侧导航栏中依次选择“存储 > NAS存储”，进入“NAS存储”页面。 单击存储名称右侧“NAS存储管理”进入NAS存储管理页面。 在个人文件夹页签选择需要删除的个人文件夹。

查看更多 →

修改个人文件夹权限 操作场景 该操作指导管理员在NAS存储上修改个人文件夹的权限。 操作步骤 使用管理员帐号登录云应用的管理控制台。 在左侧导航栏中依次选择“存储 > NAS存储”，进入“NAS存储”页面。 单击存储名称右侧“NAS存储管理”进入“NAS存储管理”页面。 在NAS存储

查看更多 →

“NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户

查看更多 →

背景说明 用户可以将本地NAS存储中的数据，通过云专线迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS

查看更多 →

是 Long 后端校验时间。单位：秒。指定时间间隔进行线上缓存文件与后端存储文件比较，存在变化则自动更新。0表示文件进行实时校验。 nas 否 Array of ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选

查看更多 →

创建SFS Turbo 功能介绍 SFS Turbo提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（Elastic Cloud Server，E CS ），容器（CCE&CCI），裸金属服务器（BMS）提供共享访问，能够弹性伸缩至320TB规模，具备高可用性和持久性

查看更多 →