am_id使用对应接入点和创建好的日志组test-1206、日志流test-206的ID，如图2所示。 图2 write_log.py 创建函数B，代码样例请参考lts_cleanse.py。函数B代码中host、log_group_id和log_stream_id使用对应接入点

查看更多 →

构建程序 创建函数 登录 函数工作流 控制台，在左侧导航栏选择“函数 > 函数列表”，右上角单击“创建函数”。 进入创建函数页面，选择“创建空白函数”，填写函数信息，完成后单击“创建函数”。 函数类型：选择“HTTP函数”。 区域：选择“华东-上海一”。 函数名称：输入您自定义的函数

查看更多 →

使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession

查看更多 →

使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert

查看更多 →

使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0];

查看更多 →

使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession

查看更多 →

使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen

查看更多 →

使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen

查看更多 →

ataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议 p = （dataSize）/128M, 程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1

查看更多 →

dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议p = (dataSize)/128M，程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1

查看更多 →

进入 镜像服务 页面。 创建 弹性云服务器 。 单击“私有镜像”页签，在ISO镜像所在行的“操作”列下，单击“安装 服务器 ”，创建 云服务器 。 由于此云服务器仅作为临时云服务器使用，最终需要删除。因此，系统会默认创建一个固定规格且“按需付费”的云服务器，使用该云服务器创建的私有镜像再次创建云服务器时不会限制规格和付费方式。

查看更多 →

Protocol）。使用公共镜像创建的云服务器默认已打开RDP。打开RDP方法请参考开启远程桌面协议RDP。 Windows操作系统使用RDP文件登录Windows云服务器 本地主机为Windows操作系统，那么您可以使用RDP文件登录Windows云服务器。 登录HE CS （旧版）控制台，单击左上角的选择区域。

查看更多 →

使用云耀云服务器安装宝塔面板 应用场景 宝塔面板是一款使用方便、功能强大的服务器管理软件，支持Linux与Windows系统。宝塔面板可一键配置LAMP、LNMP、网站、数据库、FTP、SSL，通过Web端轻松管理服务器。 本节操作以Huawei Cloud EulerOS 2.0

查看更多 →

使用云服务器备份创建镜像 云服务器备份支持将弹性云服务器的备份创建为镜像，可利用镜像发放弹性云服务器，达到快速恢复业务运行环境的目的。 当云服务器被误删除的时候，可以使用云服务备份创建镜像达到恢复数据的目的。 结合云服务器备份的跨区域复制能力，将备份复制到目标区域后创建镜像，以实现跨区域使用镜像发放弹性云服务器。

查看更多 →

配置安全组的入方向访问规则，放通80、443、9000、9001端口，确保可以正常访问应用。 步骤三：运行Node.js程序 介绍如何使用Node.js应用镜像运行一个Node.js程序。 步骤一：购买Flexus应用服务器 L实例 登录Flexus应用服务器L实例控制台。 单击“购买Flexus

查看更多 →

使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。

查看更多 →

使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。

查看更多 →

使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。

查看更多 →

使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考

查看更多 →

上传安装程序 通过安装程序采用 .zip分发，文件名称通常为lab-install-*.*.*.zip，*.*.*是安装程序的版本号。 如果直接操作服务器，可以通过U盘将文件上传上去；如果是通过xShell等终端来操作的，可以通过相应的文件传输软件将文件上传到服务器中。 具体流程：

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →