从OBS读取模型 概述 从OBS（ 对象存储服务 ）中读取模型文件。 输入 无 输出 模型 参数说明 参数 参数说明 obs_model_path OBS中模型文件的绝对路径，模型文件必须是spark pipeline model文件 样例 params = { "obs_model_path":

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

从OBS读取 CS V数据 概述 从OBS（对象存储服务）中读取csv格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 obs_data_path OBS中csv数据文件或数据所在文件夹的绝对路径，例如：obs://桶名称/文件夹/数据文件，obs://桶名称/文件夹 has_header

查看更多 →

读取文件报错，如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。 训练作业读取文件，出现如下报错： NotFoundError (see above for traceback):

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：

查看更多 →

从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据：

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析，将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到Elasticsearch中。

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式

查看更多 →

读取模型 概述 读取spark pipeline model类型的模型文件。 输入 无 输出 spark pipeline model类型的模型对象 参数说明 参数 参数说明 input_model_path 模型文件所在的路径 样例 params = { "input_model_path":

查看更多 →

数据读取 单表查询 多表连接查询 子查询表达式 WITH表达式 UNION操作符的使用

查看更多 →

如何读取函数的请求头？ 函数入口中的第一个参数里面包含请求头，您可以打印函数执行结果，从而获取想要的字段。 如下图，event为函数入口的第一个参数，headers为请求头。 父主题： 函数执行

查看更多 →

读取数据 概述 读取格式化的数据，支持csv、json、parquet等。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path 数据文件的绝对路径、相对路径、目录路径或者文件路径均可 format 文件格式，支持csv等 has_header 是否包含表头

查看更多 →

如何从云 服务器 访问文件系统？ 要访问您的文件系统，如果是Linux云服务器，您需要在Linux云服务器上安装NFS客户端后使用挂载命令挂载文件系统；如果是Windows云服务器，您需要在Windows云服务器上安装NFS客户端，修改NFS传输协议后使用挂载命令挂载文件系统。或使用

查看更多 →

Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）

查看更多 →

Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）

查看更多 →

于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或 域名 。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICE_NAME连接Oracle数据库。

查看更多 →

于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICE_NAME连接Oracle数据库。

查看更多 →