从OBS读取模型 概述 从OBS（ 对象存储服务 ）中读取模型文件。 输入 无 输出 模型 参数说明 参数 参数说明 obs_model_path OBS中模型文件的绝对路径，模型文件必须是spark pipeline model文件 样例 params = { "obs_model_path":

查看更多 →

从OBS读取 CS V数据 概述 从OBS（对象存储服务）中读取csv格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 obs_data_path OBS中csv数据文件或数据所在文件夹的绝对路径，例如：obs://桶名称/文件夹/数据文件，obs://桶名称/文件夹 has_header

查看更多 →

是否支持从非华为云存储中读取图片 OCR服务支持读取公网http和https的图片地址，如果使用非华为云存储，请确保相应的图片可以通过公网进行访问。 父主题： API使用类

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：

查看更多 →

从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据：

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析，将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到Elasticsearch中。

查看更多 →

数据读取 单表查询 多表连接查询 子查询表达式 WITH表达式 UNION操作符的使用

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式

查看更多 →

读取模型 概述 读取spark pipeline model类型的模型文件。 输入 无 输出 spark pipeline model类型的模型对象 参数说明 参数 参数说明 input_model_path 模型文件所在的路径 样例 params = { "input_model_path":

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

读取数据 概述 读取格式化的数据，支持csv、json、parquet等。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path 数据文件的绝对路径、相对路径、目录路径或者文件路径均可 format 文件格式，支持csv等 has_header 是否包含表头

查看更多 →

件。 处理方法 读取文件报错，您可以使用Moxing将数据拷贝至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”文件、读取“npy”文件、使用cv2库读取文件和在MXNet环境下使用torch包。 读取文件报错，您可以使

查看更多 →

配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在 服务器 端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于 MRS

查看更多 →

Spark从HBase读取数据再写入HBase样例程序 Spark从HBase读取数据再写入HBase样例程序（Java） Spark从HBase读取数据再写入HBase样例程序（Java） Spark从HBase读取数据再写入HBase样例程序（Scala） Spark从HBas

查看更多 →

Spark从HBase读取数据再写入HBase样例程序 Spark从HBase读取数据再写入HBase样例程序开发思路 Spark从HBase读取数据再写入HBase样例程序（Java） Spark从HBase读取数据再写入HBase样例程序（Scala） Spark从HBase

查看更多 →

配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 操作步骤 设置参数的路径：

查看更多 →

Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）

查看更多 →

Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）

查看更多 →