训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： Standard训练作业

查看更多 →

配置Hive读取Hudi表 Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS的数据，通过Spark组件、Flink组件或者Hudi客户端，可以将Hudi表的数据映射为Hive外部表，基于该外部表，Hive可以进行实时视图查询、读优化视图查询以及增量视图查询。 根据

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 E CS 自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 数据库账号权限要求

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。 使用须知 为了确保录制回放任务

查看更多 →

使用Get读取HBase数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

读取数据库数据 操作场景 本文指导您在应用设计态读取数据库数据。 前提条件 已登录应用设计态。 操作步骤 在左侧导航栏中，选择“数据模型管理 > 反向建模”，进入反向建模页面。 找到需要操作的数据源，单击。 图1 读取数据 在弹出的提示框中，单击“确定”。 读取数据需要等待一段时

查看更多 →

Python API接口 数据处理是通过执行python脚本处理OBS数据。Python脚本执行平台使用的是华为公有云ModelArts服务的训练作业执行引擎。 用户可以在脚本中直接使用MoXing中提供的一套文件对象API，用来读写本地文件或OBS文件系统。 在python脚本

查看更多 →

Python SDK 本章节介绍 对话机器人服务 Python SDK，您可以参考本章节进行快速集成开发。 准备工作 已注册华为云账号，并完成实名认证，账号不能处于欠费或冻结状态。 已具备开发环境，支持Python3及以上版本。 登录“我的凭证 > 访问秘钥”页面，获取Access Key（AK）和Secret

查看更多 →

本样例以“华北-北京四”区域为例，获取对应的项目ID（project_id）。 图2 我的凭证 安装SDK 支持Python3及以上版本，执行python --version检查当前Python的版本信息。 使用SDK前，需要安装“huaweicloudsdkcore”和“huaweicloudsdkfrs”。

查看更多 →

基于Python开发 PyMongo包 连接数据库 访问数据库 完整示例 父主题： 应用程序开发教程

查看更多 →

当前Python文件 使用此启动配置运行当前在代码编辑器中打开的Python文件。 要在没有手动创建启动配置的时候快速运行Python文件，可以在资源管理器右键单击该文件或其代码编辑器中右键单击，从上下文菜单中选择”在终端中运行 Python 文件”。CodeArts IDE会自动为此文件创建

查看更多 →

Python（TCP协议） 收发普通消息 收发顺序消息 收发事务消息 发送定时消息 使用ACL权限访问

查看更多 →

配置Python环境 前提条件 确保已安装Python3，目前Python SDK仅支持Python3。 确保已安装setuptools、requests、websocket-client。 操作步骤 下载SDK，通过pip-list命令查看安装包。若未安装，则执行以下命令： pip

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端（1.4.7版本），从MySQL数据库中指定表抽取数据，存放到HBase（2.2.3版本）指定的表中，报出异常： Trying to load data

查看更多 →

基于Python连接实例 PyMongo包 连接数据库 访问数据库 完整示例 父主题： 最佳实践

查看更多 →

安装相应的python模块。 需要安装sasl，thrift，thrift-sasl，PyHive。 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 安装python连接zookeeper工具。

查看更多 →

登录 弹性云服务器 ，具体操作请参见《弹性 云服务器 快速入门》中“登录弹性云 服务器 ”。 安装Python和Redis的Python客户端Redis-py。 如果系统没有自带Python，可以使用yum方式安装。 yum install python 下载并解压redis-py。 wget https://github

查看更多 →