使用distcp命令跨集群复制HDFS数据 操作场景 distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。 前提条件 已安装Yarn客户端或者包括Yarn的客户端。例如安装目录为“/opt/client”。 各组件业务用户

查看更多 →

创建函数 登录 函数工作流 控制台，在左侧导航栏选择“总览”，单击“创建函数”进入创建函数界面。 选择“创建空白函数”，在创建函数界面配置如下信息：函数类型选择“事件函数”、输入您自定义的函数名称，此处以“access-redis-demo”为例，选择运行时“Python3.9”，最后单击创建函数。

查看更多 →

“启动”。 如果启动失败可以联系技术支持工程师。 配置Kafka事件触发函数 返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 选择待配置的函数，单击进入函数详情页。 在函数详情页，选择函数版本。 在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 填写如表1所示测试信息后，单击“保存”。

查看更多 →

不勾选时，函数执行委托和函数配置委托将使用同一委托，即使用同一个选择的委托或不使用任何委托。如图5所示。 图5 设置委托 函数配置委托，比如函数需要创建DIS触发器，则需要配置具有DIS访问权限的委托。当没有使用任何函数配置委托或者函数配置委托不存在时，不能创建DIS触发器。 函

查看更多 →

的消息。 使用限制：支持标准版、企业版。仅支持消息上报。 设备间通信 数据分析 数据接入服务 DIS 将数据流转到华为云DIS云服务。目前DIS支持数据转存储至对象存储服务 OBS、MapReduce服务 MRS 、数据湖探索 DLI 、数据仓库服务 DWS、 表格存储 服务 Cloud

查看更多 →

使用函数模板创建函数 概述 FunctionGraph平台提供了函数模板，在创建函数时选择模板，实现模板代码、运行环境自动填充，快速构建应用程序。 创建函数 登录函数工作流控制台，在左侧的导航栏选择“函数模板”。 在“函数模板”界面，“云服务”选择“函数工作流”，模板选择Python

查看更多 →

DIS数据源 算子简介 名称： DIS数据源，IoT数据分析服务仅在华为云部署形态支持DIS数据源。 功能说明： 使用DIS云服务作为pipeline的数据源，从DIS中获取数据。 约束： 下游不允许对接数据源，目前有：IoT设备接入数据源、DIS数据源，及产品过滤算子。 算子配置

查看更多 →

数据转发至DIS 场景说明 将数据流转到DIS云服务，可让您轻松收集、处理和分发实时流数据，以便您对新信息快速做出响应。DIS对接多种第三方数据采集工具，提供丰富的云服务Connector及Agent/SDK。也可以通过转储任务进一步将数据转发到其他云服务进行数据存储、分析，便于客户灵活使用。

查看更多 →

oTDA实例创建。 创建函数 在服务控制台左侧导航栏，选择“计算 > 函数工作流”进入函数工作流控制台，单击“创建函数”。 选择“创建空白函数”，函数类型选择“事件函数”，输入您自定义的函数名称，此处以“iotdemo”为例，选择熟悉的运行时，案例这里使用Python 3.9 ，然后单击创建。

查看更多 →

对数据进行备份。 扩容时请谨慎操作，误操作可能会导致数据丢失或者异常，建议扩容前对数据进行备份，可以使用CBR功能，请参见管理备份磁盘。 前提条件 已登录云服务器。 裸金属服务器请参见《裸金属服务器用户指南》。 弹性云服务器请参见登录弹性云服务器。 裸金属服务器请参见登录裸金属服务器。

查看更多 →

与其他服务的关系 DWR数据处理的数据源是华为云存储服务，DWR提供的华为云自有算子是通过函数生成，且能力源是华为云数据处理相关的云服务。因此，DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务（Object Storage

查看更多 →

已经创建函数，创建过程请参见创建函数。 创建DDS触发器，必须开启函数工作流VPC访问，请参见配置网络。 已经创建DDS文档数据库实例，创建过程请参见购买文档数据库实例。 已经创建DDS文档数据库，请参见新建数据库。 创建DDS触发器 登录函数工作流控制台，在左侧的导航栏选择“函数 >

查看更多 →

分布式消息服务Kafka版与开源Kafka的差异说明，请参见Kafka与开源Kafka的差异。 对于处理失败的Kafka数据，Kafka触发器会丢弃过大记录（>6MB）。 前提条件 进行操作之前，需要做好以下准备。 已经创建函数，创建过程请参见使用空白模板创建函数。 创建Kaf

查看更多 →

接入DIS数据源 概述 ROMA Connect支持把DIS（数据接入服务）作为一个数据源，并用于数据集成任务。在使用DIS数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。 操作步骤

查看更多 →

户在OBS桶下载上传视频文件。 在函数工作流服务 FunctionGraph上创建一个视频转码函数和OBS触发器，实现OBS桶上传视频自动转码。 方案优势 简单易用 无服务器化方案，用户无需关注资源运维，只需关注业务运行状态。 低成本按使用量付费，用多少算多少。 一键部署 一键轻松部署，即可完成函数工作流

查看更多 →

-check 函数工作流的函数并发数在指定范围内 fgs FunctionGraph函数并发数不在指定的范围内，视为“不合规” function-graph-public-access-prohibited 函数工作流的函数不允许访问公网 fgs 函数工作流的函数允许访问公网，视为“不合规”

查看更多 →

开启函数流VPC访问后，需要在GeminiDB Mongo服务安全组配置对应子网的权限。如何开启VPC访问请参见配置网络。 配置GeminiDB事件触发函数 返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 选择待配置的函数，单击进入函数详情页。 在函数详情页，选择函数版本。

查看更多 →

附录 名词解释 函数工作流 FunctionGraph：是一项基于事件驱动的函数托管计算服务。使用FunctionGraph函数，只需编写业务函数代码并设置运行的条件，无需配置和管理服务器等基础设施，函数以弹性、免运维、高可靠的方式运行。此外，按函数实际执行资源计费，不执行不产生费用。

查看更多 →

在使用了字符串处理函数后查询就不使用索引，该如何处理？ 答：在索引列上使用函数处理后就不会走标准的索引，可以创建一个表达式索引，以lpad()函数为例。 --建表并插入数据。 gaussdb=# CREATE TABLE tbl_test (c1 varchar); gaussdb=#

查看更多 →

functionName} # 函数名 handler: index.handler # 函数执行入口 memorySize: 256 # 函数消耗的内存 timeout: 30 # 函数执行超时时间

查看更多 →

使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS

查看更多 →