# 数智融合计算服务 DataArts Fabric > 数据+AI一站式开发平台 ## 产品介绍 - [什么是DataArts Fabric](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0002.md): 数智融合计算服务DataArts Fabric是华为云提供的数据+AI一站式开发平台，提供从数据处理、分析到模型微调、推理、部署上线的全生命周期管理能力，让数据工程师、数据科学家、AI应用开发工程师等多角色使用自己最熟悉的工具，在同一个工作台上工作，实现从开发到生产的高效协同。DataArts Fabric可实现自动扩缩，以支持最苛刻的应 - [产品优势](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0003.md): DataArts Fabric服务具有以下优势：数智一站式开发，提供统一的开发体验一个工作空间，提供多种工作负载，包含SQL、基于Ray的数据工程。基于LakeFormation统一管理结构化、半结构化、非结构化数据，数智开发全流程，一份元数据和一份权限控制。数据+AI共享一份数据，客户无需进行数据复制。开箱即用，资源弹性，按需使用全托管 - [应用场景](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0004.md): 本节介绍DataArts Fabric服务的主要应用场景。数据工程高效处理大规模数据，通过并行计算加速数据处理过程，例如数据清洗、转换和聚合。高效处理大规模数据，通过并行计算加速数据处理过程，例如数据清洗、转换和聚合。分布式机器学习Ray支持分布式训练和调优，可以用于处理大规模数据集和模型，使得模型训练更加高效。Ray支持分布式训练和调优 - [DataArts Fabric SQL](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_sql_01_0011.md): DataArts Fabric SQL是一个全托管式数据平台，利用华为云基础设施提供的资源池化和海量存储能力，结合并行执行、元数据解耦、计算持久化分离架构，实现了极致弹性和湖仓一体等能力，提供先进软件及服务（SaaS）技术。全新的无服务器架构可以让您在使用SQL语言处理组织复杂业务时，无需管理基础架构。DataArts Fabric SQ - [产品规格](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0044.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [权限管理](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0042.md): 如果您需要对华为云上购买的DataArts Fabric资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。如果 - [Ray约束限制](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0048.md): 不同的开源大模型有不同的LICENSE约束，详细请见下表：Token配额约束：每种公共推理服务都有免费配额限制，超过配额不可用，也无法再购买。每种公共推理服务的配额为当前用户在当前局点下所有工作空间共享；时间约束：有效期为开通90天内，超过时间则失效。同一个推理服务在不同工作空间下面开通，以首次开通为准。不保证SLA，如果想要更高的性能， - [DataArts Fabric SQL约束限制](https://support.huaweicloud.com/productdesc-fabric/dataartsfabric_sql_01_0049.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 ## 计费说明 - [Ray计费概述](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0047.md): 通过阅读本文，您可以快速了解Ray的计费模式、计费项、续费等主要计费信息。DataArts Fabric服务提供包年包月、按需计费两种计费模式供您灵活选择。包年包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。按需：一种后付费模式，即先使用再付费，按 - [SQL计费概述](https://support.huaweicloud.com/price-fabric/dataartsfabric_sql_01_0048.md): 通过阅读本文，您可以快速了解Fabric SQL的计费模式、计费项等主要计费信息。Fabric SQL服务提供Pay By Resource和Pay By Query两种Serverless按需计费模式供您灵活选择。Pay By Resource：按照创建的SQL端点的预热资源数量*运行时长计费，可以即开即停，秒级计费，按小时结算，每个自 - [Fabric Ray计费项](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0012.md): DataArts Fabric服务根据RAY业务场景有不同的策略进行计费。详细的计费项及说明请参考表1。 - [Fabric SQL计费项](https://support.huaweicloud.com/price-fabric/dataartsfabric_sql_01_0012.md): Fabric SQL服务根据业务场景实际使用的资源进行计费。详细的计费项及说明请参考表1 SQL计费项信息。 - [计费模式](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0013.md): DataArts Fabric服务提供包年包月、按需计费两种计费模式供您灵活选择。包年包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。按需：一种后付费模式，即先使用再付费，按照计算资源的实际使用时长计费，秒级计费，按小时结算。按需计费模式允许您根据 - [变更配置](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0015.md): 当前DataArts Fabric服务计费项仅支持修改Ray资源和SQL预热资源，其他业务场景都是按使用量按需计费，不涉及订单变更流程，且暂时不支持计费方式变更，因此变更配置只涉及Ray资源和SQL预热大小变更场景。修改Ray资源或者SQL预热资源大小对费用影响如表1所示：费用影响当前计费模式变更场景对费用的影响按需Ray资源数量变更（升 - [费用账单](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0016.md): 账单上报周期按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同，分为按小时、按天、按月三种周期进行结算，具体扣费规则可以参考按需产品周期结算说明。示例：按小时结算的云服务器在8:30删除资源，但是8:00~9:00期间产生的费用，通常会在10:00左右才进行扣费。在“费用中心 > 账单管理 > - [停止计费](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0017.md): 在查看账单后，如果您需要对某些资源停止计费可参考以下步骤：在账单中获取资源ID或资源名称等其他资源信息。根据上一步的信息，在云服务的控制台找到云服务资源。将资源停止计费。具体操作如下：Ray资源：停止Ray资源的计费，需要删除/退订Ray资源，删除后可能导致已有的Ray集群不可用。JOB端点：对于公共端点，不使用公共端点执行作业则不会产生 - [到期与续费](https://support.huaweicloud.com/price-fabric/dataartsfabric_01_0018.md): 客户欠费后，可以查看欠费详情。为防止相关资源被停止或者释放，需要客户及时进行充值，账号将进入欠费状态，需要在约定时间内支付欠款，详细操作请参考欠费还款。如果没有及时地进行续费或充值，将进入宽限期。如宽限期满仍未续费或充值，将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值，存储在云服务中的数据将被删除、云服务资源将被释放。详细 ## 用户指南 - [创建IAM用户并授权使用DataArts Fabric](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0003.md): 在使用DataArts Fabric相关功能之前，您需要提前做好准备工作，包括开通账号、开通与配置账号子账号权限、创建工作空间等。本章节详细介绍创建IAM用户并授权使用DataArts Fabric操作步骤。已有可正常使用的华为云账号。管理员可以通过为不同的用户组设置不同的策略，对不同的用户设置不同的用户组来实现用户权限控制，管理员可以根 - [配置DataArts Fabric服务委托权限](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0006.md): 当前云服务提供多种功能，不同的功能需要不同的委托权限。详细见表1。已有可正常使用的华为云账号。除必选的委托，其他委托权限都支持取消。DataArts Fabric服务会使用委托fabric_admin_trust来访问用户的OBS桶中的文件，因此需要保证委托能正常访问用户的OBS桶。用户需确认在DataArts Fabric服务中使用的O - [创建接入客户端](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0050.md): 创建接入客户端后，您可以通过VPC端点服务使用内网域名或者IP访问DataArts Fabric服务的API。已有可正常使用的华为云账号。当前账号已有足够的VPCEP、DNS内网域名等资源配额。如果创建失败，客户端将自动回滚删除，并回收相关资源。创建客户端将产生费用，实际扣费以账单为准。详细信息，请参见计费模式。登录DataArts Fa - [创建工作空间](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0004.md): 工作空间是DataArts Fabric的基本单元，后续所有的操作都在工作空间中进行。因此在账号授权配置完成，需要首先创建工作空间。用户可根据实际需要创建一个或多个工作空间，各个工作空间是单独隔离的。已有可正常使用的华为云账号。 - [购买Ray资源](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0043.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。由于Ray是全托管模式，在使用Ray前，先需要购买Ray资源。操作步骤如下：购买Ray资源有最低资源要求，最低需要4个fabric.ray.dpu.d1x的资源总量，DataArts Fabric服务中fabric.ray.dpu.dnx = n * fabric.ray.dpu - [退订Ray资源](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0014.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已购买Ray资源。包周期：在对应Ray资源的操作列单击更多 > 退订。按需：直接单击操作列删除。退订Ray资源删除/退订Ray资源后无法恢复，且可能影响已存在的Ray集群状态。删除/退订Ray资源后无法恢复，且可能影响已存在的Ray集群状态。 - [镜像包管理](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0015.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。请确保您已开通镜像包操作白名单功能。如果有试用需求，请在DataArts Fabric工作空间管理台顶部导航栏选择工单 > 新建工单申请权限。登录容器镜像服务SWR控制台，在页面上传对话框参照上传提示信息，上传镜像压缩包到SWR。如果文件大小超过2GB，请使用客户端上传。具体操作 - [创建Ray集群](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0044.md): Ray是一款高性能分布式执行框架，它使用了和传统分布式计算系统不一样的架构，提供了分布式计算的抽象方式。Ray集群采用全托管独享模式，用户无需关心后台的资源管理，提供基于Ray的分布式作业执行能力，完全兼容开源版本，用户无需对脚本进行复杂的适配就可以使用，并且开放原生的Dashboard能力，保证用户的使用习惯。相比开源Ray，DataA - [查看Ray集群概览](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0018.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个Ray集群。 - [创建Ray Job](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0019.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个可用的Ray集群。已根据业务需求开发Job相关代码，并将代码上传至OBS。创建OBS桶及上传文件的具体操作，请参考OBS创建桶。 - [运行Ray Job](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0020.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个可用的Ray集群。已有至少一个可用的Job作业。 - [管理Ray Job](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0021.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个可用的Ray集群。已有至少一个可用的Job作业。 - [查看Ray Dashboard](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0022.md): 创建Ray集群后，运行Ray Job，如果需要查看Job的运行情况，或者查看Ray集群的详细信息，可通过打开Ray自带的Dashboard查看。已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个可用的Ray集群。已有至少一个可用的Job作业。查看路径的方法有以下两种：方法一：通过Ray集群页面进入Dashboard。 - [删除Ray集群](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0017.md): 已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个Ray集群。如果当前Ray集群有运行Job记录，则需要先删除Job才能删除Ray集群。Ray集群一旦删除所有记录都会被清理掉，且无法恢复。请谨慎操作。 - [查看指标](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0039.md): 为使用户更好地掌握Ray集群资源的使用情况，云服务平台将指标上报到了应用运维管理AOM，用户可以通过应用运维管理AOM查询资源使用情况。已有可正常使用的华为云账号。已有至少一个正常可用的工作空间。已有至少一个Ray集群。 - [创建Ray服务](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0046.md): 已有可正常使用的华为云账号。具体操作，请参见创建IAM用户并授权使用DataArts Fabric和配置DataArts Fabric服务委托权限。已有至少一个正常可用的工作空间。具体操作，请参见创建工作空间。已购买相应的Ray资源。具体操作，请参见购买Ray资源。已创建Ray服务镜像包版本与推理部署文件。关于如何创建镜像包，请参见创建镜 - [升级Ray服务](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0047.md): 已有可正常使用的华为云账号。具体操作，请参见创建IAM用户并授权使用DataArts Fabric和配置DataArts Fabric服务委托权限。已有至少一个正常可用的工作空间。具体操作，请参见创建工作空间。已购买相应的Ray资源。具体操作，请参见购买Ray资源。已创建升级Ray服务镜像包版本与推理部署文件（如果需要升级）。关于如何创建 - [运行推理服务](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0048.md): 已有可正常使用的华为云账号。具体操作，请参见创建IAM用户并授权使用DataArts Fabric和配置DataArts Fabric服务委托权限。已有至少一个正常可用的工作空间。具体操作，请参见创建工作空间。已有至少一个Ray服务。具体操作，请参见创建Ray服务。如图，使用curl进行推理：得到推理结果：9 - [删除Ray服务](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0049.md): 已有至少一个Ray服务。具体操作，请参见创建Ray服务。Ray服务一旦删除所有记录都会被清理掉，且无法恢复。请谨慎操作。 - [DataArts Fabric SQL使用流程](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0001.md): DataArts Fabric SQL使用流程如表1所示。 - [开通公共端点](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0019.md): 公共端点所有用户可见，需要开通之后才可以使用。开通公共端点存在1分钟左右的延时。 - [创建SQL端点](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0006.md): 在使用DataArts Fabric SQL服务的时候除了使用公共端点，用户也可以自己创建端点。这些端点是属于用户个人，其他用户不可见。创建SQL端点的基本信息参数名称说明名称必填，SQL端点名称。长度为1-128，不支持重复名称。只能包含中文、字母、数字、下划线、中划线、点、空格。描述可选，SQL端点的描述信息。长度为0-512。不能包 - [修改SQL端点](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0007.md): 在使用DataArts Fabric SQL服务的时候，用户可以修改自己创建的端点。 - [删除SQL端点](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0008.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [查询SQL端点详情](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0009.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [SQL作业历史](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0010.md): 只支持导出T-90至T-1的SQL作业历史。 - [SQL端点监控](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0015.md): 资源使用率每15秒采集一次，如果SQL执行时间较短，监控图表无法体现。资源使用率更新周期为5分钟，活跃会话并发更新周期为1分钟。 - [查看SQL会话](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0017.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [查看SQL运行情况](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0018.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [使用SQL编辑器](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0003.md): 支持通过SQL编辑器连接DataArts Fabric SQL进行SQL操作。 - [使用DBeaver访问DataArts Fabric SQL](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0012.md): DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库，使用JDBC API通过JDBC驱动程序与数据库交互。您可以通过DBeaver官方网站 ，根据操作系统获取对应版本的DBeaver。URL模板：单击确定，添加DataArts Fabric SQL的驱动。 - [使用Tableau访问DataArts Fabric SQL](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0013.md): Tableau是业界流行的BI工具。对于关系数据库，可以使用JDBC API通过JDBC驱动程序与数据库交互。您可以通过Tableau官方网站 ，获取最新版本的Tableau。例如，Windows下目录示例如下，详情请参见Tableau和JDBC-Tableau。如果没有此选项，可以单击更多，然后单击其他数据库（JDBC）。JDBC UR - [获取JDBC](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_sql_02_0014.md): JDBC驱动程序用于连接DataArts Fabric SQL，用户可以通过以下方式获取JDBC。复制Maven库信息，并将其添加到pom.xml文件中。在pom.xml文件中添加如下Maven坐标： com.huaweicloud.dws 数据授权”，单击“授权”，将文件所在路径的READ/WRITE授权给当前IAM用户。其中fullLocation是obs上Iceberg表所在路径的完 - [Iceberg表服务](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0311.md): DataArts Fabric SQL提供一系列表服务，用户可以根据需要使用，例如清理旧快照，整理元数据、数据文件等，以提高存储、查询的效率。具体语法可参考ICEBERG表服务函数。示例：清理旧快照select * from iceberg_expire_snapshots('iceberg_test','2025-05-15 14:12 - [并发数据修改冲突](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0313.md): 在并发写入Iceberg表时，通常会遇到两类冲突：并发修改数据冲突、乐观锁并发提交冲突。本文介绍并发数据修改冲突。当出现以下并发作业时，可能会产生数据冲突，从而导致作业失败：对同一分区数据并发执行DML操作，例如对同一分区执行Update/Delete/Insert Overwrite/Insert操作。Compaction与DML操作并 - [乐观锁并发提交冲突](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0314.md): 乐观锁并发提交冲突的产生原因：多个修改作业（包括Insert、Update、Delete、MergeInto以及表服务操作）同时在LakeFormation上提交导致的并发提交冲突。例如：上图中，Transaction1和Transaction2分别为两个DML事务，Transaction1基于元数据版本version1进行数据处理和提交 - [开发规范](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0038.md): 如果用户在APP的开发中，使用了连接池机制，那么需要遵循如下规范：如果在连接中设置了GUC参数，那么在将连接归还连接池之前，必须使用“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。如果使用了临时表，那么在将连接归还连接池之前，必须将临时表删除。否则，连接池里面的连接就是有状态的 - [获取JDBC驱动](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0315.md): 您可以通过以下方式获取Java SDK。使用Maven中央仓库和Maven工程下载安装Java SDK。在Maven项目中添加以下依赖项到pom.xml文件： - [JDBC包与驱动类](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0041.md): 从管理控制台下载包名为dws_8.x.x_jdbc_driver.zip。解压后有两个JDBC的驱动jar包：gsjdbc4.jar：与PostgreSQL保持兼容的驱动包，其中类名、类结构与PostgreSQL驱动完全一致，曾经运行于PostgreSQL的应用程序可以直接移植到当前系统使用。gsjdbc200.jar：如果同一JVM进程 - [开发流程](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0042.md): 在Java数据库连接（JDBC）开发中，遵循一定的流程可以帮助您高效地实现数据库操作。一个基本的JDBC开发流程，通常包括建立数据库连接、执行SQL查询或更新、处理结果、关闭连接等关键步骤。采用JDBC开发应用程序的流程图示例如下： - [加载驱动](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0043.md): 在创建数据库连接之前，需要先加载数据库驱动程序。加载驱动有两种方法：在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver");在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql.Driver jdbctest上述jdbctest为测试用例程 - [连接数据库](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0044.md): 在创建数据库连接之后，才能使用它来执行SQL语句操作数据。JDBC提供了三个方法，用于创建数据库连接。DriverManager.getConnection(String url);DriverManager.getConnection(String url, Properties info);DriverManager.getConne - [执行SQL语句](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0045.md): 应用程序通过执行SQL语句来操作数据库的数据（不用传递参数的语句），需要按以下步骤执行：预编译语句是只编译和优化一次，然后可以通过设置不同的参数值多次使用。由于已经预先编译好，后续使用会减少执行时间。因此，如果多次执行一条语句，请选择使用预编译语句。可以按以下步骤执行：用一条预处理语句处理多条相似的数据，数据库只创建一次执行计划，节省了语 - [处理结果集](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0046.md): ResultSet对象具有指向其当前数据行的光标。最初，光标被置于第一行之前。next方法将光标移动到下一行；因为该方法在ResultSet对象没有下一行时返回false，所以可以在while循环中使用它来迭代结果集。但对于可滚动的结果集，JDBC驱动程序提供更多的定位方法，使ResultSet指向特定的行。定位方法如表1所示。对于可滚动 - [关闭连接](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0047.md): 在使用数据库连接完成相应的数据操作后，需要关闭数据库连接。关闭数据库连接可以直接调用其close方法即可。如：conn.close() - [示例：常用操作](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0048.md): 以下演示基于JDBC开发的主要步骤。涉及创建数据库、创建表、插入数据等。此示例将演示如何基于DataArts Fabric SQL提供的JDBC接口开发应用程序。//DBtest.java import java.sql.Connection; import java.sql.DriverManager; import java.sql - [java.sql.Connection](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0051.md): java.sql.Connection是数据库连接接口。 - [java.sql.DatabaseMetaData](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0053.md): java.sql.DatabaseMetaData是数据库对象定义接口。 - [java.sql.Driver](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0054.md): java.sql.Driver是数据库驱动接口。 - [java.sql.PreparedStatement](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0055.md): java.sql.PreparedStatement是预处理语句接口。addBatch()、execute()必须在clearBatch()之后才能执行。调用executeBatch()方法并不会清除batch。用户必须显式使用clearBatch()清除 。在添加了一个batch的绑定变量后，用户如果想重用这些值(再次添加一个batch - [java.sql.ResultSet](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0056.md): java.sql.ResultSet是执行结果集接口。一个Statement不能有多个处于“open”状态的ResultSet。用于遍历结果集(ResultSet)的游标(Cursor)在被提交后不能保持“open”的状态。 - [java.sql.ResultSetMetaData](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0057.md): java.sql.ResultSetMetaData是对ResultSet对象相关信息的具体描述。 - [java.sql.Statement](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0058.md): java.sql.Statement是SQL语句接口。通过setFetchSize可以减少结果集在客户端的内存占用情况。它的原理是通过将结果集打包成游标，然后分段处理，所以会加大数据库与客户端的通信量，会有性能损耗。由于数据库游标是事务内有效，所以，在设置setFetchSize的同时，需要将连接设置为非自动提交模式，setAutoCom - [javax.sql.ConnectionPoolDataSource](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0059.md): javax.sql.ConnectionPoolDataSource是数据源连接池接口。 - [javax.sql.DataSource](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0060.md): javax.sql.DataSource是数据源接口。 - [javax.sql.PooledConnection](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0061.md): javax.sql.PooledConnection是由连接池创建的连接接口。 - [javax.naming.Context](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0062.md): javax.naming.Context是连接配置的上下文接口。 - [javax.naming.spi.InitialContextFactory](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0063.md): javax.naming.spi.InitialContextFactory是初始连接上下文工厂接口。 - [使用前须知](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0066.md): DataArts Fabric SQL Java软件开发包（DataArts Fabric SQL Java SDK，DataArts Fabric SQL Java Software Development Kit）是DataArts Fabric SQL提供的REST API的Java语言版本的封装。用户可以使用SDK提供的接口方法来 - [使用前准备](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0067.md): 在使用JavaSDK访问DataArts Fabric SQL之前，您需要先完成服务环境的准备和开发环境的准备。服务环境准备包括准备账号和访问密钥，是使用SDK与DataArts Fabric SQL云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行，需要提前在本地完成开发环境的搭建，例如下 - [客户端初始化](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0068.md): 使用Java SDK工具访问DataArts Fabric SQL，需要用户初始化DataArts Fabric SQL客户端。用户可以使用永久AK/SK或临时AK/SK两种认证方式初始化客户端，示例代码如下：已参考使用前须知获取了对应权限。已参考使用前准备配置了Java SDK并取得了AK/SK或者Token。方法定义参数说明参数名是否 - [SDK方法介绍](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0069.md): 功能介绍Session表示一个连接，用户可以通过一个Session执行SQL请求，并通过该Session查询请求结果。该方法可以通过用户提供的工作空间ID和端点ID同步创建一个Session，可以设置Session连接的lakeformation实例信息和catalog名称。Session表示一个连接，用户可以通过一个Session执行S - [性能调优概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0077.md): 数据库性能调优是指通过优化数据库系统的配置及SQL查询，以提高数据库性能和效率的过程。目的为消除性能瓶颈、减少响应时间、提高系统吞吐量和资源利用率，降低业务成本，从而提高系统稳定性，给用户带来更大的价值。本章通过性能诊断、系统调优及SQL调优及常见SQL调优案例等性能调优的实际操作，为数据库性能调优人员提供全方位的指导。数据库调优是一个复 - [数据库系统参数调优](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0079.md): 为了保证数据库尽可能高性能地运行，建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置，关于参数的详细设置方法请参考查看和设置GUC参数。 - [SMP并行执行](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0080.md): 在复杂查询场景中，单个查询的执行较长，系统并发度低，通过SMP并行执行技术实现算子级的并行，能够有效减少查询执行时间，提升查询性能及资源利用率。通过算子并行来提升性能，同时会占用更多的系统资源，包括CPU、内存、网络、I/O等等。本质上SMP是一种以资源换取时间的方式，在合适的场景以及资源充足的情况下，能够起到较好的性能提升效果；但是如果 - [SQL查询执行流程](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0082.md): SQL引擎从接收SQL语句到执行SQL语句需要经历的步骤如图1和表1所示。其中，红色字体部分为DBA可以介入实施调优的环节。DataArts Fabric SQL优化器是典型的基于代价的优化 (Cost-Based Optimization，简称CBO)。在这种优化器模型下，数据库根据表的元组数、字段宽度、NULL记录比率、distinc - [SQL执行计划](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0083.md): SQL执行计划是一个节点树，显示DataArts Fabric SQL执行一条SQL语句时执行的详细步骤。使用EXPLAIN命令可以查看优化器为每个查询生成的具体执行计划。EXPLAIN给每个执行节点都输出一行，显示基本的节点类型和优化器为执行这个节点预计的开销值。除了设置不同的执行计划显示格式外，还可以通过不同的EXPLAIN用法，显示 - [执行计划算子](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0084.md): SQL执行计划中每一个步骤为一个数据库运算符，也叫做一个执行算子。DataArts Fabric SQL中算子是基本的数据处理单元，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。DataArts Fabric SQL算子可分为：扫描算子、控制算子、物化算子、连接算子、其他算子等。扫描算子用来扫描表中的数据，每次获取一条 - [SQL执行监控](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0316.md): SQL历史监控数据中记录了查询作业的各项资源使用情况（包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等）以及SQL执行计划信息（EXPLAIN/EXPLAIN PERFORMANCE），且历史监控数据只有在SQL语句执行结束后才会生成。SQL历史监控数据对外展示的字段如下：当前SQL监控数据存放在结果集 - [SQL调优流程](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0085.md): 对慢SQL语句进行分析，通常包括以下步骤： - [更新统计信息](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0086.md): 在数据库中，统计信息是规划器生成计划的源数据。没有收集统计信息或者统计信息陈旧会造成执行计划严重劣化，从而导致性能问题。ANALYZE语句可收集与数据库中表内容相关的统计信息，统计结果存储在系统表PG_STATISTIC中。查询优化器会使用这些统计数据，以生成最有效的执行计划。建议在执行了大批量插入/删除操作后，例行对表或全库执行ANAL - [子查询调优](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0091.md): 应用程序通过SQL语句来操作数据库时会使用大量的子查询，这种写法比直接对两个表做连接操作在结构上和思路上更清晰，尤其是在一些比较复杂的查询语句中，子查询有更完整、更独立的语义，会使SQL对业务逻辑的表达更清晰更容易理解，因此得到了广泛的应用。DataArts Fabric SQL根据子查询在SQL语句中的位置把子查询分成了子查询、子链接两 - [算子级调优](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0093.md): 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。通用的优化手段是EXPLAIN ANALYZE/PERFORMANCE命令查看执行过程的瓶颈算子，然后进行针对性优化。如下面的执行过程信息中，Hashagg算子的执行时间占总时间的：(66167-5621 - [SQL语句改写规则](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0095.md): 根据数据库的SQL执行机制以及大量的实践，总结发现：通过一定的规则调整SQL语句，在保证结果正确的基础上，能够提高SQL执行效率。如果遵守下列规则，能够大幅度提升业务查询效率。使用union all代替unionunion在合并两个集合时会执行去重操作，而union all则直接将两个结果集合并、不执行去重。执行去重会消耗大量的时间，因此 - [优化器参数调整](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0096.md): 本节将介绍影响DataArts Fabric SQL调优性能的关键CN配置参数，配置方法参见查看和设置GUC参数。 - [Plan Hint调优概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0098.md): Plan Hint为用户提供了直接影响执行计划生成的手段，用户可以通过指定join顺序，join、stream、scan方法，指定结果行数，指定重分布过程中的倾斜信息，指定配置参数的值等多个手段来进行执行计划的调优，以提升查询的性能。Plan Hint支持在SELECT、INSERT、UPDATE、MERGE、DELETE关键字后通过如下 - [Join顺序的Hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0099.md): 指明join的顺序，包括内外表顺序。单层圆括号()，仅指定join顺序，不指定内外表顺序。双层圆括号(())，同时指定join顺序和内外表顺序，内外表顺序仅在最外层生效。单层方括号[]，同时指定[]这层的join顺序和内外表顺序。单层圆括号()和单层方括号[]混合使用，同时指定join顺序和任意层内外表顺序。圆括号()这一层只指定join - [Join方式的Hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0100.md): 指明Join使用的方法，可以为Nested Loop，Hash Join和Merge Join。no表示hint的join方式不使用。block_name表示语句块的block_name，详细说明请参考block_name。table_list为表示hint表集合的字符串，该字符串中的表与join_table_list相同，只是中间不允许 - [行数的Hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0101.md): 指明中间结果集的大小，支持绝对值和相对值的hint。block_name表示语句块的block_name，详细说明请参考block_name。#,+,-,*，进行行数估算hint的四种操作符号。#表示直接使用后面的行数进行hint。+,-,*表示对原来估算的行数进行加、减、乘操作，运算后的行数最小值为1行。table_list为hint对 - [Stream方式的Hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0102.md): 指明stream使用的方法，可以为broadcast和redistribute以及指定AGG重分布的分布键。指定Agg重分布列Hint，仅8.1.3.100及以上集群版本支持。no表示hint的stream方式不使用，当指定AGG分布列的hint时指定no关键字无效。block_name表示语句块的block_name，详细说明请参考bl - [子链接块名的hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0104.md): 指明子链接块的名称。block_name hint仅在对应的子链接块提升时才会被上层查询使用。目前支持的子链接提升包括IN子链接提升、EXISTS子链接提升和包含Agg等值相关子链接提升。该hint通常会和前面章节提到的hint联合使用。对于FROM关键字后的子查询，则需要使用子查询的别名进行hint，block_name hint不会被 - [指定子查询不提升的hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0106.md): 优化器在对查询进行逻辑优化时通常会将可以提升的子查询提升到上层以避免嵌套执行，但对于某些场景，嵌套执行不会导致性能下降过多，而提升之后扩大了查询路径的搜索范围，可能导致性能变差。对于此类情况，可以使用no merge hint指定子查询不提升进行调试。大多数情况下不建议使用此hint。block_name表示语句块的block_name， - [配置参数的hint](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0110.md): 指明计划生成时配置参数的值，又称作guc hint。如果hint设置的配置参数在语句级别生效，则该hint必须写在顶层查询中，而不能写在子查询中。对于UNION、INTERSECT、EXCEPT和MINUS语句，可以将在语句级别的guc hint写在参与集合运算的任意一个SELECT子句上，该guc hint设置的配置参数会在参与集合运算 - [Hint的错误、冲突及告警](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0112.md): Plan Hint的结果会体现在计划的变化上，可以通过explain来查看变化。Hint中的错误不会影响语句的执行，只是不能生效，该错误会根据语句类型以不同方式提示用户。对于explain语句，hint的错误会以warning形式显示在界面上，对于非explain语句，会以debug1级别日志显示在日志中，关键字为PLANHINT。语法错 - [案例：调整GUC参数best_agg_plan](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0118.md): t1的表定义为：假设agg下层算子所输出结果集的分布列为setA，agg操作的group by列为setB，则在Stream框架下，Agg操作可以分为两个场景。场景一：setA是setB的一个子集。对于这种场景，直接对下层结果集进行汇聚的结果就是正确的汇聚结果，上层算子直接使用即可。场景二：setA不是setB的一个子集。对于这种场景，S - [Python UDF性能调优](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0349.md): DataArts Fabric SQL支持统计运行时的关键性能指标，根据性能指标，用户可以调整UDF运行时的资源规格和并行度。使用explain performance可以打印UDF Actor运行的性能指标。如图1所示，统计了函数calculate_0311在每个DN所对应的UDF Actor的性能情况。下文以图中三行性能数据为例进行说 - [PG_AGGREGATE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0123.md): PG_AGGREGATE系统表存储与聚集函数有关的信息。PG_AGGREGATE里的每条记录都是一条pg_proc里面的记录的扩展。PG_PROC记录承载该聚集的名字、输入和输出数据类型，以及其它一些和普通函数类似的信息。 - [PG_ATTRIBUTE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0128.md): PG_ATTRIBUTE系统表存储关于表字段的信息。查询指定表中包含的字段名和字段编号。t1和public分别替换为实际的表名和schema名称。 - [PG_AUTHID](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0129.md): PG_AUTHID系统表存储有关数据库认证标识符（角色）的信息。角色把“用户”的概念包含在内。一个用户实际上就是一个rolcanlogin标志被设置的角色。任何角色（不管rolcanlogin设置与否）都能够把其他角色作为成员。在一个集群中只有一份pg_authid，不是每个数据库有一份。需要有系统管理员权限才可以访问此系统表。 - [PG_CLASS](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0131.md): PG_CLASS系统表存储数据库中所有内置系统表对象信息及其之间的关系。 - [PG_COLLATION](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0132.md): PG_COLLATION系统表描述可用的排序规则，本质上从一个SQL名字映射到操作系统本地类别。 - [PG_DATABASE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0135.md): PG_DATABASE系统表存储关于可用数据库的信息。 - [PG_FOREIGN_DATA_WRAPPER](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0138.md): PG_FOREIGN_DATA_WRAPPER系统表存储外部数据封装器定义。一个外部数据封装器是在外部服务器上驻留外部数据的机制，是可以访问的。 - [PG_FOREIGN_SERVER](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0139.md): PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源，例如一个远程服务器。外部服务器通过外部数据封装器访问。 - [PG_NAMESPACE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0142.md): PG_NAMESPACE系统表存储命名空间，即存储schema相关的信息。 - [PG_OPCLASS](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0143.md): PG_OPCLASS系统表定义索引访问方法操作符类。每个操作符类为一种特定数据类型和一种特定索引访问方法定义索引字段的语义。一个操作符类本质上指定一个特定的操作符族适用于一个特定的可索引的字段数据类型。索引的字段实际可用的族中的操作符集是接受字段的数据类型作为它们的左边的输入的那个。一个操作符类的opcmethod必须匹配包含它的操作符族 - [PG_OPERATOR](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0144.md): PG_OPERATOR系统表存储有关操作符的信息。 - [PG_PROC](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0146.md): PG_PROC系统表存储所有内置函数的信息。查询指定函数的OID。例如，获取函数justify_days的OID为1295。查询指定函数是否为聚集函数。例如，查询justify_days函数为非聚集函数。 - [PG_TYPE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0148.md): PG_TYPE系统表存储数据类型的相关信息。 - [PGXC_CLASS](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0149.md): PGXC_CLASS系统表存储每张表的复制或分布信息。 - [PGXC_GROUP](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0150.md): PGXC_GROUP系统表存储节点组信息，在存算分离3.0版本中，每个逻辑集群节点组称为一个VW（Virtual Warehouse），而在存储KV层，每一个VW会和一个vgroup相对应。 - [PGXC_NODE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0151.md): PGXC_NODE系统表存储集群节点信息。查询集群的CN和DN信息： - [查看和设置GUC参数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0175.md): 为确保DataArts Fabric SQL的最优性能，用户可根据业务需求对数据库中的GUC参数进行调整。数据库提供了许多运行参数，配置这些参数可以影响数据库系统的行为。在修改这些参数时请确保已了解对应参数对数据库的影响，否则可能会导致无法预料的结果。参数中如果取值范围为字符串，此字符串应遵循操作系统的路径和文件名命名规则。取值范围最大值 - [安全和认证](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0177.md): 参数说明：表明与服务器建立连接后，不进行任何操作的最长时间。取值范围：整型，0-86400，最小单位为秒（s），0表示关闭超时设置。默认值：10min - [优化器方法配置](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0179.md): 以下配置参数提供了影响查询优化器选择查询规划的原始方法。如果优化器为特定的查询选择的缺省规划并不是最优的，可以通过使用这些配置参数强制优化器选择一个不同的规划来临时解决这个问题。更好的方法包括调节优化器开销常量、手动运行ANALYZE、增加配置参数default_statistics_target的值。参数说明：控制优化器对位图扫描规划类 - [其他优化器选项](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0182.md): 参数说明：为没有用ALTER TABLE SET STATISTICS设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量，为负数时，代表使用百分比的形式设置统计目标，负数转换为对应的百分比，即-5代表5%。采样时，会将default_statistics_target * 300作为随机抽样的大小，例如默认值为10 - [语句行为](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0184.md): 介绍SQL语句执行过程的相关默认参数。参数说明：当一个被引用对象没有指定模式时，此参数设置模式搜索顺序。它的值由一个或多个模式名构成，不同的模式名用逗号隔开。当前会话存放临时表的模式时，可以使用别名pg_temp将它列在搜索路径中，如'pg_temp，public' 。 存放临时表的模式始终会作为第一个被搜索的对象，排在pg_catalo - [区域和格式化](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0185.md): 介绍时间格式设置的相关参数。参数说明：设置日期和时间值的显示格式，以及有歧义的输入值的解析规则。这个变量包含两个独立的部分：输出格式声明（ISO、Postgres、SQL、German）和输入输出的年/月/日顺序（DMY、MDY、YMD）。这两个可以独立设置或者一起设置。关键字Euro和European等价于DMY；关键字US、NonEu - [锁管理](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0186.md): 在DataArts Fabric SQL中，使用LakeFormation中心锁来保证多计算节点并发写入同一张表时的正确性。本节介绍的参数主要管理LakeFormation中心锁的相关行为。参数说明：控制获取锁的最长等待时间。当申请锁的等待时间超过设定值时，系统会报错。取值范围：整型，0 ~ INT_MAX，单位为毫秒（ms）。如果该参数 - [关键字](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0188.md): SQL里有保留字和非保留字之分。根据标准，保留字绝不能用做其他标识符。非保留字只是在特定的环境里有特殊的含义，而在其他环境里是可以用做标识符的。 - [与LakeFormation数据类型映射关系](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0190.md): DataArts Fabric SQL中定义的数据类型与LakeFormation中的类型存在明确的映射关系，如下表所示： - [数值类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0191.md): 数值类型也叫数字类型。由1、2、4或8字节的整数以及4或8字节的浮点数和可选精度小数组成。对应的数字操作符和相关函数，请参见数字操作函数和操作符。DataArts Fabric SQL支持的数值类型按精度可以分为：整数类型，任意精度型，浮点类型和序列整型。SMALLINT、INTEGER和BIGINT类型存储整个数值（不带有小数部分），也 - [布尔类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0192.md): “真”值的有效文本值是：TRUE、't'、'true'、'y'、'yes'、'1'。“假”值的有效文本值是：FALSE、'f'、'false'、'n'、'no'、'0'。使用TRUE和FALSE是比较规范的用法（也是SQL兼容的用法）。显示用字母t和f输出boolean值。 - [字符类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0193.md): DataArts Fabric SQL支持的字符类型请参见表1。字符串操作符和相关的内置函数请参见字符处理函数和操作符。除了每列的大小限制以外，每个元组的总大小也不可超过1GB-8023B（即1073733621B）。对于字符串数据，建议使用变长字符串数据类型，并指定最大长度。请务必确保指定的最大长度大于需要存储的最大字符数，避免超出最大 - [二进制类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0194.md): DataArts Fabric SQL支持的二进制类型请参见表1。除了每列的大小限制以外，每个元组的总大小也不可超过1G-8203字节。示例 - [日期/时间类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0195.md): DataArts Fabric SQL支持的日期/时间类型请参见表1。该类型的操作符和内置函数请参见时间、日期处理函数和操作符。如果其他的数据库时间格式和DataArts Fabric SQL的时间格式不一致，可通过修改配置参数DateStyle的值来保持一致。示例：日期和时间的输入几乎可以是任何合理的格式，包括ISO-8601格式、SQ - [对象标识符类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0196.md): DataArts Fabric SQL在内部使用对象标识符（OID）作为各种系统表的主键。系统不会给用户创建的表增加一个OID系统字段，OID类型代表一个对象标识符。目前OID类型用一个四字节的无符号整数实现。因此不建议在创建的表中使用OID字段做主键。OID类型：主要作为数据库系统表中字段使用。示例：OID别名类型REGCLASS：主要 - [隐式转换支持范围](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0198.md): DataArts Fabric SQL当前对于存储格式为orc或parquet的表类型，支持数值类型的隐式转换，即存储空间字节数多的类型向下兼容存储空间字节数少的类型。例如实际存储为orc::SHORT(2字节)，建表类型为SMALLINT、INT、BIGINT时都可以正常查询，DataArts Fabric SQL当前支持的隐式转换范围 - [复杂类型](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0199.md): DataArts Fabric SQL支持从iceberg表和parquet文件中读写复杂类型列，orc文件仅支持读，仅支持struct和array类型及其嵌套类型。当前DDL仅支持STRUCT和ARRAY类型。定义语法如下：ARRAY：定义语法为ARRAY。STRUCT：定义语法为STRUCTAND>OR。运算规则请参见表1，表中的a和b代表逻辑表达式。操作符AND和OR具有交换性，即交换左右两个操作数，不影响其结果。 - [比较操作符](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0219.md): 比较操作符可用于所有相关的数据类型，并返回布尔类型数值。所有比较操作符都是双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。例如1<2<3这样的表达式为非法的，因为布尔值和3之间不能做比较。DataArts Fabric SQL提供的比较操作符请参见表1。 - [模式匹配操作符](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0220.md): 数据库提供了三种实现模式匹配的方法：SQL LIKE操作符、SIMILAR TO操作符和POSIX-风格的正则表达式。除了这些基本的操作符外，还有一些函数可用于提取或替换匹配子串并在匹配位置分离一个串。判断字符串是否能匹配上LIKE后的模式字符串。如果字符串与提供的模式匹配，则LIKE表达式返回为真（NOT LIKE表达式返回假），否则返 - [聚集函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0221.md): 描述：所有输入行的expression总和。返回类型：通常情况下输入数据类型和输出数据类型是相同的，但以下情况会发生类型转换：对于SMALLINT或INT输入，输出类型为BIGINT。对于BIGINT输入，输出类型为NUMBER 。对于浮点数输入，输出类型为DOUBLE PRECISION。示例：描述：所有输入行中expression的最 - [窗口函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0222.md): 普通的聚集函数只能用来计算一行内的结果，或者把所有行聚集成一行结果。而窗口函数可以跨行计算，并且把结果填到每一行中。通过查询筛选出的行的某些部分，窗口调用函数实现了类似于聚集函数的功能，所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行，并同时将原始数据和聚集分析结果同时显示出来。列存表目前只支持窗口函数rank(expres - [类型转换函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0223.md): 描述：类型转换函数，将x转换成y指定的类型。示例：描述：类型转换函数，将x转换成y指定的类型。该函数仅8.2.0及以上集群版本支持。示例：描述：将x转换成给定的type类型值，如果转换失败且当前类型转换为DataArts Fabric SQL允许的转换，则返回NULL，否则报错。该函数仅8.2.0及以上集群版本支持。示例：描述：将一个十六 - [JSON/JSONB操作符](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0225.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [JSON/JSONB函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0226.md): JSON/JSONB函数表示可以用于JSON类型数据的函数。除函数array_to_json和row_to_json外，其余有关JSON/JSONB函数和操作符仅8.1.2及以上集群版本支持。描述：返回JSON类型的数组。一个多维数组成为一个JSON数组的数组。如果pretty_bool设置为true，将在一维元素之间添加换行符。返回类型 - [条件表达式函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0227.md): 描述：返回参数列表中第一个非NULL的参数值。COALESCE(expr1, expr2) 等价于CASE WHEN expr1 IS NOT NULL THEN expr1 ELSE expr2 END。示例：如果表达式列表中的所有表达式都等于NULL，则本函数返回NULL。它常用于在显示数据时用缺省值替换NULL。和CASE表达式一样 - [范围操作符](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0229.md): 描述：等于示例：描述：不等于示例：描述：小于示例：描述：大于示例：描述：小于或等于示例：描述：大于或等于示例：描述：包含范围、包含元素示例：描述：范围包含于、元素包含于示例：描述：重叠（有共同点）示例：描述：范围值是否比另一个范围值的最小值还小（没有交集）示例：描述：范围值是否比另一个范围值的最大值还大（没有交集）示例：描述：范围值的最大 - [范围函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0230.md): 描述：范围的下界返回类型：范围元素类型示例：描述：范围的上界返回类型：范围元素类型示例：描述：范围是否为空返回类型：boolean示例：描述：是否包含下界返回类型：boolean示例：描述：是否包含上界返回类型：boolean示例：描述：下界是否为无穷返回类型：boolean示例：描述：上界是否为无穷返回类型：boolean示例：如果范围 - [序列号生成函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0244.md): generate_series()函数根据指定的开始值(start)、结束值(stop)和步长(step)返回一个基于系列的集合。generate_series()函数的入参中，当step是正数且start大于stop，则返回零行。相反，当step是负数且start小于stop，则返回零行。如果任何输入为NULL也会返回零行。如果step - [下标生成函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0245.md): 描述：生成一系列包括给定数组的下标。返回值类型：setof int示例：描述：生成一系列包括给定数组的下标。当reverse为真时，该系列则以相反的顺序返回。返回值类型：setof int示例： - [会话信息函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0254.md): 描述：当前会话连接的服务进程的进程ID。返回值类型：integer示例：描述：服务器启动时间。pg_postmaster_start_time返回服务器启动时的timestamp with time zone。返回值类型：timestamp with time zone示例：描述：会话用户名。session_user通常是连接当前数据库的 - [系统表信息函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0255.md): 描述：获取数据类型的SQL名称。返回类型：text备注：format_type通过数据类型的类型OID以及可能的类型修饰词，返回其SQL名称。如果不知道具体的修饰词，则在类型修饰词的位置传入NULL。类型修饰词一般只对有长度限制的数据类型有意义。format_type所返回的SQL名称中包含数据类型的长度值，其大小是：实际存储长度len - [系统函数信息函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0256.md): 描述：查询系统内置函数的信息。返回类型：record示例： - [状态信息函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0257.md): 描述：用于查看指定会话的执行单元线程之间的等待状态。返回值类型：record函数返回信息如下：示例：描述：用于查看会话过程中YR接口调用的统计信息。返回值类型：record函数返回信息如下：示例： - [内存管理函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0261.md): 内存管理函数仅25.5.0及以上集群版本支持。描述：用于查看所有后端actor节点的内存使用情况。返回值类型：record函数返回信息如下：描述：查询指定actor进程中共享内存上下文的统计信息。参数：actor_name，表示actor名称。返回值类型：record示例：描述：查询指定actor、名字为contextname的共享内存上 - [排序规则版本函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0263.md): 描述：返回当前安装在操作系统中的该排序规则对象的实际版本，目前仅对case_insensitive有效。返回值类型：text示例： - [数据库对象尺寸函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0350.md): 描述：获取表大小，计算表目录下所有文件的总大小。返回值类型：int64描述：获取表大小，返回表目录下所有文件的路径和大小信息。返回值类型：file_path：text类型，文件路径。file_name：text类型，文件名。file_size：int64类型，文件大小。file_etag：text类型，文件etag。file_last_m - [统计信息函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0264.md): 描述：返回一个关于带有特殊PID的后台进程的记录信息，当参数为NULL时，则返回每个活动的后台进程的记录。返回结果是PG_STAT_ACTIVITY视图中的一个子集，不包含connection_info列。返回值类型：setof record描述：获取CN或DN进程的堆栈信息，函数入参actor_name、tid均需要通过视图或其他函数进 - [ICEBERG表服务函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0318.md): 描述：Iceberg每个commit都会生成一个新快照，同时保留旧数据和元数据，以便进行快照隔离和time travel。expire snapshots可以用来清理不再需要的旧快照以及仅被不需要快照包含的数据文件，以提高查询、成本效率。注意事项：要明确旧快照的清理、保留策略。执行旧快照清理后，被删除的旧快照数据将无法再通过常规查询访问， - [UDF配置函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0319.md): 描述：用户可以执行内置函数指定某些UDF对应的Python UDF actor配置参数，或者指定所有UDF执行时的配置参数，包括actor使用的CPU核数，内存占用量和并行度。语法：入参说明：schema：UDF函数所在的数据库名。func：UDF函数名。cpu：Python UDF actor所使用的CPU核数，单位为毫核。memory - [简单表达式](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0273.md): 逻辑表达式的操作符和运算规则，请参见逻辑操作符。常用的比较操作符，请参见比较操作符。除比较操作符外，还可以使用以下句式结构：BETWEEN操作符a BETWEEN x AND y等效于a >= x AND a <= ya NOT BETWEEN x AND y等效于a < x OR a > ya BETWEEN x AND - [条件表达式](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0274.md): 在执行SQL语句时，可通过条件表达式筛选出符合条件的数据。条件表达式主要有以下几种：CASECASE表达式是条件表达式，类似于其他编程语言中的CASE语句。CASE表达式的语法图请参考图1。case::=CASE子句可以用于合法的表达式中。condition是一个返回BOOLEAN数据类型的表达式：如果结果为真，CASE表达式的结果就是符 - [子查询表达式](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0275.md): 子查询表达式主要有以下几种：EXISTS/NOT EXISTSEXISTS/NOT EXISTS的语法图请参见图1。EXISTS/NOT EXISTS::=EXISTS的参数是一个任意的SELECT语句，或者说子查询。系统对子查询进行运算以判断它是否返回行。如果它至少返回一行，则EXISTS结果就为"真"；如果子查询没有返回任何行， EX - [数组表达式](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0276.md): expressionIN(value [, ...])右侧括号中的是一个表达式列表。左侧表达式的结果与表达式列表的内容进行比较。如果列表中的内容符合左侧表达式的结果，则IN的结果为true。如果没有相符的结果，则IN的结果为false。示例如下：如果表达式结果为null，或者表达式列表不符合表达式的条件且右侧表达式列表返回结果至少一处为空 - [行表达式](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0277.md): 语法：row_constructor operator row_constructor两边都是一个行构造器，两行值必须具有相同数目的字段，每一行都进行比较，行比较允许使用=，<>，<，<=，>=等操作符，或其中一个相似的语义符。=<>和别的操作符使用略有不同。如果两行值的所有字段都是非空并且相等，则认为两行是相等的；如果两行值的任意字段为 - [概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0279.md): 在SQL语言中，每个数据都与一个决定其行为和用法的数据类型相关。DataArts Fabric SQL提供一个可扩展的数据类型系统，该系统比其它SQL实现更具通用性和灵活性。因而，DataArts Fabric SQL中大多数类型转换是由通用规则来管理的，这种做法允许使用混合类型的表达式。DataArts Fabric SQL扫描/分析器 - [操作符](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0280.md): 从系统表pg_operator中选出要考虑的操作符。如果可以找到一个参数类型以及参数个数都一致的操作符，那么这个操作符就是最终使用的操作符。如果找到了多个备选的操作符，将从中选择一个最合适的。寻找最优匹配。丢弃输入类型不匹配以及无法隐式转换成匹配的候选操作符。unknown文本在这种情况下可以转换成任何类型。如果只剩下一个候选操作符，则使 - [函数](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0281.md): 从系统表pg_proc中选择所有可能被选到的函数。如果使用了一个不带模式修饰的函数名字，那么认为该函数是那些在当前搜索路径中的函数。如果给出一个带修饰的函数名，那么只考虑指定模式中的函数。如果搜索路径中找到了多个不同参数类型的函数。将从中选择一个合适的函数。如果搜索路径中找到了多个不同参数类型的函数。将从中选择一个合适的函数。查找和输入参 - [值存储](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0282.md): 查找与目标字段准确的匹配。试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数，那么直接调用该转换函数即可。如果表达式是一个未知类型文本，该文本字符串的内容将交给目标类型的输入转换过程。检查目标类型是否有长度转换。长度转换是一个从某类型到自身的转换。如果在pg_cast表里面找到一个，那么在存储到目标字段之前先在 - [UNION，CASE和相关构造](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0283.md): SQL UNION构造把不相同的数据类型进行匹配输出为统一的数据类型结果集。因为SELECT UNION语句中的所有查询结果必须在一列里显示出来，所以每个SELECT子句中的元素类型必须相互匹配并转换成一个统一的数据类型。类似地，一个CASE构造的结果表达式必须转换成统一的类型，这样整个case表达式会有一个统一的输出类型。同样的要求也存 - [SHOW Conf](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0309.md): SHOW将显示当前运行时参数的数值。可以使用SET语句来设置这些参数。SHOW可以查看的某些参数是只读的，可以查看但不能设置它们的值。configuration_parameter运行时参数的名称。取值范围：可以使用SHOW ALL命令查看运行时参数。部分通过SHOW ALL查看的参数不能通过SET设置。如max_datanodes。运行 - [SHOW Schemas/Tables/Views/Partitions/Functions](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0310.md): SHOW为DataArts Fabric SQL服务下特有语法，该语法功能是列举LakeFormation上指定对象下的子对象信息。无。无。列举当前Catalog下的所有数据库。列举LakeFormation上test_schema数据库下面的所有表。列举LakeFormation上test_table表的所有分区。列举LakeForma - [CREATE SCHEMA](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0286.md): CREATE SCHEMA为DataArts Fabric SQL服务下特有语法，该语法功能是在LakeFormation上创建指定名称的Database。DataArts Fabric SQL没有集群概念，不会存储任何元数据，所有元数据均存放于LakeFormation，因此用户在创建External Schema后，可以登录LakeF - [DROP SCHEMA](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0287.md): DROP SCHEMA为DataArts Fabric SQL服务下特有语法，该语法功能是在LakeFormation上删除指定名称的Database。在删除Schema数据时，如果用户数据量很大，可能会导致语句执行时间过长。IF EXISTS如果指定的模式不存在，发出一个notice而不是抛出一个错误。如果指定的模式不存在，发出一个no - [CREATE TABLE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0288.md): CREATE TABLE为DataArts Fabric SQL服务下特有语法，该语法功能是在LakeFormation上创建指定名称的表。关于表达式分区表的详细说明，请参考表达式分区。PARTITION BY中出现的列不能出现在表的普通列描述中，分区列始终排在普通列的后面。PARTITION BY中支持的最大分区键数目是4。CLUSTE - [CREATE VIEW](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0289.md): CREATE VIEW语法功能是在LakeFormation上创建指定名称的视图。OR REPLACE如果存在同名视图，则将会创建新视图并覆盖老视图的元数据。如果存在同名视图，则将会创建新视图并覆盖老视图的元数据。schema_name视图所属的数据库名，如果未指定数据库名时，则将在current_schema下创建视图。视图所属的数据库 - [CREATE FUNCTION](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0290.md): 创建一个自定义函数。创建自定义函数语法。CREATE [AGGREGATE] FUNCTION function_name ( [ { argname argtype } ] [, ...] ] ) [ RETURNS [SETOF] rettype | RETURNS TABLE ( { column_nam - [DROP TABLE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0291.md): DROP TABLE为DataArts Fabric SQL服务下语法，该语法功能是删除LakeFormation上指定名称的表。在删除管控表（MANAGED TABLE）时，会同时删除表元数据、统计信息和数据，如果用户数据量很大，可能会导致语句执行时间过长；删除外表（EXTERNAL TABLE）时，仅删除表的元数据及统计信息，不会删除 - [DROP VIEW](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0292.md): DROP VIEW的语法功能是删除LakeFormation上指定名称的视图。IF EXISTS如果指定的视图不存在，则发出一个提示而不会报错。如果指定的视图不存在，则发出一个提示而不会报错。view_nameLakeFormation的视图名字。LakeFormation的视图名字。删除视图test_view，但不会删除视图所依赖的表： - [DROP FUNCTION](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0293.md): 删除一个已存在的函数。无法删除内置函数，只支持删除自定义函数。删除一个自定义函数 - [ALTER TABLE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0294.md): ALTER TABLE为DataArts Fabric SQL服务下特有语法，该语法功能是修改LakeFormation上表的元数据信息，用于调整数据表的结构或属性。ADD COLUMNS、DROP COLUMNS、COLUMN RENAME、ALTER COLUMN语法仅对ICEBERG表生效，ORC、PARQUET表无法对列进行操作。 - [DESCRIBE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0296.md): DESCRIBE为DataArts Fabric SQL服务下特有语法，该语法功能是显示LakeFormation上指定对象的详细信息。无。无。描述目标表的详细信息：描述目标数据库的详细信息：描述目标视图的详细信息：描述test_schema的函数function_name的详细信息： - [MSCK REPAIR TABLE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0297.md): MSCK REPAIR TABLE为DataArts Fabric SQL服务下特有语法，该语法功能是将数据目录上的分区信息同步到元数据存储引擎上。无。无。同步分区信息： - [TRUNCATE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0298.md): TRUNCATE为DataArts Fabric SQL服务下特有语法，该语法功能是将表数据清空。外表（EXTERNAL TABLE）不支持TRUNCATE。Iceberg表不支持TRUNCATE PARTITION语法。table_name清空数据的目标表名。清空数据的目标表名。PARTITIONS如果指定PARTITIONS关键字，则 - [DML语法一览表](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0300.md): DML（Data Manipulation Language数据操作语言），用于对数据库表中的数据进行操作。如：插入、更新、查询、删除。插入数据是往数据库表中添加一条或多条记录，请参考INSERT。数据库查询语句SELECT是用于在数据库中检索适合条件的信息，请参考SELECT。 - [EXPLAIN](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0301.md): 显示SQL语句的执行计划。执行计划将显示SQL语句所引用的表采用的扫描方式。如果引用了多个表，执行计划还会显示使用的JOIN算法。执行计划中最关键的部分是语句的预计执行开销，即计划生成器对执行该语句所需时间的预估。如果指定了ANALYZE选项，则该语句会被执行，然后根据实际的运行结果显示统计数据，包括每个计划节点内时间总开销（毫秒为单位） - [INSERT](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0302.md): 向表中添加一行或多行数据。只有拥有表INSERT权限的用户，才可以向表中插入数据。如果使用RETURNING子句，用户必须要有该表的SELECT权限。如果使用QUERY子句插入来自查询里的数据行，用户还需要拥有在查询里使用的表的SELECT权限。如果使用OVERWRITE子句覆盖式插入数据，用户还需要拥有该表的SELECT和TRUNCAT - [VALUES](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0303.md): 根据给定的值表达式计算一个或一组行的值。它通常用于在一个较大的命令内生成一个“常数表”。应当避免使用VALUES返回数量非常大的结果行，否则可能会遭遇内存耗尽或者性能低下。尤其对于INSERT INTO VALUES语法，建议使用在小数据量插入的场景。对于大数据量的插入，建议使用产品提供的其它导入方式进行。如果指定了多行，那么每一行都必须 - [DELETE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0351.md): 从指定的表里删除满足WHERE子句的行。如果WHERE子句不存在，将删除表中所有行，结果只保留表结构。目前仅Iceberg表支持Delete。要删除表中的数据，用户必须对它有DELETE权限。同样也必须有USING子句引用的表以及condition上读取的表的SELECT权限。避免使用DELETE删除全表数据，考虑使用TRUNCATE T - [MERGE INTO](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0049.md): 在数据处理和分析的场景中，用户经常需要将一个数据源的数据合并到另一个数据源中，例如将增量数据合并到主表中。然而，在实际操作中，由于缺乏有效的单一语句支持，用户不得不使用多个语句组合来实现这一功能，这不仅降低了处理效率，还可能影响数据的一致性和准确性。如何在保证数据处理效率的同时，确保数据的一致性和准确性，成为了一个亟待解决的问题。为此，F - [OPTIMIZE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0052.md): 对目标表的指定数据进行重写。目前仅Iceberg表支持该语法。如果用户指定了排序键，数据重写后，文件内数据有序，而无法保证全局有序。建议选择重写条件时，按照分区维度便捷重写条件。table_name：目标表的名字。取值范围：已存在的表名。condition：一个返回boolean值的表达式，用于判断哪些文件需要被重写。target_lis - [UPDATE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0065.md): 更新表中的数据。UPDATE修改满足条件的所有行中指定的字段值，WHERE子句声明条件，SET子句指定的字段会被修改，没有出现的字段则保持它们的原值。目前仅Iceberg表支持Update。要修改表中的数据，用户必须对它有UPDATE权限。同样对expression或condition条件里涉及到的任何表要有SELECT权限。试图在一个S - [ANALYZE | ANALYSE](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0305.md): 用于收集有关数据库中表内容的统计信息，统计结果存储在LakeFormation上。执行计划生成器会使用这些统计数据，以确定最有效的执行计划。能够执行ANALYZE特定表的用户，包括表的所有者、被授予该表上读取权限的用户。ANALYZE会扫描全表数据，同时会产生计费。收集表的统计信息。{ ANALYZE | ANALYSE } table_ - [DQL语法一览表](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0307.md): DQL（Data Query Language数据查询语言），用于从表或视图中获取数据。DataArts Fabric SQL提供了用于从表或视图中获取数据的语句。具体信息，请参见SELECT。 - [SELECT](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0308.md): SELECT用于从表中读取数据。SELECT语句就像叠加在数据库表上的过滤器，利用SQL关键字从数据表中过滤出用户需要的数据。必须对每个在SELECT命令中使用的字段有查询权限。condition和expression中可以使用targetlist中表达式的别名。只能同一层引用。只能引用targetlist中的别名。只能是后面的表达式引用 - [概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0168.md): 在AI场景中，数据科学家经常面临多模态数据（如文本、图像、音频、视频、点云等）的管理与分析挑战，这些数据通常分散在不同的数据源中，导致数据整合和处理效率低下。为了解决这一问题，如何实现跨模态数据的高效统一管理与分析？Fabric SQL多模态AI数据湖服务应运而生，它是一站式的Serverless服务平台，专为管理、处理、分析多模态数据类 - [快速开始](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0170.md): 下载SDK，使用以下命令安装SDK包。pip install huawei_fabric_data-0.1.0-py3-none-any.whlpython版本推荐使用3.11。python版本推荐使用3.11。 - [UDF概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0327.md): 当Fabric SQL的内置函数无法满足用户业务场景时，用户可以使用自定义函数来封装业务逻辑，UDF的具体能力请参考自定义函数。在FabricData SDK中支持了Scalar UDF、Class UDF、Vectorized UDF、UDTF、UDAF等不同类别UDF的注册和使用。注册UDF总体上来说分为两种方式：显式注册和隐式注册。 - [Scalar UDF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0231.md): Scalar UDF是最基本的行处理函数， 它接受零个或多个输入参数，并对这一行数据进行操作，最终返回一行结果。通常Scalar UDF适用于数学运算、复杂类型转换和自定义格式化等行处理的场景。Scalar UDF的行为与内置函数（COS(), MAX(), MIN()）非常相似，但其具体实现由用户自定义。建立连接。import ibi - [Class UDF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0232.md): Class UDF基于面向对象编程范式实现，主要目的是为了创建有状态的处理逻辑。函数要求实现__init__, __call__等方法。Class UDF注册传入的是Python类，对于__init__、__call__、 __del__ 3个实例方法有特殊的含义认定，详情请参见下表；其他的Python类和实例方法不做限制，用户可以任意添 - [Vectorized UDF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0233.md): Vectorized UDF是向量化执行的函数，是为解决传统行式UDF性能瓶颈而设计的高效函数。入参、出参通常为PyArrow或者Pandas类型。下文提供两个示例展示如何使用Vectorized UDF。示例一：使用PyArrow进行向量化加速。import fabric_data as fabric from fabric_data. - [UDTF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0234.md): UDTF是输入一行返回多行的函数，适用于典型的多模态数据处理场景，包括视频/音频切帧，样本生成等。UDTF具体的定义和使用约束请参考UDTF。以下示例展示UDTF的注册和使用的流程。创建会话。import ibis import fabric_data as fabric import logging # create session c - [UDAF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0235.md): UDAF是输入多行返回一组聚合值的函数，适用于典型的多模态数据处理场景，包括视频/音频/图像的统计特征聚合，多模态标签总结等。UDAF具体的定义和使用约束请参考UDAF。UDAF注册传入的必须是Python类，对于__init__、aggregate_state、accumulate、merge、finish、 __del__ 6个实例方 - [概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0237.md): Fabric Data支持通过UDF处理图片（PNG/JPG）、音频（WAV/MP3）和视频（MP4/AVI）等多模态数据。在使用UDF处理数据之前，需要将多模态数据保存到Fabric表中。下文以图片为例演示如何导入数据到Fabric中：准备图片类型数据。将图片数据读出后写入parquet文件中。import pyarrow as pa - [图片](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0153.md): 图片类型内部使用pillow库处理图片，可以通过获取PIL Image对象后通过PIL库处理图片。 支持处理的图片格式：JPEG、PNG、BMP。 - [视频](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0157.md): 视频内部使用decord和opencv处理数据。支持的格式：mp4、avi、mov、mkv、flv、wmv、m4v、3gp。支持的编码：MPEG-4、MPEG-2、VP8、VP9、AV1、MS-MPEG-4。视频对象的属性和方法如下所示： - [音频](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0155.md): 音频内部处理使用soundfile库处理数据。支持的音频格式：mp3、aiff、flac、wav。音频对象的属性和方法如下所示： - [接口总览](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0169.md): Fabric Data主要包含数据处理、数据管理、输入/输出、辅助工具、触发执行五个部分：数据处理：支持丰富的变换操作，如map()、flat_map()、filter()、join()、groupby()等，可对样本进行特征工程和结构化处理。数据管理：提供对数据集的增删改查能力，包括insert()、update()、delete()以 - [语音识别案例](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0181.md): 本案例介绍如何定义Vectorized Scalar UDF来进行语音识别、如何定义UDAF来进行聚合统计和可视化。 - [视频帧描述与摘要生成示例](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0240.md): 本示例将介绍如何使用华为Fabric数据湖API实现以下功能：使用UDTF（用户定义表函数）提取关键视频帧并生成对应的帧描述。应用UDAF（用户定义聚合函数）将多个帧描述综合成连贯的视频摘要。本示例需要以下Python包：创建服务器连接。import os from fabric_data.multimodal import ai_lak - [多模态数据类型使用示例](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0241.md): 准备图片类型数据。将图片数据读出后写入parquet文件中。import pyarrow as pa import pandas as pd data = {"img": [ {'filename': "image.png", 'format': 'png', 'height': 1, 'width': 2}, ] } w - [Dataset APIs](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0172.md): 描述：获取Dataset的所有列的列名集合。输入参数：无返回值类型：tuple[str, ...]示例：描述：给一个Dataset添加列。输入参数：exprs (Union[Sequence[Expr], None]) ：要添加为列的命名表达式序列。mutations(Value) ：使用关键字参数的命名表达式。返回值类型：已添加新列的D - [Table APIs](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0173.md): 描述：用于将Dataset插入到数据库表中。输入参数：data (dataset.Dataset)：要插入的Dataset对象，必须是fabric_data.multimodal.dataset.Dataset类型。overwrite (bool)：是否覆盖已存在的数据，默认为False。返回值类型：None描述：用于显示表的前N行数据。 - [User-Defined Function APIs](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0246.md): 显式注册的含义是用户需要手动在Python代码中侵入式添加注册逻辑代码，需要用户使用backend...register/register_from_file来实现，调用即注册。显式注册依赖于已经获得backend会话对象才能进行。推荐使用显式注册的场景：如果用户希望明确控制注册时间，允许侵入式添加注册逻辑，或对同一个Backend连接下 - [Util APIs](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0171.md): 描述：注册一个用户自定义聚合函数（UDAF）。输入参数：udf (Callable) ：要注册的用户自定义聚合函数。input_type (InputType) ：函数的输入类型，可选值包括PYTHON、BUILTIN、PYARROW、PANDAS。database (str) ：函数所属的数据库名称。name (Optional[st - [DataFrame APIs](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0247.md): 本章节提供了类Pandas的Python DataFrame SDK，方便用户使用Python编写数据处理作业；同时利用DataArts Fabric SQL内核高效的计算能力，为数据科学家、AI工程师等提供了易用、高效的数据处理能力。本特性基于Ibis Python DataFrame开源框架实现，将Ibis前端框架与DataArts - [DataArts Fabric SQL UDF概述](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0342.md): 用户自定义函数（User-Defined Function，简称UDF）是指由用户根据特定需求自定义的函数，用于扩展数据库或数据处理系统的功能。UDF可以执行各种操作，如数据转换、复杂计算、数据聚合等，这些操作可能超出了系统提供的内置函数的能力。UDF的主要用途包括：扩展功能：UDF允许用户扩展数据库或数据处理系统的功能，执行内置函数不支 - [约束限制](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0344.md): Python UDF即使用Python语言编写的自定义函数，当DataArts Fabric SQL提供的内置函数无法支撑客户的业务实现时， 客户可以参考本文中的开发流程及使用示例，自行编写代码逻辑创建Python UDF，以满足多样化业务需求。使用Python UDF，有以下限制：UDF运行时环境的Python版本仅支持3.11系列，且 - [数据类型映射](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0345.md): Python和DataArts Fabric SQL数据类型的映射关系如下表所示： - [代码归档包的组织结构](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0346.md): 当用户的业务场景比较复杂，UDF所涉及的代码较多时，推荐用户以文件压缩包的形式注册函数，将UDF依赖的所有相关代码文件统一归档到一个压缩包里，上传至OBS后，在创建函数时指定压缩包的存储路径。压缩包里代码文件结构要求如下：必须包含文件"{FUNCTION_NAME}_source.py"，该文件认为是函数的主入口文件。且文件内容需要使用C - [开发注意事项](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0347.md): DataArts Fabric SQL提供了三种注册UDF的方式：ibis-fabric SDK显示注册、隐式注册以及SQL的DDL注册，推荐用户使用ibis-fabric sdk显示注册，该方式有以下两个优势：SDK提供的注册接口已完全遵守DataArts Fabric SQL DDL的使用规范，只要正确调用接口即可，能避免违反约束规范 - [WITH ARGUMENTS语法](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0356.md): WITH ARGUMENTS语法扩展了现有用户定义函数（UDF）的功能，主要作用是允许用户在UDF运行时设置初始状态。通过这一功能，用户可以：配置运行时资源和并发度：用户可以指定UDF运行时所需的资源（如内存、CPU等）以及并发执行的实例数量，从而优化性能和资源利用率。设置类的初始化参数：对于以类（class）形式定义的UDF，用户可以通 - [自适应并行](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0357.md): 在AI数据工程中，面对大量数据处理的场景，需要通过并行调用actor来提升数据处理的效率，进行分布式计算。但固定并行度依赖于调参经验以及多次测试反馈，为提升用户体验和减少调参时间，提供自适应并行来提高使用UDF的易用度。功能约束限制如下：执行UDF函数时必须指定min_concurrency和max_concurrency有效值。如果当前 - [Scalar UDF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0348.md): 开发Python Scalar UDF，总体流程如下：开发UDF代码，除了业务本身代码以外，代码中还需要包含如下信息：导入模块：如果使用ibis-fabric sdk开发UDF，则需要安装和导入ibis相关模块。函数的主入口Handler：自定义代码中，必须清晰定义函数的主入口，Handler方法是唯一的。函数签名：Handler方法的定 - [UDTF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0197.md): UDTF整体开发流程可参考Scalar UDF，需要注意以下几点：Handler目前仅支持返回迭代器，推荐使用yield。UDTF不支持开启并发和向量化计算。当Handler出现死循环，无限输出结果时，Fabric SQL会根据超时时间自动关闭程序，默认超时时间为1000s。创建UDTF：CREATE FUNCTION py_genera - [UDAF](https://support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0214.md): UDAF整体开发流程可以参考Scalar UDF，需要注意以下几点：Handler指定的必须是Python Class，且Python Class中必须包括accumulate、aggregate_state、merge、finish 4个方法。具体的方法含义见表1 注册UDAF时的特殊实例方法。UDAF要求用户实现的accumulate ## API参考 - [使用前必读](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0001.md): 欢迎使用DataArts Fabric服务。您可以通过控制台或API实现大模型推理、Ray作业等服务。您可以使用本文档提供的API对数智融合计算服务进行相关操作，例如创建删除推理、作业端点等。支持的全部操作请参见API概览。终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询服务的终端节点。请您根据 - [API概览](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0002.md): 通过使用DataArts Fabric服务所提供的接口，您可以完整地使用DataArts Fabric服务的基本功能。 - [构造请求](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0004.md): 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户接口说明如何调用API。请求URI由如下部分组成。{URI-scheme} :// {Endpoint} / {resource-path} ? {query-string}尽管请求URI包含在请求消息头中，但大多数语言或框架都要求您从请求消息中单独传递它，所以在 - [认证鉴权](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0005.md): 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。Token认证：通过Token认证调用请求。AK/SK签名认证方式仅支持消息体大小12MB以内，12MB以上的请求请使用Token认证。AK/SK既可以使用永久访问密钥 - [返回结果](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0006.md): 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。对于管理员创建IAM用户接口，如果调用后返回状态码为“201”，则表示请求成功。对应请求消息头，响应同样也有消息头，如“Content-type”。对于管理员创建IAM用户接口，返回 - [健康检查 - ShowAdminHealthCheck](https://support.huaweicloud.com/api-fabric/ShowAdminHealthCheck.md): 查看系统健康状态，用户可通过该接口查看系统健康状态。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用AP - [查询系统协议 - ShowAgreementRule](https://support.huaweicloud.com/api-fabric/ShowAgreementRule.md): 查询租户协议内容，用户可从中了解协议名称、版本等信息。该接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用A - [注册租户协议 - CreateAgreement](https://support.huaweicloud.com/api-fabric/CreateAgreement.md): 注册租户协议，用户通过该接口注册租户协议。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权 - [查询用户是否注册协议 - ShowAgreement](https://support.huaweicloud.com/api-fabric/ShowAgreement.md): 查询用户是否注册协议。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策 - [删除用户注册协议 - DeleteAgreement](https://support.huaweicloud.com/api-fabric/DeleteAgreement.md): 删除用户注册协议。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授 - [创建服务委托 - CreateAgency](https://support.huaweicloud.com/api-fabric/CreateAgency.md): 授权委托给Fabric服务。用户调用该接口会创建一个委托，该委托会授权给Fabric服务。用户可以通过传入支持的委托权限策略来可选择的授权。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所 - [查询服务委托 - ListAgency](https://support.huaweicloud.com/api-fabric/ListAgency.md): 查询授权给DataArts Fabric服务的委托。用户调用该接口查询已授权给DataArts Fabric的委托，以及委托中具体的权限内容。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备 - [删除服务委托 - DeleteAgency](https://support.huaweicloud.com/api-fabric/DeleteAgency.md): 取消授权给DataArts Fabric服务的委托。委托中包含由了DataArts Fabric服务定义的必要权限策略和非必要权限策略。非必要权限策略可以通过指定权限策略名称删除，不会影响其他权限策略。必要权限策略不能单独删除，只能通过删除整个委托的方式来删除。部分权限策略删除前会校验是否满足删除条件，不满足删除条件无法删除，以此避免误删 - [查询工作空间列表 - ListWorkspaces](https://support.huaweicloud.com/api-fabric/ListWorkspaces.md): 列举工作空间列表。用户可通过该接口获取符合过滤条件的工作空间列表，接口支持分页查询、支持通过名称、ID和企业项目ID查询。返回为符合过滤条件的工作空间列表。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试 - [更新工作空间 - UpdateWorkspace](https://support.huaweicloud.com/api-fabric/UpdateWorkspace.md): 更新工作空间。用户可通过该接口更新工作空间，支持传入名称、描述、MetaStoreID，返回更新后的工作空间详情。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使 - [创建工作空间 - CreateWorkspace](https://support.huaweicloud.com/api-fabric/CreateWorkspace.md): 创建工作空间。用户可通过该接口创建工作空间，支持传入名称、描述、MetaStoreID、企业项目ID和标签，返回工作空间详情。此接口为同步接口，无配套使用接口。创建工作空间接口存在同名校验，不支持创建重复名称的工作空间，并且同一账户下创建工作空间数量存在上限。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Expl - [删除工作空间 - DeleteWorkspace](https://support.huaweicloud.com/api-fabric/DeleteWorkspace.md): 删除工作空间。此接口为同步接口，无配套使用接口。在该工作空间下存在计算资源、端点以及App的情况下无法删除，需要先清除该工作空间下创建的各种资源后才能删除。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用 - [查询资源规格列表 - ListSpecs](https://support.huaweicloud.com/api-fabric/ListSpecs.md): 列举资源规格列表。用户可通过该接口列举资源规格列表，用户可以通过编码、类型、使用场景等参数过滤查询，支持分页。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账 - [查询端点列表 - ListEndpoints](https://support.huaweicloud.com/api-fabric/ListEndpoints.md): 列举端点列表。用户可使用该接口列举工作空间下端点列表，支持输入模型id、端点id、名称、类型、可见性等参数过滤，支持分页查询。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用 - [创建端点 - CreateEndpoint](https://support.huaweicloud.com/api-fabric/CreateEndpoint.md): 创建端点。用户可使用该接口在工作空间下创建端点，输入名称、描述、类型、资源配置、cap配置等信息，返回端点信息。此接口为异步接口，配套使用接口ShowEndpoint查询端点详情，无特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账 - [查询历史语句列表 - ShowQueryHistoryMetrics](https://support.huaweicloud.com/api-fabric/ShowQueryHistoryMetrics.md): 查询历史语句列表。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用 - [查询端点详情 - ShowEndpoint](https://support.huaweicloud.com/api-fabric/ShowEndpoint.md): 查询端点详情。用户可通过该接口查询某端点详情，输入为端点id，返回对应端点详情。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API - [查询端点资源监控 - ShowEndpointMetrics](https://support.huaweicloud.com/api-fabric/ShowEndpointMetrics.md): 查询端点监控，可根据指标名称查询对应的资源使用信息。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权 - [修改端点 - UpdateEndpoint](https://support.huaweicloud.com/api-fabric/UpdateEndpoint.md): 更新端点。用户可通过该接口更新某端点信息，输入为名称、描述、资源配置、镜像包配置、配置等信息，返回更新后的端点信息，rayservice的log_config会被忽略，无法更新。此接口为异步接口，配套使用接口ShowEndpoint查询端点信息，无特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explo - [删除端点 - DeleteEndpoint](https://support.huaweicloud.com/api-fabric/DeleteEndpoint.md): 删除端点。用户可通过该接口删除工作空间下的端点，输入端点id，返回操作结果。此接口为异步接口，配套使用接口ShowEndpoint查询端点信息，无特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用 - [订阅端点 - SubscribeEndpoint](https://support.huaweicloud.com/api-fabric/SubscribeEndpoint.md): 开通端点。用户可通过此接口开通公共端点，输入为端点id，返回操作结果。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM - [创建模型 - CreateModelDefinition](https://support.huaweicloud.com/api-fabric/CreateModelDefinition.md): 创建模型。用户可通过该接口创建模型，支持传入名称、描述、版本名称、版本描述、基模型类型和模型所在的OBS路径，返回模型ID及其版本ID。此接口为异步接口，配套使用接口ListModels查询模型列表。存在同名校验，不支持创建重复名称的模型。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成 - [查询模型列表 - ListModels](https://support.huaweicloud.com/api-fabric/ListModels.md): 列举模型。用户可通过该接口查询模型列表，接口支持分页查询、支持通过名称、ID和类型查询。支持排序。返回为符合过滤条件的模型列表。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调 - [列举基模型 - ListBaseModels](https://support.huaweicloud.com/api-fabric/ListBaseModels.md): 列举基模型。用户可通过该接口查询基模型列表，接口支持分页查询。返回为符合条件的基模型列表。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用 - [删除模型的指定版本 - DeleteModelVersion](https://support.huaweicloud.com/api-fabric/DeleteModelVersion.md): 删除模型的指定版本。如果该版本正在被使用，则无法删除，需要删除使用该模型的推理服务才能删除。用户可通过该接口删除模型版本。此接口为同步接口，无配套使用接口。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用 - [更新模型信息 - UpdateModelDefinition](https://support.huaweicloud.com/api-fabric/UpdateModelDefinition.md): 更新模型，会生成新版本。通过该接口可以更新模型信息，包括名称、描述、当前版本ID。支持新增版本，支持传入版本名称、描述、基模型类型和模型地址。此接口为异步接口，配套使用接口ListModelVersions查看模型版本信息。如果版本是失败的，则不允许更新为当前版本。新增模型时模型路径需要存在，否则会报错。您可以在API Explorer中 - [查看模型版本列表 - ListModelVersions](https://support.huaweicloud.com/api-fabric/ListModelVersions.md): 查询模型的版本列表。用户可通过该接口查询模型版本列表，接口支持分页查询、支持通过名称、ID查询。返回为符合过滤条件的模型版本列表。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的 - [删除未使用的模型定义 - CleanupModel](https://support.huaweicloud.com/api-fabric/CleanupModel.md): 清理未使用的模型定义。用户可通过该接口删除模型。此接口为同步接口，无配套使用接口。如果该模型下存在版本正在被使用的情况，则无法删除。需要先删除使用该模型版本的推理服务，才能删除该模型。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所 - [查询项目标签 - ListFabricProjectTags](https://support.huaweicloud.com/api-fabric/ListFabricProjectTags.md): 查询项目标签。通过该接口可查询该项目已使用的标签；支持输入：使用预定义标签（为true时可查询预定义的标签）；输出为项目标签。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用 - [查询资源标签 - ListFabricWorkspaceTags](https://support.huaweicloud.com/api-fabric/ListFabricWorkspaceTags.md): 查询工作空间的标签。用于查询工作空间的标签，返回对应工作空间的标签。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用 - [查询资源实例列表 - ListTagFabricWorkspaces](https://support.huaweicloud.com/api-fabric/ListTagFabricWorkspaces.md): 通过标签查询工作空间。输入without_any_tag=true查询无标签资源，忽略tags字段；without_any_tag=false或未提供时，按tags、matches等条件过滤。tags最多含20个键，每键最多20个值，键不可重复，值可为空但结构不可缺失。matches支持特定字段的精确或模糊搜索。返回符合过滤条件的工作空间 - [查询资源实例数量 - CountTagFabricWorkspaces](https://support.huaweicloud.com/api-fabric/CountTagFabricWorkspaces.md): 通过标签查询工作空间数量：without_any_tag=true时查询无标签资源，忽略tags字段；false或未提供时，按tags、matches等条件过滤。tags最多含20个键，每键最多20个值，键不可重复，值可为空但结构不可缺失。matches支持特定字段的精确或模糊搜索。返回符合过滤条件的工作空间数量。您可以在API Expl - [批量添加资源标签 - BatchCreateFabricWorkspaceTags](https://support.huaweicloud.com/api-fabric/BatchCreateFabricWorkspaceTags.md): 工作空间批量添加标签。输入：tags标签列表，租户权限时该字段必选。返回值状态码204正常，其他异常。此接口为同步接口，无配套使用接口。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供 - [批量删除资源标签 - BatchDeleteFabricWorkspaceTags](https://support.huaweicloud.com/api-fabric/BatchDeleteFabricWorkspaceTags.md): 工作空间批量删除标签。输入：tags标签列表，租户权限时该字段必选。返回值状态码204正常，其他异常。此接口为同步接口，无配套使用接口。删除时，如果删除的标签不存在，默认处理成功，删除时不对标签字符集范围做校验。删除时tags结构体不能缺失，key不能为空，或者空字符串。您可以在API Explorer中调试该接口，支持自动认证鉴权。AP - [创建消息通知策略 - CreateMessageNotificationPolicy](https://support.huaweicloud.com/api-fabric/CreateMessageNotificationPolicy.md): 创建消息通知策略。用户通过调用该接口创建一个消息通知策略。任务执行完成时会将结果根据匹配到的消息通知策略发送消息。支持传入SMN主题以及任务名称匹配正则表达式。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例 - [查询消息通知策略列表 - ListMessageNotificationPolicy](https://support.huaweicloud.com/api-fabric/ListMessageNotificationPolicy.md): 查询消息通知策略。用户通过调用该接口查询已创建的消息通知策略。支持分页查询，根据传入的工作空间ID，消息匹配样式来查询。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限， - [删除消息通知策略 - DeleteMessageNotificationPolicy](https://support.huaweicloud.com/api-fabric/DeleteMessageNotificationPolicy.md): 删除消息通知策略。用户通过调用该接口删除已创建的消息通知策略。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具 - [更新AOM监控采集配置 - UpdateMetricsConfig](https://support.huaweicloud.com/api-fabric/UpdateMetricsConfig.md): 更新工作空间下的AOM监控采集配置。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如 - [创建vpcep客户端 - CreateAccessClientInfo](https://support.huaweicloud.com/api-fabric/CreateAccessClientInfo.md): 创建vpcep客户端。VPC打通APIG，使用户可以通过内网域名调用到DataArts Fabric接口。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下 - [查询vpcpep客户端列表 - ListVpcepClient](https://support.huaweicloud.com/api-fabric/ListVpcepClient.md): 查询接入端列表。用户可以查询到已创建的接入端列表，获取VPCEP内网域名，进行使用。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前A - [查询vpcep客户端详情 - ShowAccessClient](https://support.huaweicloud.com/api-fabric/ShowAccessClient.md): 查询接入端详情。用户可以查看接入端的详情。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权 - [删除vpcep客户端 - DeleteVpcepClient](https://support.huaweicloud.com/api-fabric/DeleteVpcepClient.md): 删除接入客户端。用户可以删除不再使用的接入端。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需 - [更新vpcep客户端 - UpdateAccessClientInfo](https://support.huaweicloud.com/api-fabric/UpdateAccessClientInfo.md): 更新接入客户端。用户可以修改接入客户端的名字。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需 - [列举已部署的服务实例 - ListServicesInstances](https://support.huaweicloud.com/api-fabric/ListServicesInstances.md): 列举已部署的服务实例列表。用户可通过该接口列举已部署的服务实例列表，接口支持分页查询、支持通过名称、服务实例ID、端点ID、可见性查询。支持排序。返回为符合过滤条件的服务实例列表。此接口为同步接口，无配套使用接口。支持查询公共的服务实例。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成S - [查看部署的服务实例详情 - ShowServiceInstanceDetail](https://support.huaweicloud.com/api-fabric/ShowServiceInstanceDetail.md): 查看部署后的服务实例的详情。返回服务实例的详情信息。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用AP - [部署服务 - DeployServiceInstance](https://support.huaweicloud.com/api-fabric/DeployServiceInstance.md): 部署一个服务实例。部署服务实例接口支持输入名称、描述、端点ID、实例规格、最小值和最大值等参数，返回实例ID。此过程包含资源校验：最大值不小于最小值，且不超过端点最大资源数；同一端点下所有服务总资源数亦需符合限制。服务实例将依据负载自动调整数量，确保在最小与最大值范围内运行。您可以在API Explorer中调试该接口，支持自动认证鉴权。 - [更新已部署的服务实例 - UpdateServiceInstance](https://support.huaweicloud.com/api-fabric/UpdateServiceInstance.md): 更新已部署的服务实例。用户可以通过该接口更新已部署的服务实例，包括名称和描述等。此接口为异步接口，配套使用接口ShowServiceInstanceDetail，ListServicesInstances来查询服务实例具体情况。目前暂不支持更新实例最小数和模型版本。您可以在API Explorer中调试该接口，支持自动认证鉴权。API E - [删除服务实例 - DeleteServiceInstance](https://support.huaweicloud.com/api-fabric/DeleteServiceInstance.md): 删除服务实例，释放该实例的资源。用户可以通过该接口删除服务实例，释放该实例的资源。此接口为异步接口，配套使用接口ShowServiceInstanceDetail，ListServicesInstances来查询服务实例具体情况，无特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生 - [发起调用请求 - InvokeModelService](https://support.huaweicloud.com/api-fabric/InvokeModelService.md): 调用已部署的大模型推理实例，发起推理请求。此接口为同步接口，无配套使用接口。该接口会有内容审核，对于不符合要求的内容会进行屏蔽，用户可以选择是否关闭。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下 - [获取Session信息 - ShowSessionInfo](https://support.huaweicloud.com/api-fabric/ShowSessionInfo.md): 获取Session信息。ray和ray serve场景下查看dashboard时使用；输入ray或ray serve集群的路由ID；输出session ID。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调 - [创建SQL的Session - CreateSqlSession](https://support.huaweicloud.com/api-fabric/CreateSqlSession.md): 创建SQL Session。用户通过此接口在某SQL端点创建SQL Session，通过输入端点id、LakeFormation配置，返回Session信息。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调 - [获取SQL Session列表 - ListSqlSessions](https://support.huaweicloud.com/api-fabric/ListSqlSessions.md): 查询SQL Session列表您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权 - [查询Session信息 - ShowSqlSession](https://support.huaweicloud.com/api-fabric/ShowSqlSession.md): 查询SQL Session信息。用户可通过此接口查询SQL Session信息，输入为Session id，返回操作结果。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限 - [关闭Session - CloseSqlSession](https://support.huaweicloud.com/api-fabric/CloseSqlSession.md): 关闭SQL Session。用户可通过此接口关闭SQL Session，输入为Session id，返回操作结果。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使 - [执行SQL - ExecuteSqlStatement](https://support.huaweicloud.com/api-fabric/ExecuteSqlStatement.md): 在指定的Session下执行SQL语句。用户可通过此接口执行SQL语句，输入为SQL语句、端点id、SQL Session id、绑定参数等信息，返回语句执行结果或语句id。此接口支持异步和同步两种执行模式，由入参is_sync参数决定。如果是异步执行，配套使用接口ShowSqlStatementResult查询语句结果。如果是同步执行， - [获取Statement结果、执行状态 - ShowSqlStatementResult](https://support.huaweicloud.com/api-fabric/ShowSqlStatementResult.md): 查询SQL语句执行结果。用户可通过该接口查询SQL语句执行结果，输入为端点id、SQL Session id、语句id，返回执行结果。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有AP - [取消Statement执行 - CancelSqlStatement](https://support.huaweicloud.com/api-fabric/CancelSqlStatement.md): 取消SQL语句执行。用户可通过该接口取消SQL语句执行，输入为端点id、SQL Session id、语句id，返回操作结果。此接口为同步接口，无配套使用接口和特殊场景。您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用 - [获取SQL执行记录 - ListStatementRecords](https://support.huaweicloud.com/api-fabric/ListStatementRecords.md): 查询SQL执行记录您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用 - [获取指定Session下的SQL执行记录 - ListSessionStatementRecords](https://support.huaweicloud.com/api-fabric/ListSessionStatementRecords.md): 查询指定Session下的SQL执行记录您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见 - [权限及授权项说明](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0015.md): 如果您需要对您所拥有的DataArts Fabric进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DataArts Fabric服务的其它功能。默认情况下，新建的IAM用 - [策略授权参考](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0026.md): 本章节介绍DataArts Fabric策略授权场景下支持的策略授权项。策略包含系统策略和自定义策略，如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应，授权项列表说明如下：权限：允许或拒绝某项操作。对应API接口：自定义策略实际调用的API接口。授权项：自 - [状态码](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0018.md): 状态码如下表所示。 - [错误码](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0028.md): 调用接口出错后，将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。当调用出错时，HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系华为云客服，并提供错误码，以便我们尽快帮您解决问题。当接口调用出错时，会返回错误码及错误信息说明，错误响应的Bod - [获取项目ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0020.md): 项目ID还可以通过调用查询指定条件下的项目信息API获取。获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。响应示例如下，其中projects下的“id”即为项目ID。在调用接口的时候，部分URL - [获取账号ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0021.md): 在调用接口的时候，部分URL中需要填入账号ID，所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下：登录管理控制台。鼠标移动到右上角的用户名处，在下拉列表中单击“我的凭证”。在“API凭证”页面中查看账号ID。获取账号ID - [获取工作空间ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0022.md): 登录DataArts Fabric工作空间管理台，在目标工作空间卡片单击查看详情。查看详情在基础信息页面获取当前工作空间的ID。 - [获取端点ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0023.md): 登录DataArts Fabric工作空间管理台，在目标工作空间卡片单击进入工作空间。进入工作空间在左侧导航栏，单击推理端点，按需选择我的端点或公共端点页签。单击目标端点卡片，在概览页面查看端点ID。获取端点ID - [获取模型ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0024.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [获取推理服务实例ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0025.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [获取企业项目ID](https://support.huaweicloud.com/api-fabric/dataartsfabric_03_0027.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 ## SDK参考 - [SDK概述](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_04_0001.md): 数智融合服务软件开发工具包（DataArts Fabric SDK，DataArts Fabric Software Development Kit）是对DataArts Fabric服务提供的REST API进行的封装，以简化用户的开发工作。用户直接调用DataArts Fabric SDK提供的接口函数即可实现使用DataArts F - [Python connector API概述](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0289.md): 数智融合计算服务DataArts Fabric是华为云提供的数据+AI一站式开发平台，提供从数据处理、分析到模型微调、推理、部署上线的全生命周期管理能力，让数据工程师、数据科学家、AI应用开发工程师等多角色使用自己最熟悉的工具，在同一个工作台上工作，实现从开发到生产的高效协同。DataArts Fabric可实现自动扩缩，以支持最苛刻的应 - [版本变更说明](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0291.md): 表1展示了本Python connector API的版本变更情况。使用前须知：使用前请确认您已经开通并有权限使用Fabric SQL服务，包括Fabric SQL会涉及的Lakeformation服务和OBS服务等。请确认您已了解Fabric SQL中的一些基本概念，如工作空间（Workspace）、工作端点（Endpoint）、访问密 - [Python connector API方法概览](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0292.md): 表1总结了Fabric SQL Python connector API支持的接口方法及描述，每个接口方法的详细描述和示例代码请单击表中方法名称跳转至详情页查看。Fabric SQL Python connector API支持部分符合PEP 249标准的接口，PEP 249（Python Enhancement Proposal 249 - [准备华为账号](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0294.md): Fabric SQL服务使用统一身份认证（Identity and Access Management，简称IAM）服务提供身份认证和权限认证功能，IAM是华为云提供权限管理的基础服务，可以帮助您安全地控制云服务和资源的访问权限。在使用Fabric SQL服务之前您需要一个华为账号，注册账号并开通华为云服务步骤请参见注册华为账号并开通华为 - [获取认证凭证](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0295.md): Fabric SQL Python connector API需要提供认证凭证来正常访问和使用Fabric SQL服务，以防止未经授权的用户访问并使用Fabric SQL资源和数据。Fabric SQL Python connector API当前支持的访问凭证有访问密钥和IAM Token。访问密钥（Access Key ID/Secr - [下载和安装Python connector API](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0296.md): Fabric SQL Python connector API最新版本源代码仓库链接：Fabric SQL Python connector API。当前最新版本号：0.2.8安装方式：使用pip安装确保已经安装Python环境，推荐使用Python 3.8以上版本执行pip -V确保pip已经安装运行pip install huawei - [Fabric SQL客户端初始化](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0297.md): 在向Fabric SQL服务API发送请求之前，首先必须创建一个FabricSQLClient实例，以用于认证鉴权。方法定义：构造函数参数描述：代码样例：使用永久访问密钥创建Fabric SQL客户端：import os from fabricsql.SQLClient import FabricSQLClient # AK/SK属于敏感 - [创建Session](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0299.md): 功能介绍：Session(会话)表示一个连接，用户可以通过一个Session执行SQL请求，并通过该Session查询请求结果。该方法可以通过用户提供的工作空间id和端点id创建一个Session，可以设置Session连接的lakeformation实例信息和catalog名称。方法定义：createSession(workspaceI - [查询Session状态](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0300.md): 功能介绍：查询一个指定Session的状态，用户需提供工作空间ID和需要查询Session的ID。方法定义：getSessionStatus(workspaceId, sessionId, timeout)参数说明：getSessionStatus参数说明参数名称参数类型是否必选描述workspaceIdstr必选用户创建的Fabric的 - [关闭Session](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0301.md): 功能介绍：关闭一个指定的Session，用户需提供工作空间id和需要关闭Session的ID。方法定义：closeSession(workspaceId, sessionId, timeout)参数说明：closeSession参数说明参数名称参数类型是否必选描述workspaceIdstr必选用户创建的Fabric的工作空间的ID。se - [发送SQL请求](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0302.md): 功能介绍：通过一个Session下发SQL请求，用户需要提供工作空间ID和会话ID，并创建请求体信息。方法定义：executeQuery(workspaceId, request, timeout)参数说明：executeQuery参数说明参数名称参数类型是否必选描述workspaceIdstr必选用户创建的Fabric的工作空间的ID。 - [查询请求结果](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0303.md): 功能介绍：用户可以使用QueryResponse查询本次请求的整体执行结果。方法定义：getSummary(workspaceId, response, get_schema, timeout)参数说明：getSummary参数说明参数名称参数类型是否必选描述workspaceIdstr必选用户创建的Fabric的工作空间的ID。resp - [获取请求结果集](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0304.md): 功能介绍：用户可以使用查询语句的Statement结构体获取结果集。方法定义：getStatementResult(statement, page_num, from_obs, convert_type, workspaceID, timeout)参数说明：一个Result结构体代表该SQL语句查询结果集的一页。获取请求结果集调用的是O - [取消查询](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0305.md): 功能说明：取消一个正在执行中的查询。方法定义：cancelExecute(workspaceId, response, timeout)参数说明：cancelExecute参数说明参数名称参数类型是否必选描述workspaceIdstr必选用户创建的Fabric的工作空间的ID。responseQueryResponse必选想要取消查询的 - [删除OBS结果集文件](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0315.md): 功能说明：删除一个指定语句执行后在OBS产生的结果集文件。方法定义：deleteResult(statement, timeout)参数说明：响应体说明：该接口无响应体返回示例代码：import os from fabricsql.SQLClient import FabricSQLClient from fabricsql.SQLReq - [日志配置](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0306.md): Fabric SQL Python connector API支持使用Python标准日志库logging生成日志，Python的logging模块是官方提供的标准日志解决方案，用于在程序运行过程中记录调试信息、运行状态以及错误信息。日志等级：logging预定义了多个日志级别，用于区分信息的重要程度（由低到高）：DEBUG：调试信息，通 - [模块接口](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0308.md): 对于需要使用Python进行数据分析的场景，如果用户希望利用Ibis-Fabric SDK与Fabric SQL进行交互，会面临如何实现与Python数据库API标准兼容以及如何高效处理复合类型数据的挑战。现有解决方案可能无法直接支持PEP 249标准接口，导致Ibis-Fabric SDK无法像对接其他数据库驱动一样无缝适配Fabric - [连接对象](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0309.md): 连接对象Connection包含以下方法：cursor：使用该连接对象返回一个游标对象CursorObject，该接口不需要传入参数。close：关闭该连接对象，关闭后无法再通过该连接对象访问Fabric SQL服务，该接口不需要传入参数。 - [游标对象](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0310.md): 游标对象CursorObject包含以下方法：execute：执行SQL请求，如果需要执行多个SQL语句请使用分号（;）进行分隔。fetchone：该接口无需参数，获取查询结果集的下一行，当存在下一行元组时，返回一个tuple数据，当游标已经在结果集末尾或没有更多结果集时，返回None。fetchall：该接口无需参数，获取查询结果集剩余 - [创建Session后下发查询并获取结果集](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0312.md): 本示例演示创建Session后下发请求并获取结果集。Fabric SQL服务正常运行。用户提供有效的IAM认证凭据。用户已开通Fabric SQL服务并拥有访问OBS服务权限。 - [查询Session状态并取消查询](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0313.md): 本示例演示查询Session状态、取消一个查询的操作。Fabric SQL服务正常运行。用户提供有效的IAM认证凭据。用户已开通Fabric SQL服务并拥有访问OBS服务权限。 - [使用PEP 249标准接口执行查询并获取结果集](https://support.huaweicloud.com/sdkreference-fabric/dataartsfabric_sql_04_0314.md): 本示例演示使用PEP 249标准接口执行查询并获取结果集。Fabric SQL服务正常运行。用户提供有效的IAM认证凭据。用户已开通Fabric SQL服务并拥有访问OBS服务权限。 ## 常见问题 - [什么是区域和可用区](https://support.huaweicloud.com/fabric_faq/dataartsfabric_06_0001.md): 通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现最大程度的容错能力和稳定性。资源创建成功后不能更换区域。可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔离的物理区域，一个可用区不受其他可用区故障的影响。一个区域内 - [什么是项目](https://support.huaweicloud.com/fabric_faq/dataartsfabric_06_0002.md): 云的每个区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以区域默认单位为项目进行授权，IAM用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买资源，然后以子项目为单位进行授权，使得IAM用户仅能访问特定子项目中的资源 - [什么是Ray](https://support.huaweicloud.com/fabric_faq/dataartsfabric_06_0003.md): Ray是一种用于构建和运行分布式应用程序的开源框架，由加州大学伯克利分校RISELab开发。它旨在简化机器学习（Machine Learning，ML）工作负载的分布式计算，并支持复杂的任务图（Task Graphs），这使得开发者可以编写并行或分布式程序，这些程序能够高效地利用集群中的所有可用资源。Ray提供了一个简单易用的API来实现