规则(定义)

使用SQL应用自定义监视
我们感动!为了改善客户体验,Collibra数据质量用户指南已转移到新万博移动客户端 新万博移动客户端Collibra文档中心 作为Collibra数据质量2新万博移动客户端022.11版本的一部分。为了确保平稳过渡, dq-docs.新万博移动客户端collibra.com 仍然可以访问,但DQ用户指南现在只在文档中心进行维护。

SQL规则引擎

介绍

新万博移动客户端Collibra Data Quality坚持认为,在应用基本规则之前,应该首先对数据进行分析、自动发现和学习。这种方法通常会删除数千条永远不需要编写的规则,并随着时间的推移自然地演进。然而,仍有许多情况需要添加简单规则、复杂规则或特定领域的规则。只需搜索任何数据集并添加规则。您可以使用可选的列名/类别/描述将元数据添加到未来报告的规则中。
方法运行自定义的发现例程 规则库 在一起 数据概念和语义。

查询构建器

查询生成器将帮助为更复杂的规则生成SQL。您可以应用到一个或两个表(左边是表A,右边是表B)。查询构建器可以帮助构建多部分条件。
(可选)首先搜索右边的表B,为连接条件设置一个键
输入条件并单击SQL语句生成示例语法
与任何SQL生成器一样,对于更复杂的场景也有限制。

打破记录

存储中断记录仅适用于Freefrom和Simple规则类型。规则库规则也使用其中一种类型。
使用-linkid标志启用额外的存储。这允许您存储完整的中断记录集。看到 linkid节 欲知详情。
统计、本机和数据类型(全局)规则不适合存储异常记录。

小贴士

如果连接多个数据源,请确保两组驱动程序都在-lib中。或者单独提供指向适当目录/jar文件位置的-libsrc。2021.11之后的版本使用-addlib将额外的目录添加到类路径中。
本地SQL使用本地DB语法。该分数是定义的DQ作业的作用域(query / -q)的总中断记录/行。

火花SQL

这是可用的Spark SQL操作符和函数的完整列表。 https://spark.apache.org/docs/latest/api/sql/index.html