DQ连接器
我们感动!为了改善客户体验，Collibra数据质量用户指南已转移到新万博移动客户端
新万博移动客户端Collibra文档中心
作为Collibra数据质量2新万博移动客户端022.11版本的一部分。为了确保平稳过渡，
dq-docs.新万博移动客户端collibra.com
仍然可以访问，但DQ用户指南现在只在文档中心进行维护。
本机DQ连接器带来智能新万博移动客户端数据质量成新万博移动客户端Collibra数据智能云．一旦建立了这个集成，就可以将用户定义的数据质量规则、度量和维度引入其中新万博移动客户端Collibra数据目录．
请注意:只有由Collibra数据目录和Collibra数据质量同时摄取的数据源才能同步数据质量新万博移动客户端资产
|
资源
|
笔记
|
|
新万博移动客户端棱边部位
|
DQ连接器是Edge的一个功能
|
|
新万博移动客户端Collibra数据智能云
|
2021.07版本(或更新版本)
|
|
新万博移动客户端数据质量
|
2.15(或更新版本)
|
|
数据库和驱动程序
|
正确的访问权限和凭据(用户名/密码)
|
让我们在收集完所有先决条件后继续!
其中:Coll新万博移动客户端ibra数据智能云设置->边缘→点击“创建边缘站点”
Collibra DG中的其他步骤包括:新万博移动客户端
-
提供与Collibra DQ中的连接/系统名称完全匹配的连接名称新万博移动客户端
-
选择连接类型，例如用户名/密码JDBC驱动程序
-
输入用户名和密码以连接到数据源
-
输入完全限定的驱动程序类名称
-
上传驱动jar(为了减少潜在的冲突，使用Collibra DQ的相同驱动jar)新万博移动客户端
-
Input Connection String输入凭证，例如用户名/密码或Kerberos配置文件
-
提示:以上所有信息必须与Collibra DQ中相同新万博移动客户端
Collibra DQ中的其他步骤包括:新万博移动客户端
-
验证DGC中的连接“名称”与Collibra DQ中的连接“名称”匹配新万博移动客户端
-
验证DGC中的“连接字符串”与Collibra DQ中的“连接URL”匹配新万博移动客户端
-
验证DGC中的“Driver class name”与Collibra DQ中的“Driver name”匹配新万博移动客户端
-
验证DGC中的“Driver jar”与Collibra DQ中“Driver Location”中使用的Driver匹配(可能需要SSH)新万博移动客户端
-
只有在独立安装时才能验证驱动程序jar。这在容器构建(k8s部署)中是不可能的，除非你kubectl到pod中并直接查找目录和jar。
-
>边缘>选择边缘站点> JDBC连接>选择“创建连接”
重要提示:连接/系统名称(在本例中为' postgres-gcp ')必须与Collibra DQ中的连接/系统名称完全匹配新万博移动客户端
1 c。在边缘建立编目JDBC摄取能力(每个数据源一次性)
其中:设置->边缘→功能→输入名称->“目录JDBC摄取”
1D:为DQ连接器内的DQ资产(规则、度量、维度)配置目标(一次性)
选项A:创建新目的地
-
为DQ规则和DQ度量创建新的Rulebook域(建议的域类型)
-
在“治理资产域”下搜索并选择“规则手册”->选择所需的“社区”。输入规则手册域的名称，例如:“干熄度规则”，“干熄度指标”
-
为步骤1G记录您的域资源ID，例如2xxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx(可以在您的URL中找到)
-
为DQ维创建新的业务资产域(建议的域类型)
-
全局创建->搜索并选择“业务资产域”->选择所需的“社区”。输入域的名称，例如:“干维度”
-
记录您的域资源ID，例如2xxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx(可以在您的URL中找到)
-
选项B:使用现有规则手册和资产域中的现有域
为步骤1G记录您的域资源ID，例如2xxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx(可以在您的URL中找到)
您现在已经建立了Collibra应该在其中摄取您的用户定义规则、度量标准和维度的目的地新万博移动客户端
1 e。为DQ资产的新域分配权限(规则，度量，维度)(一次性)
请将您的Edge用户分配为技术专员在1D中指定的每个域中，这样Edge就可以在每个域中创建和更新资产。确保您的Edge用户还具有分配的管理权限，以便在Catalog中创建和更新资产。
这一步为Edge提供了创建资产并将资产更新到上一步域中的适当权限
1 f。允许DQ资产附加到表和列资产(一次性)
现在我们需要添加一些关系并更新全局赋值特征
-
表格:设置->操作模型->关系->在“表”的任何列中搜索->全局分配->特征->编辑(两个按钮中较大的一个)右边->添加特征->搜索并选择“由治理资产治理”->保存
-
列:设置->操作模型->关系->在任何列中搜索“列”->全局分配->特征->编辑(两个按钮中较大的一个)右边->添加特征->搜索并选择“受数据质量规则控制”->保存
1 g。建立DQ连接器(一次性)
DQ连接器是一个边缘功能，将促进与Collibra DQ实例的通信新万博移动客户端
-
设置->边缘->能力->添加能力->选择“DQ连接器”->输入您的Collibra DQ URL。新万博移动客户端输入用户名和密码新万博移动客户端
-
在JWT发布者下，请确保您所连接的数据库有正确的模式名(如果是单个租户，可以是“公共”，或者是租户的名称)。
记住在前面的步骤1D中，您需要为DQ规则、度量和维度提供指定域的资源/ uuid
在DQ连接器中指定DQ资产目的地
输入你的uuid从步骤1D规则，指标，尺寸
太好了!我们现在已经完成了初始的一次性配置!
2 a。在Collibra目录中创建系统资产以连接到边缘新万博移动客户端
Global Create > 'System' > Select Domain >输入名称，例如:“postgres-gcp”
重要提示:连接/系统名称(在本例中为' postgres-gcp ')必须与Collibra DQ中的连接/系统名称完全匹配新万博移动客户端
2 b。注册边缘数据源到Collibra目录新万博移动客户端
编录>全局“创建”>使用Edge注册数据源
前提条件:Catalog将在Edge上摄取模式
分类>数据源>选择数据库。'postgres' >配置
前提条件:确保目标模式在Collibra DQ中具有已执行的用户定义规则、度量和/或维度新万博移动客户端
3 a。同步所选模式的数据质量
目录>数据源>选择数据库>配置>质量提取
3 b。验证Collibra目录中的数据质量结果新万博移动客户端
成功!示例输出
附录:数据质量和数据目录中单表的同步
在Collibr新万博移动客户端a数据质量中查看
在Collibr新万博移动客户端a目录中查看
问:已知的局限性
-
只能从Collibra DQ中指定一个源租户新万博移动客户端
-
按需摄入(vs.计划摄入)
-
只能为每个规则、度量和维度指定一个域目标吗
-
只支持JDBC源(不支持文件源)
在DGC中:我可以验证DQ连接器正在同步数据质量规则和数据质量度量，但为什么不显示数据质量仪表板图表?
答:确保正确聚集路径而且全球作业(或创建，如果不存在)表格而且列下面
表的聚合路径(数据质量规则)
列的聚合路径(数据质量规则)
数据质量规则的全局赋值
问:DQ仪表盘在DGC:为什么我的DQ尺寸图表不会显示在我的仪表盘?
A:请加一个新习惯关系“数据质量度量按数据质量维度分类”，2)全球作业对于“数据质量度量”，3)新的UUID关系到DQ连接器设置在步骤1 g4)
操作模型中的新关系类型
新的全局赋值特征
增加“按数据质量维度分类”
将新关系的资源ID复制到DQ连接器设置中
问:我已经正确地连接和配置了数据源，为什么DQ规则和DQ指标没有同步?
答:请确保Collibra数据质量、Collibra和Edge之间的连接/系统名称完全匹配新万博移动客户端
A:请确保边缘用户具有将资产写入Catalog的管理权限
答:请确保DQ连接器功能中指定的正确URL，例如http://cdq.customer.com:9000/
问:DQ连接器是否单向?
A:是的，从Collibr新万博移动客户端a DQ到数据智能云中的Collibra Catalog
问:我可以同时运行多少个DQ连接器?
A:目前有一个。
问:DQ连接器是否与On-Prem Collibra DGC兼容?新万博移动客户端
答:不，任何与Collibra DGC合作的工作都将通过C新万博移动客户端ollibra专业服务或合作伙伴SI进行定制API开发。
Q:如果我从Collibra DQ中删除一条已经同步到新万博移动客户端Collibra Catalog中的规则，它会在下次同步时从Catalog中删除吗?
答:不，DQ连接器只将插入目录。如果从Collibra DQ中删除了规则，则不会在C新万博移动客户端atalog中自动删除。
问:为什么我在Collibra DQ和Collibra Catalo新万博移动客户端g中的分数不一样?
答:目前，DQ DQ连接器从Collibra DQ中引入了最新的用户定义规则。新万博移动客户端其他影响得分的组件，如行为，异常值，模式，欺骗，源还不包括在内。
问:当试图删除边缘为DB和连接创建的域时出错?
答:请删除边缘通过API创建的域。
问:我已经按了同步按钮，我怎么知道我的工作是否完成了?
答:检查活动圈(菜单右上角的按钮)，查看DQ同步的状态。
最后修改2月前