发布注解
搬家新万博移动客户端提高客户经验Collibra数据质量用户指南已移到
新万博移动客户端Collibra文献中心
新万博移动客户端Collibra数据质量2022.11发布保证无缝过渡
新万博移动客户端dq-docs.collibra.com
DQ用户指南目前完全保留在文档中心
新万博移动客户端完成CollibraDQ升级或新建后,现在需要输入许可名,
LICENSENAE网络环境变量文件(owl-env.sh)或输入global.configMap.data.license_nameHelm图表变量
新万博移动客户端Collibra数据质量2022.10发布时,所有docker图像都运行在JDK11上单机包包含JDK8和JDK11选项现有客户需要JDK11时,请更新运行时间后升级至2022.10多数Hadoop环境版(EMR/HDP/CDH)仍然运行JDK8,因此使用这些环境的客户可用JDK8包升级偏向升级为JDK11时,必须在部署2022.10发布前跟踪相关Hadeop环境文档升级为JDK11
华府
-
可定义规则检测无数据作业天数
$daysWithoutData. -
可定义规则检测作业数0行
$runsWithoutData. -
定义规则检测自上次作业以来天数
$daysSinceLastRun.
-
创建数据集时,现在可使用字符串长度特征并试配置字符串长度复选框
-
剖析字符串长度检查时,字符串列的最小/最大长度保存到表数据集域
-
-
现在可以写规则对加载源数据框架
背包清除器配置代理
-
启动时间更新时间基础为服务器时区DQWebApp
-
作业调度页现在有渐变
-
从脉冲视图中,您现在可以查看缺失运行量,行数为0并用失败分数运行
-
非管理员用户试图从目录页查看或修改数据库连接细节时,连接细节现在屏蔽用户中只有角色_admin或角色_connecti94430)
-
getRunIdDyDataset端点现在提供:
-
RunID为定数据集
-
全部完成DQ作业给定数据集
-
-
可检测不兼容数据字段的形状推下作业检查所有列默认形状
-
直方图和数据预览细节剖析活动
-
SnowflakeJDBC驱动程序更新为3.13.14
-
定序验证器问题导致表误差验证程序现在正确检测列93430)
-
固定问题, 并发查询失败加载活动推向剖析支持 SQL合并车牌#92409
-
固定问题导致任务使用CTE查询时负载活动失效请注意CTE支持目前仅限于Postgres连接8828789150
-
固定问题引起时区间不一致性
-
固定问题导致自适应规则作业卡在未知状态中,这是非支持时间自适应规则衡量法的结果95936
-
固定Balancer源码服务EKS环境95398号票
-
掌舵属性
global.ingress.*已被删除分离 web和spark历史配置请更新属性如下:global.web.ingress.*global.spark_history.ingress.*
-
-
添加支持用属性指定Ingress登陆CIDRs
.global.web.service.loadBalancerSourceRanges.95398号票-
Ingress支持Helm图表的一部分,我们建议,如果需要进一步的定制化,将自己的Ingress加入部署
-
需要新建舵图
-
-
固定问题导致Livy文件估计数失效
-
固定问题导致GCS部署失败
-
添加列名称特征定时删除 并发布2022.11车牌#96066
-
直接限制查询前曾有功能
srcq并添加更新范围 -
查询使用编辑/限制列并使用更新范围
-
-
固定问题导致错误消息显示 [VALUE_THERSHORD]94435
-
高级滤波器计划从Dupes页面删除并发布2022.11车牌#96065
-
固定问题导致大Query连接错误更新库
里比路径选择列子集车牌#96768
-
固定问题禁止调度程序运行多租机设置中某些定时作业电子邮件服务器信息从正确租户获取92898表
-
数据集返回0行时,数据库规则不执行完全修复计划未来发布,但截至2022.10年仅部分固定
-
CTE查询支持目前仅限于Postgres连接DB2和MSSQL目前不支持
-
使用新批量动作特征时,UI无法立即显示更新作业应用规则后,对数据集运行DQ作业从规则标签可见一行新应用规则
-
freeform规则不能使用数据集名,而必须使用
数据集snowflake并没有明确理解数据集名称 -
使用 SQL查询工作流时, sQL查询中选择子列时必须双引号嵌入,以防止作业无限运行和不失效
-
最小/最大精度和尺度仅计算
双倍数据类型所有其他数据类型目前都超出范围
5个月多DQ安全漏洞
关键安全漏洞5个多月
-
规则标签上条件列现在显示悬停SQLG和SQLF规则定义
-
作业图表显示虚灰线表示提交状态下的工作
-
作业图表支持时视图选项
-
运行推倒作业时,有数据集返回0行,消息显示不明确
-
从Explorer中的配置标签中,当列名包含特殊字符时,DQ作业下检验信头复选框现可用校验头框默认检查
-
检查时模式发现检测时不显示
-
不受约束时显示模式发现
-
-
平均值现取Except页面四舍五入
-
SOH文件划分器现在支持
-
所有构建层标签唯一复选框现已删除
-
Profile活动现在总能启动,不再开关
-
设置通知调度任务时,每通知只发送一箱邮件
-
现在可以检查日志看何时警告不发送重发邮件
-
发现页在调度图标旁显示绿色指标如果调度器不活动,红色指示器显示
-
v2/gethootAPI现在正确返回数据集规则维度信息89973
-
Databricks连接模板因驱动程序升级而改变现有连接使用老驱动器必须更新参考新模板(表#19950)
-
Athena、BigQuery、MongoDB、GCS、Hive/Impala驱动程序也升级,但无需修改连接
-
2022.09释放使用spark3.2.2.
推荐使用spark3.x单机安装/升级
-
固定问题无法正确显示行估计值,当运行日期在新作业运行时修改时90860
-
固定问题避免使用NFS连接类型创建DQ作业显示远程文件连接下拉92479号票
-
固定问题导致文件类型解析器未检测出默认逗号划分器时投出报错消息解析器检测文件定界器并自动更新UI定界器类型8948999280
-
错误消息合并Schema现在有额外日志解析Livy会话和非Livy路径失败模式合并的原因92694号票
-
固定问题二catableshasrulescxnAPI启动时触发403状态代码9329894258
-
固定问题导致代理检验不再尝试验收K8部署元件,结果产生红色(不健康)状态92055 92963
-
固定问题禁止并发用户正确运行Livy会议9296390432)
-
规则构建器页面无法使用时用户创建、验证、保存新规则并重编
-
工作补丁设置全页刷新
-
-
当用户试图验证包含状态规则时,异常错误返回
-
赋值队列特性仅供本地用户使用外部连接用户支持,如SAML和AD连接器,目前不可用
-
通知接收者电子邮件地址分号分离
;,警告邮件不寄送对象-
解决此限值的方法是用逗号分离报警接收者电子邮件地址
,取代分号
-
-
作业运行时,该数据集返回0行,不明消息显示
-
本地规则包含嵌入式状态时,计算值不会显示在作业结果页上
-
数据集安全不支持
-
禁止自计不产生效果,因此所有自计都执行
-
仅使用sql查询工作流不允许设置日期值
5个月多DQ安全漏洞
关键安全漏洞5个多月
-
OracleJDBC连接KerberosTGT、Keytab和密码认证752677777030
-
SQL服务器JDBC除基本认证外还认证KerberosKeytab连接
-
规则汇总增强
-
可选择不同的时段分析
-
从三大页查看图表,包括规则细节汇总、规则例解分解和规则尺寸汇总
-
-
脆弱度Jfrog识别
-
Vulns0临界值0高度7
-
当前媒体大都归结为dq流模块合并核心
-
-
-
可选择配置单时区DQ作业、Web和代理只有当实例和容器在不同系统时区运行时,才应使用此配置8702487155
-
行为标签现在有新列Delta百分数变化
-
下列新工具栏可悬停:
-
基准线
-
百分比变化
-
%变化
-
子数组
-
分数
-
-
外部检验目前优化以在某些情况下跳过外部检查仅在指定日期列历史负载为空时跳转
-
可更新并修改命令行记录标志
弧度,rcKeys,弧度Col并rcTbin.
-
v2/gethootAPI现在正确返回数据集规则维度信息
-
v3/jobs/runAPI对400错误请求消息有改进
-
新万博移动客户端Collibra集成库更新为2.4.12
-
新的GCS罐使用GCS时事服务器90623
-
固定问题使用.TXT文件错误转换自定义列名81808表
-
带.TXT扩展文件目前作为定界文件处理.TXT扩展文件非定界文件应使用文件类型下拉
-
-
K8部署问题固定化,当音量名称超过63个字符时作业失败85372号票
-
固定问题引起 v2更新代理API失效897379240492680
-
NumCorse字段已不再需要字段
-
-
固定问题导致验证源作业失效88778
-
使用freeformSQL规则与通配符运算符时,规则再次正确传递验证车牌89644
-
固定问题regex规则使用字符
),,并;并禁止regex正确操作8941792958 -
固定问题引起列值加括号
)因加页前后关闭括号车牌85176 -
固定问题引起规则特殊字符,如@错误显示规则页面条件标签和导出Excel时
-
固定问题禁止带附属规则与角色数据集重命名8573194315
-
固定问题TopN值和数据预览中某些结果显示科学符号科学符号从显示器上删除82163 89738
-
固定问题允许CLOB数据类型在源标签中的拖动列对目标映射可见86902表
-
RESTAPI端点v2更新RoleDataset
-
发现页面显示计算状态规则结果 平均单引字符串例例573523.87>6763
-
列级规则汇总特征目前不可用
-
添加敏感标签或数据分类时,编辑更新函数不显示所选记录要正确显示记录,必须在编辑或更新前先刷新页面
-
程序UI正在重新设计时,当应用时间超出程序遗留面时,你可能无法在新ReactMUI端看到它当DQ程序多标签开关时可以发生这种情况。
-
当前我们不跟踪会话超时从遗留UI到React
-
-
新万博移动客户端Collibra为启动新特征感到自豪 Snowflake推下新万博移动客户端snowflake推送允许更快处理并消除单立Spark计算平台操作Collibra数据质量的必要性snowflake推送专用贝塔特征因为这是贝塔特征,在我们继续提高功能时预期会有一些限制联系您的CSM学习更多此特征
有临界CVE
CVE-2016-1000027图片扫描显示 Spring版本虚阳性应增入客户扫描工具例外列表不使用HttpInvokerServiceExporter应用中任何地方不受它影响
5个月多DQ安全漏洞
关键安全漏洞5个多月
单机包2022.07发布
中心.返回标准命名规范 2022.08发布
-
DQ作业
-
固定问题禁止数据出现在源码标签中时从任务页面点击源码观察RunID
-
固定题令带特殊字符的注解短短贴标签
-
固定问题导致规则标签列错误显示
-
固定问题 Retrain标签禁止
-
可再次用单引文无效观察
'从形状标签 -
hints标签显示所有可用数据
-
无法从调度器模式中改变代理程序 。
-
-
规则
-
SQLF目前支持通用规则
-
当通过规则发现运行自定义规则时,列名Repo和列重新正确显示
-
-
报警
-
可使用非认证SMTP服务器发送邮件
-
-
安全性
-
脆弱度Jfrog识别
-
Vulns0临界值0高度7
-
视觉读取见下文DQ安全度量段
-
-
固定问题允许作业从命令行运行而不管连接权限
-
连接安全启动时锁住SQL编辑器以防止未经授权访问其他连接87916
-
-
固定问题允许用户访问某些剖面结果并导出数据到 CSV文件
-
添加授权检查数据集访问剖面片特征,允许只有数据集用户访问导出剖面片87720
-
-
反斜线
\AD用户名不再支持字符而不阻塞/v2更新安全配置API88499 -
固定问题禁止回页日志89024
-
-
配置文件
-
从Label标签上脱去注解时用回波字符串内分离
-
-
管理员
-
从审计轨迹看,当管理员修改角色映射到数据集或数据集映射到角色时,变化现在自动记录并显示原创更新值
-
AgentGroup(H/A)及其相关端点现在被折旧
-
从用法中,你现在可以访问表和瓦反射你月用法度量
-
service账号现在可配置使用Pendo日志
-
Tech预览*serviceNow集成
-
事件编程(验证动作)可分派ServiceNow分组和用户,并包含下列字段:Caller_id、描述、短描述、cmdb_ci
-
-
-
探索者
-
固定问题Oracle连接日期范围
-
作业估计模式再次显示Sybase连接正确行数
-
固定问题源对目标双重引用
...从数据库源文件删除为文件目标
-
-
分数卡
-
增强任务队列页面布局
-
-
API系统
-
v2get定时作业目前可用作为原创v2get定时作业的增强
-
UI集成计划未来发布
-
-
-
调度程序
-
向调度器导出添加活动列
-
RunJob列删除88799
-
-
-
报表编程
-
固定问题制造PDF导出列标题偏差89739
-
-
规则
-
使用新SQLF通用规则特征时,必须手动更新从SQLG到SQLF通用规则类型
-
UI特征计划未来发布
-
-
stat规则如$rowCount不为二级数据集工作或前运行Id通过@t1语法
-
环绕此限制运行子query从二级数据集或前运行Id选择计数
-
-
-
探索者
-
Sybase连接成功运行,但用加密密码连接Sybase目前不支持
-
-
文件类
-
CSV文件使用时无法使用逗号
,名中
-
-
管理员
-
Tech预览*serviceNow集成
-
特殊字符
[email protected]#$##########################内描述不支持,目前不支持ServiceNow分配队列 -
空或无效ServiceNow组名不返回CDQ报错
-
结果是ServiceNow委托生成默认管理员帐户,即空或无效时所有者
-
ServiceNow组名有效或相关ss_id
-
-
新的REACTUI尚不支持ServiceNow集团整合
-
-
有临界CVE
CVE-2016-1000027图片扫描显示 Spring版本虚阳性应增入客户扫描工具例外列表不使用HttpInvokerServiceExporter应用中任何地方不受它影响
脉冲随时间推移
临界表
-
DQ作业
-
固定问题学习行为特征82907表
-
CDQ完成扫描最小数后,学习状态根据结果改变分解或破解
-
-
-
外部层
-
固定问题文件回溯未识别预期异常值87967
-
-
报警
-
配置邮件提示时,SMTP用户名和SMTP密码字段仍需要字段86033
-
验证松绑计划2022.07发布
-
-
-
规则
-
-
固定问题日期列类型数据不检测时标83000
-
固定问题数据类使用运算符
<,>或=引出逆规则从此进程推出异常83000 -
数据类从regex转换为表达式并重编辑时,regex复选框现在正确检查
-
-
代理
-
探索者页面和调度器模式现在显示相同的代理86175
-
-
安全性
-
脆弱度Jfrog识别
-
Vulns0临界值0高度8
-
视觉读取见下文DQ安全度量段
-
-
通用咨询 :
-
有临界CVE
CVE-2016-1000027图片扫描显示 Spring版本虚阳性应增入客户扫描工具例外列表不使用HttpInvokerServiceExporter应用中任何地方不受它影响
-
-
与Spring、ESPI和Swagger有关的主要漏洞已经解决
-
访问SQL数据库连接时不允许交叉DB引用
-
敏感UI字段如用户名不再允许自填
-
if配置,ENV变量
XSS_CANONICALIZE_INPUT_ENABLED切换自定义或猫头鹰env.sh -
数据集安全开关时,现在可以添加基于角色的授权编辑现有数据集87720
-
命令控制台配置段内App配置页面覆盖下列邮件设置
-
邮件运输协议-默认smt
-
mail.smtp.auth-默认=真:如果真,尝试使用AUTH命令验证用户
-
mail.smtp.ath.login.
-
mail.smtp.starttls.enable-defaility= true:如果真,允许使用STATLS命令(如果服务器支持)切换连接到TLS保护下连接后发布登录命令
-
mail.smtp.ssl.enable-defae=伪:如果设置为真,则使用SSL连接并默认使用SSL端口默认假协议并真协议
-
mail.smtp.ehlo-默认=真
-
邮件.debug-默认=真
-
mail.smtp.ssl.trust-默认=:设为*时,所有主机都可信设置为白空间分离主机表时,这些主机可信信任取决于服务器提供的证书76775 88089
-
-
-
配置文件
-
平均值目前在剖面页内适当四舍五入
-
例 : 值2.434334345四舍五入为2.434
-
-
-
连接
-
从Athena驱动程序,你现在可以使用
MetadataRetrievalMethod=Query数据库查询连接URL86139 -
固定问题, 故障连接错误消息不显示信息文本85527
-
固定问题NFS文件连接远程文件连接导致作业失效88156
-
Spark文件系统添加文件协议
-
添加nfsm前缀wi
-
URI文件/协议后通过spark加载NFS文件连接
-
-
-
-
分类表
-
图选项在Quick链接中不再可用
-
-
管理员
-
Pendo集成目前默认活动
-
不收集敏感信息只收集高用量统计
-
从2022.06开始的所有新客户将获得新牌照
-
安装单机环境时修改
/config/owl-env.sh文件 export DQ_INTEGRATION_PENDO_ACCOUNTID= -
新建整合程序不以任何方式阻塞或损耗功能
-
新万博移动客户端欲了解Collibra子处理器详情,请审查 新万博移动客户端Collibra子处理器页面 .
-
-
AgentGroup(H/A)及其相关端点现在被折旧83086
-
固定问题中缺少“ 添加数据分类” 按钮86625
-
会话过期管理页面时,您现在重定向登录页面
-
管理员限制页现在显示信息文本表示页面上显示的只有租户-管理员类型限制
-
编辑现有数据类别时固定问题,该类别导致“添加新模式开机,代之代之代之代之代之代之代之代之代之代之代之代89617
-
从配置设置中,DB限值现称数据保留策略
-
-
探索者
-
explorer页面创建DQ作业时,您现在可以查看SAP Hana计算视图83147 84328
-
固定问题导致日期范围条件使用Oracle连接时显示结果错误85802
-
固定问题传递报错消息时使用 Postgres连接时用日期范围条件检查85802
-
固定问题等值签名
=a使用变换式Run CMD令作业失效71547 -
固定问题文法表名加下划线
_不接受 。 -
固定问题允许作业以小于1行限制运行
-
固定问题加载不正确文件预览
-
CLOB数据类型不支持86902
-
改进性能和逻辑钻进数据库 并编程探索者页面
-
-
API系统
-
即时访问api快速链路页面
-
Swagger使用时,UI文本表示字段敏感时
-
-
报表编程
-
技术预览*规则摘要增强
-
最常违反规则 最严重违反规则 最少违反规则
-
可查看带规则与维度摘要的交互派图表
-
-
-
UI语言
-
可扩展遗留导航窗格和响应菜单的样式更新
-
-
法律类
-
验证源码
-
比较JDBC(目标)远程文件如S3(源码)时,已知sparkug
-
2022.06使用spark3.2无法实现验证源组合
-
-
使用大query源码时,-libsrc需要人工修改以包括核心目录
-
For example, /home/centos/owl/drivers/bigquery**/core**
-
-
-
配置文件
-
Spark目前不支持vachar数据类型vachar数据类型转换为字符串其它非支持数据类型也可能错误转换
-
-
安全性
-
导出任务权限尚未处理时启动数据集安全并添加基于角色授权编辑现有数据集87720
-
有临界CVE
CVE-2016-1000027图片扫描显示 Spring版本虚阳性应增入客户扫描工具例外列表不使用HttpInvokerServiceExporter应用中任何地方不受它影响
脉冲随时间推移
临界表
-
DQ作业
-
无法继续更新数据集名
-ds从命令行-
帮助错误消息现在显示
-ds.
-
-
停止作业动作不再对 K8s开放
-
固定问题dreio作业编辑或克隆现有数据集时挂起工作
-
-
外部层
-
外边界表添加用户名跟踪谁创建边界
-
外部边界添加用户名后再次正确保存
-
-
固定问题导致作业失败
-
-
规则
-
-
可依据单个规则配置预览限值
-
自由式简单规则目前支持预览限制特性
-
-
可设置正数为规则预览限制
-
更新预览限值时,必须重运行应用更新限值
-
-
DQ作业页上个人规则细节显示折余子表所有破解记录
-
规则标签为除Freeform和SQL以外的规则类型破译时,UI文本现在显示,“数据预览记录仅供Freeform和SQL规则使用。”
-
-
现在可以悬停在stat规则上观察条件
-
数据概念重命名数据类别
-
语义重命名数据类
-
数据类通过剖析控件分配数据集时,规则现在创建
-
-
安全性
-
脆弱度Jfrog识别
-
Vulns0临界值0高度9
-
视觉读取见下文DQ安全度量段
-
-
新万博移动客户端CollibraDQ 2022.04图像OS通过使用RHEL8基础图像构建clibraDQ2022.05图像解决OS实用程序2022.05发布图像中不可用
-
unityOSSL加密/栈
-
满YUM栈
-
OS工具,包括焦油、gzip和vi
-
-
AD用户可再次使用auth/signinRESTAPI
-
HighchartsCVSS2:9.3/CVSS3:9.8漏洞解决
-
LOGJAM(CVE-2015-400)SSL/TLS漏洞解析
-
Springshell(CVE-2022-22965)脆弱性解析
-
TLS < 1.2不再支持
-
AzureADSSO发送分组.lincing断言时,程序现在试图通过链接解决分组问题
-
可使用属性SAML_GROUP_LINK_PROP激活此设置
-
-
-
配置文件
-
剖析列表语义单元中,您现在可以通过点击任何地方编辑或删除语义
-
现在可保存注解并带特殊字符
-
当前不支持的特殊字符包括百分比符号
百分数反斜线\并爱心^.
-
-
固定问题列破解规则不高亮
-
-
连接
-
-
-
可使用DatabricksSimba驱动程序添加Databricks数据集
-
-
分类表
-
新万博移动客户端固定问题删除数据集导致CollibraDQ其他地区数据集的孤儿链接
-
-
管理员
-
Tech预览*[TP]系统现在可以通过分配队列屏幕代理服务器使用ServiceNow集成
-
可访问新用法页面查看月历史用法统计
-
拥有管理员权限的AD用户现在可添加商务单元
-
拥有管理员权限的AD用户现在可以管理本地用户
-
AgentGroup特征标记折旧,2022.06发布时从应用删除
-
-
探索者
-
可再次编辑目录页上的 schema和表名
-
可直接从赋值页面浏览特定行为标签
-
查看View数据向导Schemas时固定题
-
-
评分卡
-
单空间+++
_和周期.保存记分卡名时支持字符
-
-
API系统
-
改进API调用用户管理保存函数
-
-
报表编程
-
技术预览*规则摘要增强
-
现在您可以筛选规则分解出指定的日期范围并查看大规则类型图、多规则数据集和顶规则运行图
-
-
Delta文件Abug因2022.05删除cVes使用Delta文件-
三角洲更新前不建议升级
-
探索者
-
除下划线
_中特殊字符目前不支持 schema或表名
-
-
管理员
-
Tech预览*serviceNow集成
-
只测试并验证本地docker容器代理
-
测试连接按钮验证证书能力目前有限,如果ServiceNow URL有效
-
验证所有规则函数目前导致故障
-
无法编辑活动ServiceNow任务
-
失效/失效或解析动作失败
-
-
serviceNow发票并嵌入URL时使用双引号脱包
-
非此进程不可发送任务 。
-
-
-
-
多位数
-
租户名小写使用小写字符创建多租户管理页租户当前限制环绕生成模式
-
-
报表编程
-
技术预览*规则摘要增强页
-
排序列返回错误
-
用户必须使用日期选择器, 手动日期项不被尊重 。
-
起始结束日期导航页面时异常
-
挂起表上最后一页更新日期标准时不变
-
-
脉冲随时间推移
临界表
单机安装设置.sh脚本查找/替换变量spark包.
Change spark-3.0.1-bin-hadoop3.2.tgz to spark-3.1.2-bin-hadoop3.2.tgz
spark_package=${SPARK_PACKAGE:-"spark-3.0.1-bin-hadoop3.2.tgz"}
华府
#替换
华府
spark_package=${SPARK_PACKAGE:-"spark-3.1.2-bin-hadoop3.2.tgz"}
-
DQ作业
-
输入负分数不再支持, 现在将生成报错消息 。
-
现在您可以废除特殊字符模式
-
spark表名加载历史数据集和其他spark表名现可见作业日志表
-
长类型值大于
整数.max不再破解剖面图 -
View发现显示用户全名分配队列页面还显示用户全名
-
-
报警
-
可再次使用警告页面上的取消动作按钮
-
设置报警通知多邮件接收者
-
email_server表尚未配置时, 帮助消息将显示于工作日志中的描述列中, 指令您注册a作业仍然成功运行
-
-
规则
-
可修改主DQ作业仪表板规则定义而不加载规则页
-
平均值检查再次正确触发整数列
-
fix触发整数长列平均值检验并显示一段时间内无限百分比行为变化,视-bhlb而定过此段后,它应消失
-
-
原生SQL规则,作业行为不变, SQL查询中是否包含分号“;”。
-
数据集名中可使用连字符-
-
可接受特殊字符现在包括连字符句句号
-
-
添加工具提示显示条件在条件列悬停时使用Stat规则时在DQ作业中检查
-
使用Stat规则时,当特定列无值时改进异常消息
-
WebUI跨边界范围更新至
-
Freeform规则,ISNull和inNULL不再返回无效结果
-
添加弹出成功消息用于校正语法规则转接验证按钮后带二级数据集Freeform规则
-
-
安全性
-
脆弱度Jfrog识别
-
Vulns2临界值2高易损
-
视觉读取见下文DQ安全度量段
-
-
授权限制目前对下列端点强制执行:
-
/v2/deletefiledir
-
/v2/getRunIdsByDataset
-
/v2/putDatasetWeight
-
/v2/checkListofFilesPath
-
/v2/getlistagents
-
/V2/CreckDriver
-
/v2/getconnectionssensitive
-
/v2/getemailgroups
-
/v2/getemailserver
-
/v2/addemailgroup
-
/v2/validateEmailAddress
-
/v2/getlistoffiles
-
/v2/getlistoffilespath
-
/v2/getlistoffiles
-
/v2/getDriverDir
-
/v2/getlistrolesbydataset
-
/v2/getlistrolesbydistnctdatasets
-
/v2/getlistrolesbyfunctiontypename
-
/v2/getlistusersbyauthority
-
/v2/getlocalDBRoles
-
/v2/getsecuritysettingsbytype
-
/v2/getowlcheckinventory
-
/v2/getconnectionspwdmgrsensitive
-
/v2/getsecuritysettingsbycoltype
-
/v2/getdbuserlist
-
/v2/getdbuserdetailsbyuser
-
/v2/getexternaladgroupstointernalroles
-
/v2/getlistdatasets
-
/v2/getlistdatasetsbyrole
-
/v2/getaudittrailitems
-
/v2/get-all-audit
-
/v2/get-datasets-audit-trail-items
-
/v2/get-all-dataset-audit
-
/v2/getactivityaudit
-
/v2/getallactivityaudit
-
/v2/getlocaldbrolesbyuser
-
/v2/getdatasetaclsecurity
-
/v2/getexternaladgrouplist
-
/v2/getexternaladuserlist
-
/v2//external-service-configuration
-
-
本地用户账号现在装有账户闭锁特征,并有下列限制:
-
用户账号锁定时,密码输入错误超过10倍(通过app配置配置可配置)。
-
锁定账户只能由用户管理屏幕中的管理员用户解锁
-
管理员锁定后,管理员可解锁他们的账号
-
如果所有管理员都锁定,则通过DB启动账号
-
用户无法在账户锁定时用忘记密码重置密码
-
-
OSC目前强制SAML多租制
-
中断 SAMLssss
-
${IDP-BASE-URL}代之以实际内存URL值(例如:https://ping.auth.com)
-
${DQ-BASE-URL}替换为实值DQ基础URL
-
-
-
SAML登录时不再自动触发当前会话登录页SAML登录时,应代之以/saml/log
-
API请求(v2/v3)返回适当的JSON响应
-
auth/sign API更新为MT和本地用户提供JWT令牌
-
-
-
配置文件
-
均值再次显示卷列
-
LinuxDQ环境连接Windows MSSQL服务器时,连接不再失效
-
我们推荐TLS连接dqlinux环境MSSQL连接并正确签名证书安装MSSQL服务器仅通过TLS连接
-
-
现在可编辑标签注解
-
-
S3
-
添加-addlib标志增强
-
-
连接
-
添加新Jconn4驱动加密连接
-
技术预览-你现在可以保存本地文件目录为连接类型
-
-
大Query现在认证生产,但从打包安装K8docker删除
-
-
探索者
-
取全文件或Union LookBack选项时
全文件并-fllb无法在 DQ作业命令行同时生成标志 。 -
Temple文件加载数据预览现在正确显示Temple原文件列序
-
可钻入并搜索连接内文件
-
可浏览多局域文件连接
-
-
评分卡
-
s-za-z0-9+$
-
-
稀疏
-
添加链接ID列精确匹配UI和RESTAPI链接ID现在可包含或排除
-
链接ID现显示总和匹配
-
我们建议从主键视角使用此特征首次迭代
-
集合函数使用m
-
例例 : 有 6 例, 取 一例链接ID 分解
-
-
-
-
API系统
-
/v2/getlistdataschap评选API调用法从Get toPOST支持长查询表-q或大列表
-
添加一个新的SAML负载平衡器,syestem选择 schema和SAML服务器URL
-
-
配置文件
-
特殊字符当前标签注解不支持
-
-
评分卡
-
空格表示_和句号表示不支持记分卡编辑
-
易损性随时间推移
临界表
-
DQ作业
-
valifate值显示缺失密钥选项现在允许推断目标与源间缺失密钥
-
新建作业将不再错误标识并附加双重引用
-
带空格文件名目前在程序内用双引号处理
-
-
报警
-
新万博移动客户端邮件通知中现在有Collibra标识和名词
-
固定取消动作删除网页功能
-
-
外部层
-
定题图中数值外演不显示
-
-
规则
-
增加保健数据类规则库
-
PST-/V3/规则/端点固定输入验证规则规则DTO.rueName字段应用下列验证规则
-
最大尺寸为100
-
a-zA-Z0-9_+$
-
-
hoot页面规则显示正确异常数据时扩展
-
-
安全性
-
脆弱度Jfrog识别
-
Vulns0临界值6高易损
-
-
密码长度增加最大72个字符
-
忘记密码屏幕现在总显示UI成功消息,无论成功或失败
-
固定发布报错添加/编辑用户角色
-
添加错误检查密码管理脚本投出错误
-
帮助者文本“强制用户角色运行作业”添加到 DQ作业安全行
-
用户管理屏幕更新用户时删除用户密码字段
-
管理员只能为另一个用户设置密码创建新用户,但不能同时更新/修改密码
-
修改密码时,用户现在可使用剖面页或自服务密码特征
-
-
ss安全
-
修复记分卡、作业、规则目录页上的漏洞
-
通过远程连接固定漏洞
-
-
缩放端点/v2/getrawview易受本地文件连通攻击
-
DQHTTP会话cookie
-
规则发现术语对齐
数据概念数据分类
语义数据类
-
配置文件
-
精度尺度使用多执行程序时正确性
-
-
管理员
-
边缘控件内下载页面
-
-
验证源码
-
技术预览*更新源域
-
源标签查询段添加“更新源域”。
-
-
-
连接
-
日志清理过程错误加处理
-
-
API系统
-
改进API调用Save函数
-
-
验证源码
-
技术预览*更新源域
-
唯一工作JDBC连接局部远程文件特征隐藏
-
Valsrc查询修改列映射时不会自动更新使用复用按钮重置特征
-
-
新万博移动客户端单片CollibraDQ安装时,请双检'核心数'字段设置'Edit代理'
上传作业UUID升级后初始启动可能需要更多时间
-
DQ作业
-
添加UUID作业以更好地跟踪Web和Core
-
优化调用提高作业页负载性能
-
固定问题dH格式时DQ作业失效
-
-
外部层
-
-
特征标志可设置在猫头鹰-env.sh或配置Map中
export outlier_calibration_enabled=true(故障关闭) -
能力抑制外部观察用户确定时间段否则会冒出异常
-
功能启动后DQ作业页Objective
-
-
-
报警
-
能力从DQ作业页浏览数据集专用警告
-
能力测试SMTP报警配置
-
固定问题, 即回发域不正确接受用户输入值
-
新万博移动客户端请注意响应邮件字段没有域限制
-
-
-
安全性
-
严格密码策略强制应用到所有用户/租户管理屏幕/APIs
-
最小值8字符
-
最长20个字符
-
最少上写字母
-
上位数字符
-
至少有一个特殊字符支持!
-
用户身份证和密码不能相同
-
密码不能包含用户标识
-
-
改变用户配置密码功能需要用户当前密码
-
-
Log4J升级为2.17
-
-
向用户添加连接安全检查以防止运行作业并查询非授权连接表当应用
DB连接安全管理控制台下启动概论. -
严格执行会话管理
-
应用CORS约束以减低CSRF潜在漏洞
-
强制严格CORS策略不允许任何域允许其它域并微调该行为,我们已经暴露下列属性为猫头鹰-Env环境变量:
-
-
CORS_ALLOWED_METHODS=GET,POST,OPTIONS,DELETE,PUT,PATCH
-
CORS_ALLOWED_HEADERS=X-Requested-With,Origin,Content-Type,Accept,Authorization
-
CORS_EXPOSE_HEADERS=
-
CORS_ALLOW_CREDENTIALS=false
-
CORS_MAX_AGE=0
-
-
-
-
固定问题, 租户在 DQ连接器配置中指定( jwt令牌域发布者在 DGC边缘管理页面中) 未被适当接受唯一规则公有模式DQ连接器接受正确值
-
-
代理
-
潜在删除代理时,添加服务器侧验证以表示定时作业数,以便用户理解作业向前失败
-
-
规则
-
增强并行规则执行稳定性以确保所有规则负载,恢复固定线程计数
-
规则执行失败显示异常改善规则管理经验
-
改善规则库标签(规则页内)用户经验,包括过滤器和列对齐
-
快速规则下调规则页面内存值默认严重度为1分和阈值1%
-
增强Profile标签生成规则验证
-
固定问题删除语义标签时可能没有删除对应自生成规则
-
规则名字符限值100
-
规则构建器页面现在返回报错信息
-
-
分类表
-
从目录页面重命名数据集保留关联规则
-
克隆人只创建数据集外壳(DQ作业配置,不附加规则等)
-
-
批量动作支持数据概念
-
固定问题商业单元子可分配为父
-
固定问题清除单个过滤器不功能
-
-
验证源码
-
ech预览*[TP]源码标签查询新折叠段自定义srcq用户使用类似Home标签段查询,这样用户不必编辑-srcqcd行编辑器
-
引入新观察类型
-valscrshowmissingkey国旗-
密钥非源码
-
键非目标
-
-
源名应作为catalogandconsrcnameby调用a
-
固定问题阻止Hive以目标方式工作
-
-
导出/导入
-
固定问题导入无法容多表插入
-
固定错误,其中某些值不经意插入RegEx导出规则
-
-
-
连接
-
固定外部内存问题dreio
-
更新范围内预览查询中明文添加限制条款
-
dremio驱动程序要求Schema表和列名双重引用"SchemaName"."TableName"
-
-
固定OracleTimeSTAMPLTZ转换错误
-
-
探索者
-
固定问题 Alize表选项不填充hive
-
swagerUI调用 v2runtemplateAPI运行时固定静态日期值
-
-
文件类
-
带空格文件名处理双引号t
-
文件类型检查时通过探索者上传Temper文件
-
默认支持文件类型为“csv,json,parquet,avro,delta”。
-
补充/更新支持文件类型并确保验证,需在cowl-env.sh中添加一个新的环境变量如下:
export ALLOWED_UPLOAD_FILE_TYPES="csv,json,parquet,avro,delta" -
提示:带定界器远程文件请使用csv下拉选项
-
-
ech预览*[TP]用户在使用临时文件和地方文件探索者路径时有能力分派代理而不手动附加-代理或作业主控
-
LIMIT值现在在范围查询板上被适当接受
-
-
稀疏
-
固定题不保留原DQ作业DupesOn供未来运行
-
-
规则
-
无法用 API/V3/规则创建规则未来发布时将固定
-
请使用/v2/dectionruleAPI
-
-
-
配置文件
-
stat规则
-
工具技巧只有在最大精度和最大缩放大于0时产生
-
-
-
DQ作业
-
/v2/runtemplatea
-
/V3作业/运行
-
-
-
链接ID
-
LinkID列选择对案例敏感偏差显示不匹配
-
-
外部层
-
外部校准
-
外端无法按需再培训禁止现有外部用户,必须重运行DQ作业
-
应用内标签并不存在曾受过去、当前或未来校准的外部用户引用只存在于
outlier_boundary元体表
-
-
2022.02向Metestore介绍新表
-
outlier_boundary
变换2022.02
ALTER验证源DDCOLUMN
ALTER选择源ADDCOLUMN
华府
ALTER选择源ADDCOLUMN
华府
ALTER用户描述aDCOLUMN
华府
Altable猫头目校验qadcolumn
ALTER作业logadcolumn
ALTER平台 LogsADDCOLUMN
ALTER平台_logsDROP重构 IFEXIS平台_logs_job_uid_ux
ALTER平台_logsADD Contrant平台_logs_job_uid_uxUNIQUE
远表选择owlADDcolumn
-
DQ作业
-
固定问题,即回运行br标志意外添加到未来运行上(error包含于2021.12),如果初始DQ作业设置Explorer选择回运行
-
改进验证以不允许数据集名裁剪
-
-
验证源码
-
固定潜在DQ作业故障源启动部分遗留装置从老版升级到2021.11和更新
-
-
探索者
-
DB_VEWSON可用TRUE或FALSE值添加新App配置 -
adlib当前跨JDBC连接
-
更新范围支持dEnd
-
-
规则
-
创建规则时,可设置规则UI和V3API运行时限
运行时间Limit物业)默认为30分钟,如果不明文设置30分钟限值为特定作业中所有规则设定总超时限举例说,如果有10规则9规则30分钟限值和1规则90分钟限值,DQ作业将等待90分钟完成所有10规则这是因为所有规则必须在规则阶段前完成DQ作业并移入下一阶段不支持异步运行规则而作业本身转入下一阶段 -
添加能力指定0分规则
-
改进Stat规则无一例外失效
-
-
配置文件
-
固定能力从数据集删除业务单元
-
固定问题数据概念不正确显示于数据集剖析页
-
固定敏感标签未从发现者分配
-
将某些双流浮点数小数模式处理成十进制格式,保留长度并避免ava滑向E11格式
-
显示日期列时删除逗号
-
-
安全性
-
SAML登录修复使用POST绑定默认
-
-
S3
-
增强支持 where's.
-
口令替换周期大作业不应再挂起
-
-
-
连接
-
更新默认Snowflake模板连接属性
-
校正连接字符串对前数据库的参数占位器Name
-
-
-
-
本地文件使用NO_AGENT要求Web服务器运行机上有效$SPARK_HOME
-
支持数据类型
-
CLOB数据类型不支持
-
-
探索者
-
adlib尚未支持远程文件,例如S3
-
ALTER猫子规则ADDCLUMN
ALTER猫王规则ADDCLUMN
华府
ALTER作业LOLUMN阶段字符变换set tovchar 因为RULE日志规则nm进入阶段
ALTER作业log ALLUMNlog_desc类型字符变化
ALTER作业log ALLUMN日志
新万博移动客户端单片CollibraDQ客户升级*:我们升级为log4J2.17
单机升级
额外步骤
-
规则
-
语义和数据概念管理:运行发现特征
-
运行发现特性可用目录从动作选择数据概念选项或点击DQ作业页规则标签上的Run发现按钮访问Data概念选项运行DQ扫描检测所选数据概念语义
-
算法系统现在选择最匹配值,如果列匹配2或2以上数据类基于%匹配度和名称距离
-
-
*Tech预览*[TP]可配置规则破解预览限制
-
全局默认为六大行
-
从 6 修改必须用预览Limit(API/V2/decaderue)或预览限制字段(UI)指定
-
最大50自UI
-
-
引入附加Stat规则,包括小精度、最大精度、最小度、最大度
-
-
行为学
-
最小值检查现在启动所有数值列选择时,即使列回溯带零
-
AR列视图图现在显示Mean值当前日DQ作业无需重运行显示值表示%变化比均值%变化,而非RunID-1天
-
发现行为直接关联行计数移位,因为原因优化化,行计数的重大偏差将不再是数据集下调相关字段以减少噪声
-
-
分类表
-
Catalog当前特征智能排名
-
-
外部层
-
-
固定问题,不显示异常数据预览图形
-
固定问题,外部结果不满足初始范围条款,特别是远程文件(S3)
-
-
连接
-
大查询:加强支持编目主机名
-
-
脉冲视图
-
脉动视图可滤波连接用户
-
脉动视图可代理验证调度任务是否成功完成
-
-
配置文件
-
可视精度和尺度统计双浮点和小数数据类型
-
-
形状类
-
固定问题, 数据形状预览无法获取时, 同行检测到不同列
-
-
文件类
-
技术预览*[TP]用户在使用临时文件和地方文件探索者路径时有能力分派代理
-
已知限值 :-master必须是代理或每项作业的freeform
-
-
多字符划分器支持
-
改进定界器支持以区分字符串逗号与实际CSV逗号对齐数据
-
-
代理
-
固定问题中某些已完成作业无法重运行换句话说,NO_AGENT是代理下拉中唯一可用选项用户下拉时可选择有效代理程序,这将持续到未来定时作业
-
-
调度程序
-
执行验证强制用户选择日期选择表避免ava报错
-
-
探索者
-
固定问题中添加附加参数时不适当支持
-
-
API系统
-
JESSIONID会话时间可配置
-
代理令牌和JSSSIONID认证路径正确前置
-
-
模式化
-
模式活动显示计数器数计数法与外部活动计数法相同
-
-
规则
-
-
程序支持动态语义检验允许创建自定义语义, 运行数据集DQ检查时可以检查 。前文程序对照预定义语义集检查并存控件组织应用语义检验下表修改
-
新数据概念管理页从目录或行政控制台访问它可分配多语义数据概念
-
运行DQ检查时,可选择数据概念数据概念的语义将比对数据集的每一列检验
-
列表预定义语义不可编辑并有能力创建/编辑/删除自定义语义
-
规则页面转录器已添加到规则库中可查看语义
-
-
-
-
资源限值
-
-
探索者
-
技术预览*[TP]动态查询重新加载允许你查看JOIN查询列
-
用户可点击[更新范围]按钮更新并重新加载Schema表和范围段自定义查询新列自定义查询所有活动使用化(Profile、Overlier、Dupes、deplications、Source)
-
第一标签用于编译查询,更新字段将改变用户自定义查询因此,除第一个标签中的query字段外,所有区域都锁住,以便在更新范围表后保持查询不变
-
-
支持表名中某些特殊字符
-
固定能力增量libsDQ作业标签下,请使用-fllb布尔回溯和libsrc输入框lib目录路径
-
-
连接
-
技术预览*大查询视图和编队
-
大Query连接属性中请添加下下文
-
viewsEnabled=true
-
20211.1探索者
-
允许ampersand元存储主机名附加参数
-
下例中,支持需要SSL标志的AMPERS
-
metastore01.us-east1-b.c.customer-dq-prod.internal:5432/dev?sslmode=required¤tSchema=public
-
规则
-
语义和数据概念
-
下拉模式不支持
-
导出 RegEx语义目前不支持
-
-
可使用freeformSQL创建合并和交叉数据集规则,但最佳实践是在运行DQ作业前创建视图并处理合并
-
-
行为学
-
Schema没有资格失效
-
-
文件类
-
本地文件使用UPOAD_PATH、UPLAD_FILE_PATH和临时文件仅有资格使用默认NO_AGENT选项部署仅供快速测试使用,不供生产规模使用最佳做法是使用远程文件系统连接S3、Google存储或ADLS
-
限制特殊字符支持有限支持文件划分器有逗号、管道、标签、分号、双引号单引号自定义定界器对多字符有效,但不是所有组合
-
Temp文件和NO_AGENT应用-master局部[*]或-masterspark
-
-
DQ作业
-
取自不同时段的不同机提交作业时,时区差不自动计算最佳做法是协调每个组件使用UTC
-
通过API提交作业,运行日期包括HH:M
-
-
连接
-
Postgres限制最大连接 spark作业默认为100Postgres官方文档增加最大连接
-
https://www.postgresql.org/docs/9.6/runtime-config-connection.html
-
-
大查询
-
更新范围以包括大Query连接
-
接收原已存在的大查询作业报错时,请向cmd线添加-d
-
-
-
报警
-
升级到2021.11后,可能需要设置环境变量
ALERT_SCHEDULE_ENABLED=true内猫头鹰env.sh并重开猫头鹰网允许邮件提示重新工作
-
-
DQ作业
-
重构DQ作业分数高高图
-
-
探索者
-
固定问题,权限检验数据集尚不存在
-
-
连接
-
Sybase测试/预览现可用
-
更新网络保存附加连接属性模型
-
固定假设值编辑连接产生无效数而不是空数多值
-
-
规则
-
定位器新搜索规则摘要页规则统计/洞察
-
-
报警
-
更新报警邮件器TLS1.2解决第三方错误异常
-
固定问题提示删除,即使点击取消按钮
-
-
行为学
-
固定问题用户必须刷新才能从UI删除失效项
-
-
搜索
-
固定搜索审计数据集和数据集管理页面
-
-
分数卡
-
日期范围现可定制
-
-
验证源码
-
附加特征提供字符串列上复选法运行源目标验证时,单元格中额外空格双端(左侧和右侧)裁剪
-
-
稀疏
-
解决列页眉白空格阻塞重复检测问题
-
-
安全性
-
添加配置 sAML-ENTITY_BASEURL设置
-
-
形状类
-
固定问题自定义值置换
-
-
控制台
-
固定登录屏幕上未抓取类型错误
-
固定超时报注册页
-
-
导出API
-
用户将可运行进出口API调用以在回波表、调度表和规则表上多次推广
-
-
2021.10.1 无约束进出口API冲突
-
导入必须与导出格式完全匹配,以便解析列值以更新已有记录时
-
猫头鹰规则
猫头鹰校验
作业调度
规则_re
-
文件大小
-
大于5gb的单个文件将经历独立安装探索器性能退化最佳实践是保存小块并在需要时使用探索者旁路图
-
大于25gb的单个文件将经历Core单机安装性能退化
-
-
文件类
-
探索者/浏览器通常难以支持文件中大于250列
-
-
剖析
-
推向剖析大query、Red轮廓、Athena和Presto可用于特定数据类型
-
反向运行选项和标志持续第一运行(-br)如果您不想再次回溯运行, 请去除此标志 。
-
-
探索者
-
QUARTER和WEEK发布时不支持时间箱
-
非csv文件上,Explorer不自动推断文件类型用户必须修改文件类型到所需值并点击步骤2 Load文件步骤1中“档案信息”一概不变未来增强程序将自动检查文件类型读取第一个文件
-
数据集名不包含特殊字符
-
-
规则
-
外框语义规则无法编辑用户仍然可以应用自己的全局规则定制
-
LinkId不支持非-LinkId定义一部分别名列
-
-
连接
-
连接名不包含空格
-
-
验证源码
-
复杂验证源查询只能直接从CMD线或JSON编辑
-
-
安全性
-
AzureSQL活动目录可以通过LDAP(基础auth)或Kerberos连接
-
-
S3/GS/ADLS
-
远程存储连接应仅使用root桶定义
-
-
估计作业仅供Livy使用时文件使用
-
作业页停止作业有限,不工作所有安装类型
-
大query连接器不工作视图