发布说明

2023.01

新功能

管理

• Admin用户现在可以从新的许可证页面查看和修改DQ许可证密钥和许可证名称。

平台

• 您现在可以在新的和现有版本上部署新的Helm图表新万博移动客户端Collibra DQ云本地部署没有遇到字符大小限制。

报告

• 默认情况下，现在有四个新报告可用:
  • 的失业报告显示预期运行但未按预定运行的作业。
  • 的硬件使用情况报表显示需要运行最多内核的数据集和更一般的硬件使用统计信息。
  • 的可观察性评分汇总报告显示了所有AdaptiveRules(所有数据集+所有列)的聚合分数，以及30天内所有列的平均通过和中断。
  • 的规则通过分数上卷报告显示过去30天内按维度聚合的用户定义规则扫描的所有经过的行和总行。

增强

规则

• Export LinkIds按钮现在显示在finding页面的Rules选项卡中。此按钮以前仅在Rule Builder页面的Breaks选项卡下可用。
  • 您可以从Explorer页面上的范围工作流中启用LinkIDs，以导出规则破坏记录的LinkIDs。
• 复制规则API (/v3/ Rules / Copy)现在有以下增强:
  • 复制的规则现在正确地复制到新的数据集，而不管它们的规则类型如何。
  • 现在，管理用户可以在管理控制台的Audit Trail部分查看每个规则复制请求的安全日志。

资源管理器

• 在为没有行的表创建DQ作业时，列现在显示在Scope部分中。

平台

• 一个新的属性，LOCAL_REGISTRATION_ENABLED在owl-env.sh脚本和K8s配置映射中，现在可以在本地用户的登录页面上显示或隐藏注册链接。
  • owl-env.sh:
    • 命令出口LOCAL_REGISTRATION_ENABLED = true允许注册链接显示在登录页面上。

      请注意因为注册链接在默认情况下是可见的，所以这个属性在默认情况下也被设置为true。

    • 命令出口LOCAL_REGISTRATION_ENABLED = false从“登录”页中隐藏注册链接。
  • 美丽:
    • 配置LOCAL_REGISTRATION_ENABLED:“真正的”允许注册链接显示在登录页面上。

      请注意因为注册链接在默认情况下是可见的，所以这个属性在默认情况下也被设置为true。

    • 配置LOCAL_REGISTRATION_ENABLED:“假”从“登录”页中隐藏注册链接。

连接

• SPARK322和SPARK320现在附带了用于独立部署的Spark JDBC连接提供程序。
• 当你带来新万博移动客户端Collibra DQjar到Databricks，您现在需要设置属性spark.sql.sources.disabledJdbcConnProviderList = '基本,甲骨文,该软件'在Spark cluster级别或sparksession级别使用新万博移动客户端Collibra DQ的Spark profile 3.2.1及以后的功能集。

管理

• 现在可以对Usage页面上的Date列进行排序。日期现在默认按降序显示。

修复

规则

• 修正了当规则名称在单引号后包含大于符号时无法编辑所保存规则的描述的问题。(机票# 100114)
• 修正了规则构建器验证导致抛出规则语法异常消息的问题。(门票编号99735,101165)
• 修复了Freeform SQL规则的复杂条件(多个rlike字符串)导致异常消息的问题。(机票# 100116)

DQ工作

• 修正了对数据集进行的行为观察不会从数据质量评分中减去分数的问题。(机票# 98539)

警报

• 修正了一个限制从UI编辑或删除包含撇号的名称的警报的问题。(机票# 98864)

离群值

• 修正了一个问题，重新校准一个异常值会批量应用下列车标签。(机票# 100085)

报告

• 修正了使用自定义范围过滤器时不会生成完整性报告的问题。(机票# 99786)

DQ连接器

• 修正了一个问题新万博移动客户端Collibra DQ-新万博移动客户端Collibra数据智能云阻止规则和图表导入的集成。(机票# 104872)

管理

• 修正了使用linkId时基于时间的数据保留导致过多的中断记录存储在metastore中的问题。(票号99072,102900)

已知的限制

规则

• 新的Export LinkIds按钮可以生成CSV文件，只能通过电子表格程序(如Excel)查看。
  • 解决办法是从电子表格程序中保存/导出CSV文件，以便在一般文本编辑器中查看。

DQ工作

• 头包含空白的远程文件作业失败，并伴有需求失败异常消息。
  • 一个解决方法是在运行CMD选项卡中编辑DQ作业命令行，并在列名称周围放置单引号q在整个括号周围加上双引号筒式水管国旗。

DQ安全度量

2022.12

新功能

资源管理器

• 可以从View Data页面运行的查询类型现在仅限制为只读查询。

api

• 现在可以使用/v3/rules/copy API调用将SQLG和sqlf类型的规则从现有数据集复制到另一个现有数据集。

连接

• 现在可以使用CDATA驱动程序创建MongoDB连接。

雪花俯卧撑(测试版)

• 您现在可以在运行Pushdown作业时检测异常值。

增强

DQ工作

• Jobs页面上的所有表现在都包括分页、下拉过滤器和导出功能。

规则

• 与零行数据集关联的规则现在成功执行。
• SQLF规则现在支持辅助数据集上的统计规则计算。

配置文件

• 您现在可以通过切换结果页面上的框状图来查看运行执行细节和过期数据。

api

• 现在更新了getRecords笔记本API函数，并将getGeneric查询重命名为getDupesPreview。
• 你现在可以从一个数据集获取规则，并使用以下Databricks笔记本API函数将它们重新分配到另一个数据集:
  • def addRules(规则:列表[规则]，数据集:字符串):猫头鹰
  • def getRulesDfByDataset(dataset: String): DataFrame
  • 定义getRulesByDataset(数据集:字符串):List[Rule]
  • def getRuleNamesByDataset(dataset: String): DataFrame

平台

• TechPreview (TP)标签现在从UI中删除。

连接

警告截至2022年9月，Databricks JDBC驱动程序版本2.6.27被打包为独立包和Kubernetes下载包的一部分。Databricks Simba驱动程序(2.6.22版本)不再为Kubernetes打包。由于此更改，Databricks连接模板已更改，必须更新使用旧驱动程序(2.6.22)的任何现有连接。有关更新驱动程序的更多信息，请参阅独立的升级．

• Databricks SQL端点现在支持JDBC连接。
• 下面的标志现在被添加到所有Databricks JDBC连接参数:
  UserAgentEntry = 新万博移动客户端collibra-dq
  • 在Java中设置JDBC的用户代理，追加“UserAgentEntry”和“”，示例如下:
    com.simba.spark.jdbc.DataSource ds = new com.simba.spark.jdbc.DataSource();ds。setCustomProperty(“UserAgentEntry”、“< isv-name +产品名称>”);
  • 要将JDBC的用户代理设置为JDBC URI的一部分，在以“JDBC:spark://”开头的连接URL后追加“;UserAgentEntry=”。
• 不再支持Kerberos身份验证类型的3DES和DES加密密码，因为最近已弃用Red Hat OS (RHEL 8.7)密码。

修复

资源管理器

• 修正了一个问题-rdEnd命令行中的变量表示查询中的变量将被不恰当地转义。(机票# 98702)

配置文件

• 修正了置信度分数(Conf)显示值大于100阈值的问题。(机票# 99636)
• 修正了数据字段中的HTML在搜索结果页面的数据预览部分呈现的问题。(机票# 97883)
• 修正了当data_preview表包含大量记录时导致OOM错误的数据预览问题。

规则

• 修正了规则标签上的值不能正确地以科学计数法格式显示的问题。(机票# 89738)
• 修复了在使用辅助数据集时阻止主数据集的@dataset被支持的问题。

记分卡

• 配置文件现在从DQ记分卡子菜单中删除。

安全

• 修正了LDAP外部组到角色映射的问题，当LDAP组没有完全限定的路径时，会导致畸形的API调用，并且不能正确保存。
• 修正了数据集安全特性的问题。(机票# 100317)
  • 当配置了以下安全设置时，系统会完全限制admin用户访问调查结果页面:
    • 已启用数据集安全性。
    • 默认所有者访问未选中。
    • 数据集不属于任何角色或用户没有访问的角色。

api

• 修复了/v2/ gethings端点阻止提示表在发现页面上正确显示的问题。(机票# 98941)
• 修复了getRecords和getGenerics api阻止任何信息返回的问题。(机票# 98820)

警报

• 修正了警报通知页面上的SQL阻止数据出现在数据表错误消息中的问题。

代理

• 修正了GKP部署时由于驱动舱无法创建与metastore的连接而导致作业扫描失败的问题。(机票# 102175)

验证源

• 修正了由于在模式顺序检查期间检查了意外的列类型而导致源到目标记分卡错误地显示不匹配的问题。(机票# 98300)

连接

• 通过将Athena驱动升级到2.0.33版本，解决了某些情况下的连接问题。(机票# 100340)
• 修复了HDFS连接无法成功重新运行作业的问题，因为某些参数自动附加到Agent配置的Free Form (appendded)字段。(机票# 95810)
• 修正了在Kubernetes部署时Dremio连接超时的问题。(机票# 101221)
  • 为了防止Dremio连接问题，在Agent配置的Free Form (Appended)字段中设置以下值:
    参看spark.driver.extraJavaOptions = -Dcdjd.io.netty.tryReflectionSetAccessible = true

已知的限制

规则

• 当使用以下语法时，完全限定列名的自由形式规则目前不受支持:
  select <列名> FROM @<数据集名称> WHERE @<数据集名称>。<列名称>条件
  • 解决这个限制的方法是使用混叠代替。

api

• 当使用新的/v3/rules/copy API时，被复制的规则会自动将“已复制”附加到规则名后。复制规则后，您可能需要手动更新规则名称。
  • 如果复制的规则在不符合兼容列的目标数据集上执行，则需要手动更新规则以确保跨数据集的列兼容。
  • 当使用/v3/rules/copy API时，不会强制执行数据集安全性。

DQ安全度量

2022.11

警告
的MS SQL驱动程序与JDK11独立包一起提供的特性目前不能在JDK11环境中工作。MSSQL对于JDK11需要一个单独的JAR。有关兼容的驱动程序，请与您的客户成功经理联系。

Dremio目前JDK11独立包不支持。如果计划运行JDK11，请添加-Dcdjd.io.netty.tryReflectionSetAccessible = true将owlmanage.sh作为Web和Spark实例的JVM选项。请联系您的客户成功经理寻求帮助。

Dremio作业目前在k8和独立JDK11部署上都失败了。在Agent Configuration模板的Free Form (appendded)字段中添加以下配置:参看spark.driver.extraJavaOptions = -Dcdjd.io.netty.tryReflectionSetAccessible = true．

截至2022年10月18日，2022.10版本的所有映像都有一个Critical CVE (CVE-2022-42889)。如果你在2022年10月18日之前拿到了2022.10版本，你的扫描应该没有问题。如果问题仍然存在，请与您的客户成功经理联系以获得新的构建。

请注意
的升级或新安装完成后新万博移动客户端Collibra DQ，您现在需要按照登录页面上的一次性提示输入许可证名称，输入LICENSE_NAME环境变量(owl-env.sh)中的环境变量，或者通过输入global.configMap.data.license_name舵图变量。您的许可证名称是后面的值你的名字是=在Collibra发给您的许可条款电子邮件中找到。新万博移动客户端由于在2022年3月之前获得许可证而没有此信息的客户应按照以下格式输入许可证信息。

对于单个实例:< yourcompanyname >
对于多个实例:-dev， -test， -prod
除了连字符外，不允许使用空格或特殊字符-．

新功能

平台

• 以下页面现在支持新的React MUI:
  • 记分卡
  • 列表视图
  • 作业
  • 脉冲视图
  • 警报

  请注意React在2022.11版本中默认关闭。如果你想尝试新的React页面，你可以从管理控制台切换它，或者联系你的客户成功经理寻求帮助。

DQ工作

• 现在，如果作业正在进行中、错误地提交或停留在已staging状态，则可以从jobs页面终止作业。当您终止作业时，将生成两个警报。
  • Spark UI中的作业显示已完成状态，即使它们已从DQ UI中终止。

警报

• 您现在可以为以下陈旧的数据统计规则生成警报:
  • daysWithoutData美元
  • runsWithoutData美元
  • daysSinceLastRun美元
• 您现在可以为处于“已上演”状态超过一小时的作业生成警报。

管理

• 现在可以在多租户环境中为用户访问配置LDAP。

连接

• 现在可以对雪花连接使用密钥对身份验证。
  • 当您附加到连接URL字符串时，您的条目必须以逗号分隔。
  • 当您手动修改Driver Properties字段时，您的条目必须以分号分隔。
• 现在在独立部署中支持CDATA连接。
  • CDATA驱动程序现在包含在发布包中。

云存储

• Azure Blob Storage现在是一个受支持的目标存储系统。

雪花俯卧撑(测试版)

• 现在默认启用AdaptiveRules选项卡的模式更改监视。
  • 模式现在从基本概要中分离出来。
• 新的DatasetDefDTO API现在返回下推信息。
• 现在为下拉作业实现了数据集安全检查。

增强

资源管理器

• Job Estimate对话现在改进了对执行程序和核心的指导。作业评估现在会评估何时达到最大核心、最大执行程序和最大内存。

DQ工作

• 作业进度时区现在是只读字段，不能再配置。现有的计划作业反映其当前设置，但所有其他计划作业现在都基于DQ服务器的时区(UTC)。(票号88797,89736,92611,95231)

受骗的人

• 当从UI增加重复检查限制时，现在会显示一条新的警告消息。(机票# 95604)

安全

• 现在支持与AWS IAM pod角色关联的Kubernetes服务帐户，用于控制AWS EKS上的云原生DQ部署对AWS服务的访问。
• 启用数据集安全性后，现在需要数据集访问才能编辑、映射或检索数据集或业务单元。(机票# 92934)

修复

规则

• 修正了一个阻止包含双反斜杠的自由格式规则保存的问题。(96636,96640号票)
• 修正了导致规则包含左括号(［)以错误显示破位记录。(机票# 94399)
• 修正了导致包含正则表达式的规则抛出超出范围异常的问题。(机票# 98435)

DQ工作

• 修正了一个运行时不显示在发现页面上，因为run_id列类型在metastore不包括时区的问题。(机票# 96050)
• 修正了导致Parquet文件在LOAD活动期间失败的问题。(机票# 96191)
  • 其他NFS文件类型，包括ORC、CSV和Avro，也可以成功运行。

警报

• 修复了保存批处理名称时在分隔符之间使用空格导致发生无效错误的问题。(机票# 97028)

验证源

• 添加列名功能现在从Source选项卡中删除了。(机票# 96066)
  • 相反，使用查询编辑/限制列或使用Update Scope。
• 修正了在克隆数据集上禁用源检查会导致错误的问题。现在可以禁用克隆数据集上的源验证。(机票# 97795)

受骗的人

• 高级过滤器现在从Dupes选项卡中隐藏。(机票# 96065)

形状

• 修复了在编辑数据集时恢复创建时应用的形状检测设置(关闭、自动或手动)的问题。(票号95471,95473)

模式

• 修正了在选择列的子集时对所有列执行模式检测的文件模式检测的问题。(机票# 92476)
  • 使用headercheckoff当有必要只查看添加或删除列时，标记。
• 修正了无法正确识别和更新模式更改的问题。(机票# 96013)

行为

• 修正了行为回溯的问题(-bhlb)，导致行数更改被错误表示。(机票# 94840)

连接

• 独立环境中的Azure Blob连接需要将以下jar添加到SPARK_HOME美元/瓶文件夹:
  • hadoop-azure-3.2.0.jar
  • wildfly-openssl-1.1.3.Final.jar

API

• 修复了DB导入过程中确保JobSchedule记录导入无错误的问题。(机票# 98405)

已知的限制

DQ工作

• 不支持处于未知状态的作业终止。

验证源

• 克隆和保存、启用或禁用源选项卡与原始数据集名称相关联，并且在进行更新时在屏幕上失败，但不会影响实际作业的运行。

连接

• 当使用雪花连接的+添加属性选项添加驱动程序属性时，分号被错误地附加到键值后。相反，使用逗号格式分隔键值。

DQ安全度量

警告对于Collib新万博移动客户端ra Data Quality 2022.10版本，所有Docker映像都运行在JDK11上。独立包包含JDK8和JDK11选项。如果您是需要JDK11的现有客户，请在升级到2022.10之前升级您的运行时。大多数Hadoop环境版本(EMR/HDP/CDH)仍然运行在JDK8上，因此使用这些环境的客户可以使用JDK8包进行升级。如果您希望升级到JDK11，那么在部署2022.10版本之前，必须按照相应Hadoop环境的文档升级到JDK11。

的MS SQL驱动程序与JDK11独立包一起提供的特性目前不能在JDK11环境中工作。MSSQL对于JDK11需要一个单独的JAR。有关兼容的驱动程序，请与您的客户成功经理联系。

Dremio目前JDK11独立包不支持。如果计划运行JDK11，请添加-Dcdjd.io.netty.tryReflectionSetAccessible = true将owlmanage.sh作为Web和Spark实例的JVM选项。请联系您的客户成功经理寻求帮助。

截至2022年10月18日，2022.10版本的所有映像都有一个Critical CVE (CVE-2022-42889)。如果你在2022年10月18日之前拿到了2022.10版本，你的扫描应该没有问题。如果问题仍然存在，请与您的客户成功经理联系以获得新的构建。

规则

• 现在可以定义一个规则来检测作业在没有数据的情况下运行的天数daysWithoutData美元．
• 现在可以定义一个规则来检测作业运行0行的天数runsWithoutData美元．
• 您现在可以定义一个规则，通过使用来检测作业自上次运行以来的天数daysSinceLastRun美元．

配置文件

• 现在，您可以在创建数据集时通过切换配置文件字符串长度复选框来使用字符串长度特性。
  • 当配置文件字符串长度被选中时，字符串列的最小/最大长度被保存到表dataset_field中

验证源

• 您现在可以针对已加载的源数据帧编写规则-postclearcache在代理中配置。

请注意DQ UI将在2022.11发布时转换为React MUI框架。在2022.11版本之前，您可以将反应打开，但请注意某些功能可能会暂时受到限制。

增强

DQ工作

• “开始时间”和“更新时间”现在基于DQ Web应用程序的服务器时区。

调度器

• 作业计划页面现在有了分页。

记分卡

• 从Pulse View中，您现在可以查看丢失的运行、0行运行和失败的运行。

管理/目录

• 现在，当非管理员用户试图从Catalog页面查看或修改数据库连接详细信息时，连接详细信息将被屏蔽。只有具有role_admin或role_connection_manager权限的用户才能查看该页面上的连接详细信息。(机票# 94430)

API

• /v2/getRunIdDetailsByDataset端点现在提供了以下内容:
  • 给定数据集的runid。
  • 给定数据集的所有已完成的DQ作业。

雪花俯卧撑(测试版)

• 现在可以检测不符合数据字段的形状。默认情况下，下推作业扫描所有列的形状。
• 您现在可以查看概要文件活动的直方图和数据预览详细信息。

连接

• 雪花JDBC驱动程序现在更新到3.13.14。

修复

规则

• 修正了规则验证器导致丢失表错误的问题。Validator现在正确地检测列。(机票# 93430)

DQ工作

• 修正了在启用完整配置文件下推时，导致加载活动上连接查询失败的问题。下推分析现在支持SQL连接。(机票# 92409)
• 修正了使用CTE查询时导致作业在加载活动时失败的问题。请注意CTE支持目前仅限于Postgres连接。(票号88287,89150)
• 修正了在“开始时间”和“更新时间”列中显示的时区不一致的问题。

代理

• 修复了EKS环境下web和spark_history服务的loadBalancerSourceRanges问题。(机票# 95398)
  • 舵属性global.ingress。*已被移除，以分离web和spark_history的配置。请更新属性如下:__global.web.ingress。*“global.spark_history.ingress。*
• 增加了使用属性指定入站cidr的支持.global.web.service.loadBalancerSourceRanges．(机票# 95398)
  • 虽然Ingress是Helm图表的一部分，但如果您需要进一步定制，我们建议您将自己的Ingress附加到部署中。
  • 这需要一个新的舵图。
• 修正了导致Livy文件在K8s部署时GCS估算失败的问题。
• 修正了K8s部署时导致GCS作业失败的问题。

验证源

• 添加列名功能计划在即将发布的2022.11版本中删除。(机票# 96066)
  • 在能够直接限制查询之前，这是一个以前的功能(srcq)和更新范围。
  • 使用查询编辑/限制列，并使用Update Scope。
• 修正了当为匹配的情况指定验证源时[VALUE_THRESHOLD]显示错误消息的问题。(机票# 94435)

受骗的人

• 高级过滤器计划在即将发布的2022.11版本中从Dupes页面中删除。(机票# 96065)

资源管理器

• 修正了导致BigQuery连接错误地更新库的问题(自由)路径，当选择列的子集时。(机票# 96768)

调度器

• 修正了一个问题，阻止调度程序在多租户设置中运行某些计划作业。现在从正确的租户捕获电子邮件服务器信息。(机票# 92898)

已知的限制

规则

• 当数据集返回0行时，将不执行应用于该数据集的统计规则。虽然计划在未来的版本中进行完整的修复，但截至2022.10，此限制仅部分修复。

DQ工作

• CTE查询支持目前仅限于Postgres连接。目前不支持DB2和MSSQL。

目录

• 当使用新的批量操作特性时，对作业的更新不会立即在UI中可见。应用规则后，针对该数据集运行DQ作业。在Rules选项卡中，可以看到包含新应用规则的一行。

雪花俯卧撑(测试版)

• 自由形式(SQLF)规则不能使用数据集名称，但必须使用@dataset因为雪花没有明确地理解数据集名称。
• 当使用SQL Query工作流时，在SQL查询中选择列的子集必须用双引号括起来，以防止作业无限地运行而不失败。
• 最小/最大精度和刻度仅计算双数据类型。所有其他数据类型目前都超出范围。

DQ安全度量

2022.09

增强

规则

• “规则”选项卡上的“条件”列现在在悬停时显示SQLG和SQLF规则定义。

DQ工作

• Jobs图表现在显示一条灰色虚线，表示处于已提交状态的作业。
• Jobs图表现在支持按小时查看选项。
• 当运行具有返回0行的数据集的Pushdown作业时，将显示不清楚的消息。

模式

• 在资源管理器的配置选项卡中，当列名包含特殊字符时，DQ作业下的检查标题复选框现在可用。“检查头”复选框默认是选中的。
  • 选中后，检测到模式发现时不会显示。
  • 在未选中时，模式发现将在检测到时显示。

行为

• 平均值现在四舍五入的发现页。

资源管理器

• 现在支持文件的SOH分隔符。
• 所有构建层选项卡上的唯一复选框现在被移除。
• Profile活动现在总是启用的，不再有开/关开关。

警报

• 现在，当为预定作业设置警报时，每个警报只发送一封电子邮件。
• 您现在可以检查日志，查看警报何时没有发送，以便重新发送电子邮件。

调度器

• 现在，当您计划一个作业自动运行时，发现页面将在Schedule图标旁边显示一个绿色指示器。如果调度器处于非活动状态，则会显示一个红色指示器。

API

• v2/gethoot API现在正确地返回数据集的规则维度信息。(机票# 89973)

连接

• 由于驱动程序升级，Databricks连接模板已更改。必须更新任何使用旧驱动程序的现有连接。参考新模板。(机票# 19950)
• Athena、BigQuery、MongoDB、GCS、Hive/Impala的驱动程序也进行了升级，但不需要更改连接。

火花

• 的2023.01版本使用Spark 3.2.2。

请注意建议使用Spark 3。X用于独立安装/升级。

修复

资源管理器

• 修正了在新作业运行期间，当运行日期被修改时，作业估算器无法正确显示行估算的问题。(机票# 90860)
• 修复了一个阻止使用NFS连接类型创建的DQ作业在远程文件连接下拉列表中显示的问题。(机票# 92479)
• 修复了导致文件类型解析器在未检测到默认逗号分隔符时抛出错误消息的问题。解析器现在检测文件的分隔符并自动更新UI中的分隔符类型。(票号89489,92480)

文件

• Schema合并失败的错误消息现在有额外的日志记录，以澄清Livy会话和非Livy路径模式合并失败的原因。(机票# 92694)

安全

• 修复了v2/getcatalogtableshasrulesfromcxn API在启用数据集安全性时触发403状态码的问题。(票号93298,94258)

代理

• 修复了一个导致代理检查不再尝试在K8s部署时检入metastore，从而导致红色(不健康)状态的问题。(票号92055,92963)
• 修正了一个阻止并发用户正常运行Livy会话的问题。(票号92963,90432)

已知的限制

规则

• 如果用户创建、验证、保存新规则，然后重新编辑，则Rule Builder页面将不可用。

  • 解决这个限制的方法是进行整个页面刷新。

• 当用户尝试验证包含统计信息的规则时，将返回异常错误。

安全

• 分配队列功能仅对本地用户可用。对外部连接用户(如SAML和AD连接器)的支持目前不可用。

警报

• 当告警收件人邮箱地址之间以“;”隔开时；时，警报电子邮件不会发送给预期的收件人。
  • 解决此限制的方法是用逗号分隔警报收件人电子邮件地址，而不是分号。

雪花叠加

• 当运行具有返回0行的数据集的Job时，将显示一条不明确的消息。

• 当创建包含嵌入式统计信息的本机规则时，其计算值将不会显示在作业结果页面上。

• 不支持数据集安全性。

• 禁用自动测量将不会生效，因此，将执行所有的自动测量。

• 仅使用“SQL查询”工作流创建DQ作业不允许设置圆数值。

DQ安全度量

2022.08

新功能

规则

• 现在可以编写SQLG-type统计规则上的意思。

增强

连接

• 现在可以使用Kerberos TGT、Keytab和Password对Oracle JDBC连接进行身份验证。(门票#75267,76030)
• 除了基本身份验证之外，现在还可以使用Kerberos Keytab对SQL Server JDBC连接进行身份验证。

规则

• 规则摘要增强:
  • 您现在可以选择不同的时间段进行分析。
  • 您现在可以从三个不同的页面查看图表，包括规则详细信息摘要、规则中断和规则维度摘要。

安全

• Jfrog识别的漏洞
  • 危险0，严重0，严重7
  • 目前的大多数介质都是由于将dq-streaming模块合并到核心中。
  • 有关可视化读数，请参阅下面的DQ安全度量部分。

代理

• 您现在可以选择配置DQ Job、Web和Agent的各个时区。只有当实例和容器运行在不同的系统时区时，才应该使用此配置。(门票#87024,87155)

行为

• 行为选项卡现在有一个新列，Delta Percent Change (Δ % Change)。
• 您现在可以将鼠标悬停在以下列的新工具提示上:
  • 基线
  • 变化百分比
  • Δ %变化
  • Zscore
  • 分数

离群值

• 离群值检查现在优化为在某些情况下跳过。只有当指定日期列的历史负载为空时，才会跳过离群值检查。
• 现在可以从命令行使用更新和修改记录标志钢筋混凝土，-rcKeys，-rcDateCol,-rcTbin．

API

• v2/gethoot API现在正确地返回数据集的规则维度信息。
• v3/jobs/run API现在对特定情况下的400个Bad Request错误消息进行了改进。

报告

• 文件中删除了PDF选项数据集发现页面。要打印动态列表，请使用CSV或Excel选项。(机票# 89739)

DQ连接器

• Collibra集成库的版本现新万博移动客户端在更新到2.4.12。

修复

连接

• 新的GCS jar需要使用GCS spark-history-server。(机票# 90623)

DQ工作

• 修正了导致使用. txt文件的作业不正确地呈现自定义列名的问题。(机票# 81808)
  • 扩展名为. txt的文件现在被视为分隔文件。扩展名为. txt的不带分隔符的文件应该从文件类型下拉菜单中使用各自的文件类型。
• 修复了在K8s上部署时，卷名超过63个字符时作业失败的问题。(机票# 85372)

代理

• 修正了导致v2/updateagent API在numCores为空时失败的问题。(门票编号89737,92404,92680)
  • numCores字段不再是必填字段。

验证源

• 修正了当pkey映射到不同的列名时导致验证源作业失败的问题。(机票# 88778)

规则

• 当使用带有通配符的Freeform SQL规则时，规则再次正确地通过验证。(机票# 89644)
• 修正了使用字符的正则表达式规则的问题），，,；在rlike中，这导致DQ在这些字符后附加空格，并阻止正则表达式正确操作。(门票编号89417,92958)
• 修正了导致列值包含圆括号的规则的问题（ ）由于在右括号前后添加了填充而中断。(机票# 85176)
• 修复了一个导致特殊字符(如@)的规则在规则页面、条件选项卡以及导出到Excel时不正确显示的问题。
• 修正了一个阻止重命名带有附加规则和角色的数据集的问题。(门票#85731,92059,94315)

配置文件

• 修正了在TopN值和数据预览中某些结果以科学计数法显示的问题。科学符号现在从展示中删除了。(门票编号82163,89738)

资源管理器

• 修正了允许CLOB数据类型在源选项卡的拖列到目标映射中可见的问题。(机票# 86902)

API

• REST API端点v2/ updateroledatsets再次正确地将角色保存到数据集。

已知的限制

规则

• “发现”页以单引号字符串的形式显示平均值的计算统计规则的结果。例如，'573523.87' > 6763
• 规则摘要功能的列级排序目前不可用。

管理

• 添加敏感标签或数据类别时，“编辑”和“更新”功能不会显示所选记录。要正确显示记录，必须在编辑或更新之前首先刷新页面。

会话活动

• 虽然应用程序UI正在重新设计，但当应用程序在遗留应用程序端超时时，您可能无法在新的React MUI端看到它。当您在多个选项卡上打开DQ应用程序时，就会发生这种情况。
  • 我们目前没有跟踪从遗留UI到React的会话超时。

测试功能

DQ工作

• 新万博移动客户端Collibra自豪地推出了一个全新的功能，雪花俯卧撑。Snowflake Pushdown允许更快的处理，并且不需要设置单独的Spark计算平台来运行Collibra Data Quality。新万博移动客户端Snowflake Pushdown是一个内测功能，只能根据要求提供。由于这是一个测试版特性，随着我们继续改进它的功能，预计会有一些限制。联系您的CSM以了解有关此功能的更多信息。

DQ安全度量

警告CVE处于危急状态cve - 2016 - 1000027在Spring版本的图像扫描中显示。这是一个假阳性，应该添加到客户扫描工具的例外列表中。我们不使用HttpInvokerServiceExporter在应用程序的任何地方，不受它的影响。

• Spring没有针对它的修复版本。详情见Spring-web项目·Issue #24434·spring-projects/spring-framework中的Sonatype漏洞CVE-2016-1000027

2022.07

请注意2022.07版本的独立包的版本命名约定为钢筋混凝土．这将恢复到2022.08版本的标准命名约定，并且不会影响独立包的安全性或稳定性。{% endhint %}

修复/增强

• DQ工作
  • 修正了当从分配页面点击源观察RunID时，阻止数据出现在源选项卡中的问题。
  • 修正了在标签选项卡中导致带有特殊字符的注释被截断的问题。
  • 修正了在使用运行发现时导致规则选项卡的列(名称)列不正确显示的问题。
  • 修正了记录标签上的重新训练按钮被禁用的问题。
  • 您可以再次使用单引号使观察结果无效＇从形状选项卡。
  • 提示选项卡现在显示所有可用数据。
  • 您不能再从调度器模式更改代理。
• 规则
  • 现在泛型规则支持SQLF。
  • 当通过规则发现运行自定义规则时，列名Repo和column再次正确显示。
• 警报
  • 您现在可以使用未经身份验证的SMTP服务器发送电子邮件。
• 安全
  • Jfrog识别的漏洞
    • 危险0，严重0，严重7
    • 有关可视化读数，请参阅下面的DQ安全度量部分。
  • 修正了允许从命令行运行作业而不管连接权限的问题。
    • 启用连接安全性时，请锁定SQL编辑器，以防止对其他连接的未授权访问。(# 87916)
  • 修正了允许仅查看用户访问一些配置文件结果并将数据导出到CSV文件的问题。
    • 添加了对概要导出特性的数据集访问权限的授权检查，它只允许具有数据集访问权限的用户导出概要。(# 87720)
  • 反斜杠＼在不禁用/v2/updateadsecurityconfiguration API的XSS的情况下，AD用户名不再支持字符。(# 88499)
  • 修正了租户访问被拒绝时无法导航回登录页面的问题。(# 89024)
• 配置文件
  • 在标签标签中，当注释用于字符串分隔时，反斜杠将从注释中剥离。
• 管理
  • 在Audit Trail中，当管理员修改映射到数据集的角色或映射到角色的数据集时，将自动记录更改，并显示原始值和更新后的值。
  • 代理组(H/A)及其相关端点现在已弃用。
  • 从Usage，您现在可以访问反映每月使用指标的表和磁贴。
  • Salesforce帐户ID现在可以配置为用于Pendo日志。
  • *技术预览* ServiceNow集成
    • 您现在可以将事件(验证动作)分配给ServiceNow组和用户，在同一个请求中包含以下字段:caller_id, description, short_description, cmdb_ci。
• 资源管理器
  • 修正了Oracle连接的日期范围问题，导致选择Transform时结束日期更改为开始日期。
  • 作业估计模式再次显示Sybase连接的正确行数。
  • 修正了源到目标的双引号问题＂已从数据库中的源文件删除到文件目标。
• 记分卡
  • 增强了分配队列页面的布局。
• API
  • V2 /getallscheduledjobs现在可以作为原来v2getscheduledjobs的增强版使用。
    • UI集成计划在未来的版本中发布。
• 时间表
  • 将活动列添加到调度程序导出。
    • 删除RunJob列。(# 88799)
• 报告
  • 修正了PDF导出中产生的列标题不对齐的问题。(# 89739)

已知的限制

• 规则
  • 要对泛型规则使用新的SQLF特性，必须手动将泛型规则类型从SQLG更新为SQLF。
    • 这个UI特性计划在未来的版本中发布。
  • 诸如$rowCount之类的统计规则不适用于辅助数据集或通过@t1语法的同一数据集的先前runId。
    • 要解决这个限制，可以运行子查询从辅助数据集或上一个runId中选择count(*)。
• 资源管理器
  • Sybase连接上的钻取和作业成功运行，但目前不支持使用加密密码连接到Sybase。
• 文件
  • 在使用CSV文件时，不能使用逗号，在名字上。
• 管理
  • *技术预览* ServiceNow集成
    • 特殊字符!@#$%^&*()描述中的不支持，并且目前不会持久化到ServiceNow分配队列中。
    • 空的或无效的ServiceNow组名不会在CDQ中返回错误。
      • 因此，如果为空或无效，将使用默认admin帐户作为所有者生成ServiceNow分配。
      • 您必须有一个有效的ServiceNow组名或其相关的sys_id。
    • ServiceNow Group集成还不支持新的REACT UI。

DQ安全度量

警告CVE处于危急状态cve - 2016 - 1000027在Spring版本的图像扫描中显示。这是一个假阳性，应该添加到客户扫描工具的例外列表中。我们不使用HttpInvokerServiceExporter在应用程序的任何地方，不受它的影响。

• Spring没有针对它的修复版本。详情见Spring-web项目·Issue #24434·spring-projects/spring-framework中的Sonatype漏洞CVE-2016-1000027{% endhint %}

2022.06

修复/增强

• DQ工作
  • 修正了行为特性中学习阶段的问题。(机票# 82907)
    • 一旦CDQ拥有完成成功扫描的最少数量，学习状态现在就会根据结果更改为pass或BREAKING。
• 离群值
  • 修正了文件回访无法识别预期异常值的问题。(# 87967)
• 警报
  • 配置邮件提醒时，“SMTP用户名”和“SMTP密码”仍为必填字段。(# 86033)
    • 验证放宽计划在2022.07版本中发布。
• 规则
  • 修正了一个导致规则破坏报告与定义相反的问题使用regex/rlike的通用规则被创建。(# 86977)
  • 修正了选择日期列类型的数据类没有检测到时间戳的问题。(# 83000)
  • 修正了数据类使用操作符的问题<，>或＝导致由此进程创建的反向规则抛出异常。(# 83000)
  • 当将数据类从正则表达式切换到表达式，然后再次编辑时，正则表达式复选框现在被正确选中。
• 代理
  • Explorer页面和Scheduler模式现在显示相同的代理。(# 86175)
• 安全
  • Jfrog识别的漏洞
    • 危险0，严重0，严重8
    • 有关可视化读数，请参阅下面的DQ安全度量部分。
  • 一般咨询:
    • CVE处于危急状态cve - 2016 - 1000027在Spring版本的图像扫描中显示。这是一个假阳性，应该添加到客户扫描工具的例外列表中。我们不使用HttpInvokerServiceExporter在应用程序的任何地方，不受它的影响。
      • Spring没有针对它的修复版本。更多详细信息请参见Spring-web项目·Issue #24434·spring-projects/spring-framework中的Sonatype漏洞CVE-2016-1000027
  • 与Spring、ESAPI和Swagger相关的主要漏洞已得到解决。
  • 当访问SQL数据库连接时，资源管理器中不允许交叉DB引用。
  • 敏感的用户界面字段，如用户名不再允许自动完成。
  • 如果配置了ENV变量XSS_CANONICALIZE_INPUT_ENABLED应该从configmap或owl-env.sh中删除。
  • 启用数据集安全性后，现在可以添加基于角色的授权来编辑现有数据集。(# 87720)
  • 您现在可以覆盖以下邮件设置从应用程序配置页面在管理控制台的配置部分:
    • “mail.transport。协议"——default = SMTP
    • “mail.smtp。auth"——default = true:如果为true，尝试使用auth命令对用户进行认证
    • “mail.smtp.auth.login。disable"——default = false:如果为true，则禁止使用AUTH LOGIN命令
    • “mail.smtp.starttls。enable"——default = true:如果为true，启用在发出任何登录命令之前使用STARTTLS命令(如果服务器支持)将连接切换到tls保护的连接。
    • “mail.smtp.ssl。enable"——default = false:设置为true时，默认使用SSL连接，默认使用SSL端口。“smtp”协议默认为false，“smtps”协议默认为true。
    • “mail.smtp。Ehlo "——default = true
    • "mail.debug"——default = true
    • “mail.smtp.ssl。——default =:如果设置了，并且没有指定套接字工厂，则启用使用MailSSLSocketFactory。设置为“*”，表示信任所有主机。如果设置为空格分隔的主机列表，则这些主机是可信的。否则，信任取决于服务器提供的证书。(# 76775, 88089)
• 配置文件
  • 平均值现在在配置文件页面中适当地四舍五入。
    • 例如:值2.4334334343345现在四舍五入为2.434。
• 连接
  • 从Athena驱动程序，您现在可以使用MetadataRetrievalMethod =查询用于从连接URL查询数据库。(# 86139)
  • 修正了连接失败时错误消息不显示信息文本的问题。(# 85527)
  • 修复了远程文件连接下NFS文件连接导致作业失败的问题。(# 88156)
    • NFS文件系统增加Spark加载的File协议。
    • Added nfs:// prefix wile添加nfs连接。
      • 当通过Spark加载NFS文件连接时，这将在URI前加上file://协议。
• 目录
  • “图形”选项在快速链接中不再可用。
• 管理
  • 默认情况下，Pendo集成现在是活动的。
    • 不收集敏感信息;只收集高级别的使用统计信息。
    • 从2022.06年开始的所有新客户将获得新的许可证。
    • 如果您安装的是独立环境，请修改/config/猫头鹰-env.sh文件，添加您的许可证名称
      出口DQ_INTEGRATION_PENDO_ACCOUNTID = < your-license-name >
    • 这个新的集成不会以任何方式阻碍或损害应用程序的功能。
    • 有关Collibra子处理器的更多信息，请查看新万博移动客户端新万博移动客户端Collibra的子处理器页面．
  • 代理组(H/A)及其相关端点现在已弃用。(# 83086)
  • 修正了“添加数据类别”按钮在没有所需权限的情况下丢失的问题。(# 86625)
  • 当Admin页面上的会话过期时，您现在会被重定向到登录页面。
  • “管理限制”页面现在显示信息文本，表明页面上只显示租户-管理员类型的限制。
  • 修正了在编辑现有数据类别时导致“添加新”模式打开而不是“编辑”模式打开的问题。(# 89617)
  • 从配置设置，数据库限制现在称为数据保留策略。
• 资源管理器
  • 在“Explorer”页面创建DQ Job时，可以查看SAP HANA的计算视图。(# 83147, 84328)
  • 修复了使用Oracle连接时导致日期范围条件不正确显示结果的问题。(# 85802)
  • 修正了在使用Postgres连接时，使用Date Range条件检查Transform时抛出错误消息的问题。(# 85802)
  • 修正了等号的问题＝用于变换Run CMD . expression导致作业失败。(# 71547)
  • 修正了模式和表名包含下划线的问题＿没有被接受。
  • 修正了允许作业以小于1的行限制运行的问题。
  • 修正了从启用Livy的BLOB容器中加载预览的错误文件的问题。
  • 不支持CLOB数据类型。(# 86902)
  • 改进了从Explorer页面钻取数据库和模式时的性能和逻辑。
• API
  • 您现在可以从管理控制台React页面访问API快速链接页面。
  • 当使用Swagger时，UI文本现在指示字段是否区分大小写。
• 报告
  • *技术预览* [TP]规则摘要页面增强
    • 您现在可以根据最频繁的违规、最严重的违规和最少的违规来过滤规则破坏。
    • 您现在可以查看带有规则和维度摘要的交互式饼图。
• 用户界面
  • 可扩展的遗留导航窗格和反应菜单的样式现在更新。
• 法律
  • 在DQ登录页面中添加了一个免责声明，并链接到新万博移动客户端Collibra评估协议．

已知的限制

• 验证源
  • 当比较JDBC(目标)与远程文件(如S3(源))时，存在一个已知的Spark错误，即“检测到递归视图”。
    • 这种验证源组合在2022.06年使用Spark 3.2时是不可能的。
  • 当使用Bigquery作为源时，-libsrc需要手动修改以包括核心(Spark Bigquery连接器)目录。
    • 例如:/home/centos/owl/drivers/bigquery**/core**
• 配置文件
  • Spark目前不支持varchar数据类型。所有varchar数据类型都转换为String。其他不支持的数据类型也可能被错误地转换。
• 安全
  • 在打开数据集安全性并添加基于角色的授权以编辑现有数据集时，尚未处理导出任务上的权限。(# 87720)

DQ安全度量

警告CVE处于危急状态cve - 2016 - 1000027在Spring版本的图像扫描中显示。这是一个假阳性，应该添加到客户扫描工具的例外列表中。我们不使用HttpInvokerServiceExporter在应用程序的任何地方，不受它的影响。Spring没有针对它的修复版本。详情见Spring-web项目·Issue #24434·spring-projects/spring-framework中的Sonatype漏洞CVE-2016-1000027