概述
这个Spring Boot集成使用从Unity Catalog和Lineage Tracking REST API服务接收到的数据，以发现和注册Unity Catalog亚metastore、目录、模式、表、列和依赖项。
在提交这篇文章的时候，Unity Catalog处于公开预览中，沿袭跟踪REST API所提供的内容是有限的。我们希望这两个API都能随着它们的普及而改变。以下领域是不在今天的版本中涵盖，但在未来版本的范围内:
- ACL
- 算图
这个版本完成了Databricks Delta共享。
用例
- 作为一名数据工程师，我希望通过将元数据放到一个中心位置，让我的数据管理员和数据用户对Databricks Metastore资源有充分的可见性。狗万新闻c通过这种方式，数据将在您的组织中变得可用并易于访问。
- 作为一名数据管理人员，我希望通过帮助建立企业范围的资产存储库来提高数据透明度，这样每个用户都可以轻松地理解和发现与他们相关的数据。
- 作为数据生产者，我希望在不复制数据的情况下与潜在消费者共享数据集。
Databricks定期提供预览，让您有机会在特性全面可用(GA)之前评估并提供反馈。这些预览版可以有不同的成熟程度，本文将对每种成熟度进行定义。有关Databricks运行时版本(包括支持生命周期和长期支持(LTS))的更多信息，请参阅Databricks运行时支持生命周期。
2022年3月更新:统一目录现在在封闭的公共预览。在这个封闭的公开预览中，Unity Catalog有以下限制。
Python、Scala和R工作负载仅在Data Science & Engineering或Databricks Machine Learning集群上支持，这些集群使用单用户安全模式，不支持出于行级或列级安全目的的动态视图。
Unity Catalog可以与Databricks提供的内置Hive metastore一起使用。不支持需要使用init脚本进行配置的外部Hive metastore。
覆盖模式的数据帧写入操作到Unity目录只支持管理Delta表，而不支持其他情况，如外部表。此外，该用户必须在父模式中拥有CREATE权限，并且必须是现有对象的所有者。
请参阅Databricks统一目录一般可用性|数据在AWS上获取更多信息。
2022年5月更新:欢迎来到数据谱系私人预览!Unity Catalog现在捕获在Databricks集群或SQL端点上执行的任何表到表操作的运行时数据沿袭。沿袭是在表和列的粒度上捕获的，该服务可以跨所有语言操作。
2022年6月更新: Unity目录谱系现在被捕获和分类为资产关系和自定义技术谱系。
2022年7月更新: Unity Catalog API将于2022年8月11日从v2.0切换到v2.1，此后v2.0将不再支持。
2022年8月更新:Unity目录在公共预览．在预览期间，一些功能受到了限制。看到统一目录公开预览限制．要参与预览，请与Databricks代表联系。
2022年8月更新:从Databricks Runtime 11.1开始，Delta Sharing现在已经普遍可用。详细信息请参见使用Delta Sharing共享数据．
媒体
更多的细节
发布说明
修复关键的常见漏洞和暴露
- CWE-94:代码生成控制不当(“代码注入”)
- CWE-611: XML外部实体引用的不适当限制
- CWE-400:不可控的资源消耗
- CWE-285:不当授权
兼容性
- Spring引导框架
- Unity Catalog API
- 谱系跟踪API
- Apache梁
- 新万博移动客户端Collibra数据智能云
依赖
- Spring Boot框架v2.7.5
- Unity Catalog API
- 谱系跟踪API
- Apache Beam 2.42.0
- Python 3.9.13
- Java运行时环境11
License和使用要求
- 新万博移动客户端Collibra目录
- 砖的溢价
版本历史
发布说明
增加了一些额外的资源属性。
兼容性
- Spring框架
- Unity Catalog API
- 谱系跟踪API
- Apache梁
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
- Python 3.9.13
- Apache Beam 2.42.0
License和使用要求
- 新万博移动客户端Collibra目录
- 砖的溢价
发布说明
从核心api转移到导入api，因为我们采取了私测步骤。我们将快速跟踪此集成的初始GA发布，以添加由Unity Catalog提供的元数据和沿袭功能。此阶段的“支持”被定义为客户在我们的beta工具中记录问题的能力，以考虑到我们的GA版本。没有sla，修复将在现有的测试版中尽最大努力。一旦该功能被移植到基于Edge的功能上，我们就会让客户停止使用Springboot，并迁移到基于Edge的摄取。我们将GA与边缘为基础的能力。增量共享仍然处于验证状态。
兼容性
- Spring框架
- Unity Catalog API
- 谱系跟踪API
- Apache梁
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
- Apache梁
License和使用要求
- 新万博移动客户端Collibra目录
- 砖的溢价
发布说明
作为发布的一部分，发布了以下功能:
- 新增工作流，包括删除共享和收件人
- 当多个metastore时，将请求路由到右边的应用程序
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
注册统一目录资源狗万新闻c |
将所有Unity目录资源从给定的metastore和目录拉到Collibra的样本狗万新闻c流已被更改，以更好地与Edge对齐。新万博移动客户端工作流现在期望一个社区，其中可以找到metastore资源，一个系统资产，表示统一目录metastore，并将帮助狗万新闻c构建剩余资产的名称，以及一个选项域，如果指定，将告诉应用程序在给定域中创建所有metastore资源。如果没有指定，每个模式将注册在自己的域中。 |
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
注册统一目录资源狗万新闻c |
将所有Unity Catalog资源从给定的metastore和Catalog拉到狗万新闻cCollibra的示例流。新万博移动客户端 |
将收件人添加到增量共享 |
将增量共享的访问权限授予给定收件人的示例流。 |
将数据集添加到Delta共享 |
将数据集中的所有表添加到给定增量共享的示例流。 |
将表添加到Delta共享 |
将表添加到给定增量共享的示例流。 |
向Delta共享表单添加表 |
将表添加到增量共享的示例流。 |
创建增量共享 |
创建增量共享的示例流。 |
创建增量共享接收者 |
创建增量共享接收者的示例流。 |
删除Delta共享 |
删除增量共享的示例流。 |
删除Delta共享接收人 |
删除增量共享收件人的示例流。 |
向收件人授予Delta共享访问权限 |
将增量共享的访问权限授予给定收件人的示例流。 |
从增量共享中删除收件人 |
从给定接收者撤销对增量共享的访问的示例流。 |
从Delta共享中删除表 |
从给定增量共享中删除表的示例流。 |
撤销接收方的Delta共享访问权限 |
从给定接收者撤销对增量共享的访问的示例流。 |
获取收件人激活密钥 |
一个简单的工作流，在授予对给定共享的访问权限时共享激活密钥。 |
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
- 从增量共享工作流中删除表
- 撤销接收者工作流中的增量共享访问权限
- 当找到没有列的表时引发异常(修复)
- 如果没有找到数据库视图，则将其创建为表(修复)
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架v2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
- 有限的Delta共享api集成
- 添加系统属性作为自定义技术谱系的一部分
- 能够组合多个自定义技术血统JSON
兼容性
- Springboot框架
- 谱系跟踪API
- Unity Catalog API
- Delta共享API
- 新万博移动客户端Collibra数据智能云
依赖
- Springboot框架2.6.6
- 谱系跟踪API
- Unity Catalog API
- Delta共享API
- Java开发工具包
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
版本1.0.7将允许从非管理员个人访问令牌的数据中提取元数据。
兼容性
- Springboot框架
- 谱系跟踪API
- Unity Catalog API
- 新万博移动客户端Collibra数据智能云
依赖
- 谱系跟踪API
- Unity Catalog API
- Springboot框架2.6.6
- Java开发工具包
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
新的发布版本1.0.6用于增强应用程序，以接受通配符作为模式名的一部分。
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Unity Catalog API
- 谱系跟踪API
- Java开发工具包
- Springboot框架2.6.6
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
发布更新Spring Boot App，以适应Databricks Unity Catalog API中的更改
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Unity Catalog API
- 谱系跟踪API
- Java开发工具包
- Springboot框架2.6.6
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
Unity Catalog API将在2022年8月11日从v2.0切换到v2.1，此后v2.0将不再支持。
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Unity Catalog API
- 谱系跟踪API
- Java开发工具包1.11
- Springboot框架2.6.6
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
2022年6月更新: Unity目录谱系现在被捕获和分类为资产关系和自定义技术谱系。
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Unity Catalog API
- Java开发工具包1.11
- Springboot框架2.6.6
License和使用要求
- 新万博移动客户端Collibra目录
发布说明
2022年5月更新:欢迎来到数据谱系私人预览!Unity Catalog现在捕获在Databricks集群或SQL端点上执行的任何表到表操作的运行时数据沿袭。沿袭是在表和列的粒度上捕获的，该服务可以跨所有语言操作。
兼容性
- Spring引导框架
- Unity Catalog API
- 谱系跟踪API
- 新万博移动客户端Collibra数据智能云
依赖
- Unity Catalog API
- Java开发工具包v1.11
- Spring Boot框架v2.6.6
License和使用要求
- 新万博移动客户端Collibra目录
浏览与同样使用此应用程序的客户的讨论。
新万博移动客户端collibra主办的讨论将连接您与其他使用此应用程序的客户。
以下条款适用于您收到此产品源代码的程度。尽管条款二进制代码许可协议根据该集成模板的许可，Collibra授予您(被许可方)访问集成模板的源代码的权利，以便为被许可方的内新万博移动客户端部使用目的复制和修改所述源代码，并仅用于开发与Collibra产品和服务的连接和/或集成。仅就此集成模板而言，根据二进制代码许可协议定义的术语“软件”应包括其源代码版本。除上述规定外，《二进制代码许可协议》的所有剩余条款均适用于本协议项下集成模板的许可。
保罗泰勒
Databricks统一目录连接到Collibra -一个游戏规则改变者!新万博移动客户端