连通性BigQuery能够

                      
                           我们感动!改善客户体验,Collibra数据质量用户指南已经搬到新万博移动客户端
                           
                           新万博移动客户端Collibra文档中心
                           
                           作为Collibra数据质量2新万博移动客户端022.11发行版的一部分。为了确保无缝过渡,
                           
                           dq-docs.新万博移动客户端collibra.com
                           
                           将继续访问,但DQ用户指南现在维护只在文档中心。
                          
                      BigQuery连接步骤
                      
                    1。
                            司机:com.simba.googlebigquery.jdbc42.Driver
                           
2。
                            owl-gcp.json定位您的服务帐户(你的组织认证密钥以JSON格式)
                           
3所示。
                            创建一个JDBC连接(例如不使用此JDBC URL): JDBC: bigquery: / / https://www.googleapis.com/bigquery/v2:443; ProjectId =; OAuthType = 0; OAuthServiceAcctEmail = < 1234567890 >
                            
                            (电子邮件保护);OAuthPvtKeyPath = / opt / ext / bq-gcp.json;超时= 86400
                            
4所示。
                            需要一个JSON文件路径包含服务帐户进行授权。相同的文件提供给火花会话为最大并行度直接存储连接一旦核心启动。”
                           
                              1。
                                      有用的提示:这个JSON文件可以上传bigquery目录使用“添加驱动程序”
                                      
                     上面的解释,实际上是许多成功必须执行其他步骤来实现:
                    
                    1。
                            密码BigQuery连接器形式Collibra DQ必须从json文件创建的base64新万博移动客户端编码的字符串(参见步骤3。上图)和输入密码。例如:base64 your_json。json - w 0或猫your_json。json | base64 - w 0
                           
2。
                            检查这个罐子的道路上,存在Collibra DQ Web UI服务器新万博移动客户端(如。< INSTALL_PATH > /猫头鹰/司机/ bigquery /核心)。看看你的驱动程序目录位置包含这BigQuery JAR: spark-bigquery_2.12-0.18.1.jar
                           
3所示。
                            确保这些罐子出现在< INSTALL_PATH > /猫头鹰/司机/ bigquery /:* * * *animal-sniffer-annotations-1.19.jargoogle-api-services-bigquery-v2-rev20201030-1.30.10.jargrpc-google-cloud-bigquerystorage-v1beta1-0.106.4.jarlistenablefuture - 9999.0 -空-与- guava.jar -避免冲突annotations-4.1.1.4.jargoogle-auth-library-credentials-0.22.0.jargrpc-google-cloud-bigquerystorage-v1beta2-0.106.4.jaropencensus-api-0.24.0.jarapi-common-1.10.1.jargoogle-auth-library-oauth2-http-0.22.0.jargrpc-grpclb-1.33.1.jaropencensus-contrib-http-util-0.24.0.jarauto-value-annotations-1.7.4.jarGoogleBigQueryJDBC42.jargrpc-netty-shaded-1.33.1.jarperfmark-api-0.19.0.jaravro-1.10.0.jargoogle-cloud-bigquery-1.125.0.jargrpc-protobuf-1.33.1.jarprotobuf-java-3.13.0.jarchecker-compat-qual-2.5.5.jargoogle-cloud-bigquerystorage-1.6.4.jargrpc-protobuf-lite-1.33.1.jarprotobuf-java-util-3.13.0.jarcommons-codec-1.11.jargoogle-cloud-core-1.93.10.jargrpc-stub-1.33.1.jarproto-google-cloud-bigquerystorage-v1-1.6.4.jarcommons-compress-1.20.jargoogle-cloud-core-http-1.93.10.jargson-2.8.6.jarproto-google-cloud-bigquerystorage-v1alpha2-0.106.4.jarcommons-lang3-3.5.jargoogle-http-client-1.38.0.jarguava-23.0.jarproto-google-cloud-bigquerystorage-v1beta1-0.106.4.jarcommons-logging-1.2.jargoogle-http-client-apache-v2-1.38.0.jarhttpclient-4.5.13.jarproto-google-cloud-bigquerystorage-v1beta2-0.106.4.jarconscrypt-openjdk-uber-2.5.1.jargoogle-http-client-appengine-1.38.0.jarhttpcore-4.4.13.jarproto-google-common-protos-2.0.1.jar核心google-http-client-jackson2-1.38.0.jarj2objc-annotations-1.3.jarproto-google-iam-v1-1.0.3.jarerror_prone_annotations-2.4.0.jargoogle-oauth-client-1.31.1.jarjackson-annotations-2.11.0.jargrpc-alts-1.33.1.jarjackson-core-2.11.3.jarslf4j-api-1.7.30.jarfailureaccess-1.0.1.jargrpc-api-1.33.1.jarjackson-databind-2.11.0.jargax-1.60.0.jargrpc-auth-1.33.1.jarjavax.annotation-api-1.3.2.jarthreetenbp-1.5.0.jargax-grpc-1.60.0.jargrpc-context-1.33.1.jarjoda-time-2.10.1.jargax-httpjson-0.77.0.jargrpc-core-1.33.1.jarjson - 20200518. - jargoogle-api-client-1.31.1.jargrpc-google-cloud-bigquerystorage-v1-1.6.4.jarjsr305-3.0.2.jar
                           
4所示。
                            你可能会得到一个关于JAR文件路径冲突。
                           
5。
                            确保BigQuery连接器Scala版本匹配您的火花Scala版本。
                            
                      网络
                      
                     请考虑这些url从网络和防火墙的角度来看。
                    
                     logging.googleapis.com
                    
                     oauth2.googleapis.com
                    
                     www.googleapis.com
                    
                     bigquerystorage.googleapis.com
                    
                     bigquery.googleapis.com
                    
                      权限
                      
                     确保项目和账户有适当的权限。这些都是常见的权限提供的账户。
                    
                      的观点
                      
                     支持BigQuery观点可以从2021.11版开始。有BigQuery限制不同数据集的创建视图(集合)。可选地,您可以添加的viewsEnabled = true参数定义连接时的连接属性。
                    
                           BigQuery能够读/写访问,您可以使用火花BigQuery连接器。要使用这个连接器,确保以下配置设置:
                          
                                  viewsEnabled被设置为true。
                                 
                                  materializationDataset将GCP用户表创建一个数据集的许可。
                                 
                                  materializationProject是可选的。
                                 
                      火花版本2
                      
                           一定要使用火花BigQuery火花的连接器与你兼容的版本。
                          
                           还在使用火花< 3和Scala 2.11请添加以下道具连接属性:
                          
                         dq.bq.legacy = true, viewsEnabled = true
最后修改5月前