查詢服務中的資料治理
Adobe Experience Platform將來自多個企業系統的資料整合在一起,可讓您根據自己的需求,透過查詢服務清除、塑形、操縱和擴充資料。 這可讓行銷人員以更好的方式識別、瞭解客戶並與之互動。 確保適當的資料控管是處理個人資訊的重要方面,因為根據組織政策和法規,某些資料可能會受到使用限制。 請務必確保您擷取的資料及其相關作業符合定義的資料使用原則。
查詢服務中的資料控管可讓您管理客戶資料,並確保遵守適用於資料使用的法規、限制和原則。 在確保使用原則已根據您的企業所定義的法規套用時,這會發揮關鍵作用。
建議日常進行資料處理的組織概述、實踐並強制執行這些准則,為所有使用者營造注重隱私權的環境。
下列類別有助於在使用查詢服務時遵循資料法規遵循:
- 安全性
- 稽核
- 資料使用情況
- 隱私權
- 資料衛生
本檔案會檢視每個不同的控管領域,並示範如何在使用「查詢服務」時促進資料法規遵循。 請參閱治理、隱私和安全性總覽,以進一步瞭解Experience Platform如何讓您管理客戶資料並確保法規遵循。
安全性 security
資料安全性是保護資料免於未經授權存取的程式,並確保資料在整個生命週期中的安全存取。 Experience Platform會透過角色型存取控制和屬性型存取控制等功能來套用角色和許可權,以維護安全存取。 憑證、SSL和資料加密也用於確保跨Experience Platform的資料保護。
查詢服務的安全性分為下列類別:
- 存取控制:存取是由角色和許可權(包括資料集和資料行層級的許可權)所控制。
- 透過連線保護資料:藉由使用即將到期的認證或未到期的認證達成有限的連線,透過Experience Platform和外部使用者端保護資料。
- 透過加密和客戶管理的金鑰(CMK)保護資料:資料靜止時可透過加密控制存取。
存取控制 access-control
Adobe Experience Platform中的存取控制由角色型許可權管理,這些許可權決定哪些使用者可以使用查詢服務功能。 同樣地,您可以透過結構描述和資料欄位的標籤管理,控制特定資料屬性的存取權。
This section outlines the required access control permissions that a user must have in order to fully utilize Query Service features. See the documents on managing permissions and managing users for detailed instructions on assigning access to a product profile.
Relevant permissions
The relevant access control permissions are defined in the tables below according to their level of scope.
Query execution permissions
To run queries within Query Service, a user must be assigned a role with the following permission:
CREATE TABLE AS SELECT (CTAS) and INSERT INTO AS SELECT (ITAS) queries.Dataset permissions
This section serves as a guide for the resource-based access required to access datasets while querying data through Query Service.
Through the Permissions interface you can define resource-based access control for a dataset and schema with the following permissions:
Access control for columns/fields
The attribute-based access control feature enables Query Service users to restrict access to critical user data. Access can be granted or restricted based on the permissions assigned to a role. User access to individual columns is controlled by the relevant data usage labels and the permission sets applied to the roles assigned to users.
Tagging schema field groups and classes with data usage labels applies data usage restrictions to all schemas with the same field groups and classes. See the overview on attribute-based access control for comprehensive information on this feature.
This feature enables you to grant access rights on confidential columns to the user groups of your choice. Access control on a column can restrict both the read and write capabilities for a particular type of user.
Access control for columns can be applied at the schema level for both standard and ad hoc schemas. Apply data usage labels to XDM schemas to restrict access to one or more columns. Data labeling is consistently applied, even for datasets created via Query Service using either a predefined schema or an ad hoc schema generated as part of CTAS operation.
Once the appropriate level of access has been applied using labels and roles, the following system behavior occurs when a user tries to access the non-accessible data:
-
If a user has been denied access to one of the columns within a schema, the user is also denied permission to read or write on the restricted column. This applies to the following common scenarios:
- Case 1: When a user tries to execute a query affecting only a restricted column, the system throws an error that the column doesn't exist.
- Case 2: When a user tries to execute a query with multiple columns including a restricted column, the system returns output for all non-restricted columns only.
-
If a user tries to access a calculated field, the user is required to have access to all the fields used in the composition or the system denies access to the calculated field as well.
Access controls for views
Query Service provides the ability to use standard ANSI SQL for CREATE VIEW statements. For highly sensitive data workflows, you must enforce appropriate controls when creating views.
The CREATE VIEW keyword defines a view of a query but the view is not physically materialized. Instead, the query is run every time the view is referenced in a query. When a user creates a view from a dataset, the role- and attribute-based access control rules for the parent dataset are not hierarchically applied. As a result, you must explicitly set permissions on each of the columns when a view is created.
Create field-based access restrictions on accelerated datasets create-field-based-access-restrictions-on-accelerated-datasets
With the attribute-based access control capability you can define organizational or data usage scopes on fact and dimension datasets in the accelerated store. This allows administrators to manage access to specific segments and better manage the access given to users or groups of users.
To create field-based access restrictions on accelerated datasets, you can use Query Service CTAS queries to create accelerated datasets and structure these datasets based on existing XDM schemas or ad hoc schemas. Administrators can then add and edit data usage labels for the schema or ad hoc schema. You can apply, create, and edit labels to your schemas from the Labels workspace in the Schemas UI.
Data usage labels can also be applied or edited directly onto the dataset through the Datasets UI, or created from the Access Control Labels workspace. See the guide on how to create a new label for more information.
User access to individual columns can then be controlled by the attached data usage labels and the permission sets applied to the roles that are assigned to users.
Connectivity connectivity
Query Service is accessible through the Experience Platform UI or by forming a connection with external compatible clients. Access to all available fronts is controlled by a set of credentials.
Connectivity through external clients
使用協力廠商使用者端存取查詢服務需要授權認證。 必須使用這些認證,才能使用任何相容的外部使用者端存取查詢服務。 您可以使用即將到期的認證或不會到期的認證來連線到外部使用者端。
透過過期認證的連線時間有限 expiring-credentials
即將到期的認證允許使用者與外部使用者端建立暫時連線。 這組認證只有24小時有效。 這些型別的認證到期時,查詢服務儀表板中的認證索引標籤也會顯示。
不會到期的認證 non-expiring-credentials
不會到期的認證可讓您與外部使用者端建立永久連線,讓您無需手動密碼即可輕鬆連線至查詢服務。
若要啟用產生不會到期的認證的選項,您必須遵循概述的必要工作流程。 在此程式中,您的組織管理員需要設定產品設定檔的許可權,讓管理員控制哪些帳戶有權使用不會到期的認證。
允許具有不會到期認證的技術使用者帳戶可以指派角色,根據其職責和需求定義其讀取和寫入存取權的範圍,以確保適當的資料控管。 請參閱先前關於的章節,透過存取控制使用角色型許可權來管理對查詢服務的存取。
先決條件工作流程完成後,授權的使用者現在可以產生必要的連線認證。
SSL資料加密
為了提高安全性,Query Service為SSL連線提供原生支援,以加密使用者端/伺服器通訊。 Experience Platform支援各種SSL選項,以符合您的資料安全需求,並平衡加密和金鑰交換的處理額外負荷。
如需詳細資訊,包括如何使用verify-full SSL引數值連線,請參閱第三方使用者端連線至查詢服務🔗的可用SSL選項指南。
加密和客戶管理金鑰(CMK) encryption-and-customer-managed-keys
加密是使用演演算法程式,將資料轉換為已編碼及無法讀取的文字,以確保資訊受到保護且無法存取,而不需要使用解密金鑰。
查詢服務資料規範可確保資料一律加密。 傳輸中的資料一律符合HTTPS標準,靜態資料會使用系統層級的金鑰加密至Azure Data Lake存放區。 如需詳細資訊,請參閱有關在Adobe Experience Platform中資料如何加密的檔案。 如需如何在Azure Data Lake Storage中加密閒置資料的詳細資訊,請參閱Azure官方檔案。
傳輸中的資料一律符合HTTPS標準,同樣地,當資料在資料湖中靜止時,會使用客戶管理金鑰(CMK)進行加密,而資料湖管理已支援該金鑰。 目前支援的版本為TLS1.2。 請參閱客戶自控金鑰(CMK)檔案,瞭解如何為Adobe Experience Platform中儲存的資料設定您自己的加密金鑰。
稽核 audit
查詢服務會記錄使用者活動,並將該活動分類為不同的記錄型別。 記錄提供有關 誰 執行了 什麼 動作,以及 何時 的資訊。 記錄中記錄的每個動作都包含中繼資料,其指出動作型別、日期和時間、執行動作之使用者的電子郵件ID,以及與動作型別相關的其他屬性。
Experience Platform使用者可視需要請求任何記錄類別。 本節提供為「查詢服務」擷取的資訊型別,以及此資訊的存取位置的詳細資訊。
查詢記錄 query-logs
查詢記錄UI可讓您監視和檢閱已透過查詢編輯器或查詢服務API執行的所有查詢的執行詳細資訊。 這會使查詢服務活動具有透明度,可讓您檢查跨查詢服務執行的 所有 查詢的中繼資料。 它包含所有型別的查詢,無論是探索、批次或排程查詢。
可透過Queries工作區之Logs索引標籤中的Experience Platform UI存取查詢記錄。
稽核記錄 audit-logs
稽核記錄包含比查詢記錄更詳細的資訊,並可讓您根據屬性(例如使用者、日期、查詢型別等)篩選記錄。 除了查詢記錄UI中可用的詳細資訊之外,稽核記錄還儲存個別使用者的詳細資訊,及其工作階段資料或到協力廠商使用者端的連線。
稽核軌跡可提供使用者動作的精確記錄,有助於疑難排解問題,並幫助您的企業有效遵守公司資料管理政策和法規要求。 稽核記錄提供所有Experience Platform活動的記錄。 使用稽核記錄,您可以稽核與查詢執行、範本和已排程查詢相關的使用者動作,以提高查詢服務中使用者所執行動作的透明度和可見度。
下表指出稽核記錄所擷取的查詢類別及其所記錄的動作型別:
以下是三個延伸伺服器記錄檔的清單,其中包含的詳細資訊多於在查詢記錄檔中找到的詳細資料。 可在稽核記錄查詢類別中找到延伸記錄:
- Meta查詢記錄:執行查詢時,會執行各種相關的後端子查詢(例如剖析)。 這些型別的查詢稱為「中繼資料」查詢。 您可以在稽核記錄中找到其相關詳細資料。
- 工作階段記錄檔:系統會在使用者登入查詢服務時,為使用者建立工作階段專案記錄檔,不論使用者是否執行查詢。
- 協力廠商使用者端連線記錄:當使用者成功將查詢服務連線到協力廠商使用者端時,就會產生連線稽核記錄。
如需稽核記錄如何協助您的組織處理資料規範性的詳細資訊,請參閱稽核記錄概觀。
資料使用情況 data-usage
Experience Platform中的資料控管架構可讓您以統一方式,負責地使用所有Adobe解決方案、服務和平台上的資料。 它協調在整個Adobe Experience Cloud中擷取、通訊和使用中繼資料的系統方法。 這反過來又可協助資料控管單位根據所需行銷動作加標籤資料,以及依據這些預期行銷動作對該資料設定的限制。 請參閱資料使用標籤的概觀,以取得資料控管如何讓您將資料使用標籤套用至資料集和欄位的詳細資訊。
最佳實務是在資料歷程的每個階段致力於資料合規性。 為此,使用臨時結構描述的衍生資料集應在資料控管框架中適當地加上標籤。 查詢服務形成的衍生資料集有兩種型別:使用標準結構的資料集和使用臨時結構的資料集。
由於臨時結構描述是由個別使用者出於特定目的所建立,因此XDM結構描述欄位會為該特定資料集進行命名,而不是打算用於不同的資料集。 因此,臨時結構描述預設不會顯示在Experience Platform UI中。 雖然在標準與臨時結構描述之間應用資料使用標籤沒有差異,但是查詢服務為標籤目的建立的臨時結構描述必須首先在Experience Platform UI中可見。 如需詳細資訊,請參閱在Experience Platform UI中探索臨時結構描述的相關指南。
存取結構描述後,您可以將標籤套用至個別欄位。 在結構描述加上標籤後,衍生自該結構描述的所有資料集都會繼承這些標籤。 從這裡,您可以設定資料使用原則,限制將帶有特定標籤的資料啟用到特定目的地。 如需詳細資訊,請參閱資料使用原則的概觀。
隱私權 privacy
Privacy Service可協助您根據隱私權法規,管理客戶存取和刪除其資料的請求。 其做法是搜尋資料中預先存在的識別碼,並根據請求的隱私權工作存取或刪除該資料。 資料必須正確加上標籤,服務才能在隱私權工作期間決定要存取或刪除哪些欄位。 受隱私權請求限制的資料必須包含客戶身分資訊,才能將不同的資料片段與隱私權請求所套用的個人聯絡起來。 查詢服務可透過唯一識別碼擴充其使用的資料,以符合隱私權工作的需求。
隱私權請求可以傳送至資料湖或設定檔資料存放區。 從資料湖中刪除的記錄不會導致從這些記錄中建立的設定檔刪除。 此外,從Data Lake刪除個人資訊的隱私權工作不會刪除其設定檔,因此在隱私權工作完成後,擷取的任何資訊(包含該設定檔ID)都會正常更新該設定檔。 這再次說明必須正確識別臨時結構中所使用的資料。
請參閱Privacy Service檔案,以取得隱私權請求身分資料的詳細資訊,以及如何設定您的資料作業,並運用Adobe技術有效擷取適合客戶隱私權請求的身分資訊。
資料控管的查詢服務功能可簡化及簡化資料分類程式,以及遵守資料使用規範。 識別資料後,查詢服務可讓您在所有輸出資料集上配置主要身分。 您 必須 將身分新增至資料集,以方便資料隱私權請求並努力符合資料規範。
結構描述資料欄位可以透過Experience Platform UI設定為身分欄位,而且查詢服務也可讓您使用SQL命令'ALTER TABLE'🔗來標籤主要身分。 使用ALTER TABLE命令設定身分,在資料集是使用SQL建立的,而非透過Experience Platform UI直接從結構描述建立時,特別有用。 請參閱檔案,瞭解在使用標準結構描述時,如何在UI中定義身分欄位。
資料衛生 data-hygiene
「資料衛生」是指修復或移除過時、不準確、格式不正確、重複或不完整資料的程式。 這些程式可確保資料集在所有系統中都正確且一致。 請務必確保在資料歷程的每個步驟中,甚至從初始資料儲存位置開始,都有足夠的資料衛生。 在Experience Platform查詢服務中,這是資料湖或加速存放區。
您可以將身分指派給衍生的資料集,以便依照Experience Platform的集中式資料衛生服務管理其資料。
相反地,當您在加速存放區上建立彙總資料集時,彙總資料無法用於衍生原始資料。 經過此資料彙總後,就不需要提出資料衛生要求。
此情況的例外是刪除。 如果資料集要求資料衛生刪除,且在刪除完成之前,會執行另一個衍生的資料集查詢,則衍生的資料集將會從原始資料集中擷取資訊。 在此情況下,您必須注意,如果已傳送刪除資料集的請求,您不得使用相同的資料集來源執行任何新衍生的資料集查詢。
如需Adobe Experience Platform中資料衛生的詳細資訊,請參閱資料衛生總覽。