Explorar las carpetas de almacenamiento en la nube mediante Flow Service API

Este tutorial proporciona pasos sobre cómo explorar y previsualizar la estructura y el contenido del almacenamiento en la nube mediante el uso de Flow Service API.

NOTA

Para explorar el almacenamiento en la nube, ya debe tener un ID de conexión base válido para un origen de almacenamiento en la nube. Si no tiene este ID, consulte la información general sobre fuentes para obtener una lista de los orígenes de almacenamiento en la nube con los que puede crear una conexión base.

Primeros pasos

Esta guía requiere conocer los siguientes componentes de Adobe Experience Platform:

  • Fuentes: Experience Platform permite la ingesta de datos de varias fuentes, al mismo tiempo que permite estructurar, etiquetar y mejorar los datos entrantes mediante Platform servicios.
  • Sandboxes: Experience Platform proporciona entornos limitados virtuales que dividen un solo Platform en entornos virtuales independientes para ayudar a desarrollar y desarrollar aplicaciones de experiencia digital.

Uso de las API de plataforma

Para obtener información sobre cómo realizar llamadas correctamente a las API de Platform, consulte la guía de introducción a las API de Platform.

Explorar las carpetas de almacenamiento en la nube

Puede recuperar información sobre la estructura de las carpetas de almacenamiento en la nube realizando una solicitud de GET al Flow Service al proporcionar el ID de conexión base de su origen.

Al realizar solicitudes de GET para explorar el almacenamiento en la nube, debe incluir los parámetros de consulta que se enumeran en la siguiente tabla:

Parámetro Descripción
objectType Tipo de objeto que desea explorar. Establezca este valor como:
  • folder: Explorar un directorio específico
  • root: Explore el directorio raíz.
object Este parámetro solo es necesario cuando se visualiza un directorio específico. Su valor representa la ruta del directorio que desea explorar.

Formato de API

GET /connections/{BASE_CONNECTION_ID}/explore?objectType=root
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=folder&object={PATH}
Parámetro Descripción
{BASE_CONNECTION_ID} El ID de conexión base del origen de almacenamiento en la nube.
{PATH} Ruta de un directorio.

Solicitud

curl -X GET \
  'http://platform.adobe.io/data/foundation/flowservice/connections/dc3c0646-5e30-47be-a1ce-d162cb8f1f07/explore?objectType=folder&object=root' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Respuesta

Una respuesta correcta devuelve una matriz de archivos y carpetas que se encuentran en el directorio consultado. Tome nota de la path del archivo que desea cargar, ya que debe proporcionarlo en el siguiente paso para inspeccionar su estructura.

[
    {
        "type": "file",
        "name": "account.csv",
        "path": "/test-connectors/testFolder-fileIngestion/account.csv",
        "canPreview": true,
        "canFetchSchema": true
    },
    {
        "type": "file",
        "name": "profileData.json",
        "path": "/test-connectors/testFolder-fileIngestion/profileData.json",
        "canPreview": true,
        "canFetchSchema": true
    },
    {
        "type": "file",
        "name": "sampleprofile--3.parquet",
        "path": "/test-connectors/testFolder-fileIngestion/sampleprofile--3.parquet",
        "canPreview": true,
        "canFetchSchema": true
    }
]

Inspect: estructura de un archivo

Para inspeccionar la estructura del archivo de datos desde el almacenamiento en la nube, realice una solicitud de GET mientras proporciona la ruta del archivo y escriba como parámetro de consulta.

Puede inspeccionar la estructura de un archivo de datos desde el origen de almacenamiento en la nube realizando una solicitud de GET mientras proporciona la ruta y el tipo del archivo. También puede inspeccionar diferentes tipos de archivos, como CSV, TSV o JSON comprimido y archivos delimitados especificando sus tipos de archivo como parte de los parámetros de consulta.

Formato de API

GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&fileType={FILE_TYPE}&{QUERY_PARAMS}&preview=true
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&columnDelimiter=\t
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&compressionType=gzip;
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=FILE&object={FILE_PATH}&preview=true&ileType=delimited&encoding=ISO-8859-1;
Parámetro Descripción
{BASE_CONNECTION_ID} El ID de conexión del conector de origen de almacenamiento en la nube.
{FILE_PATH} Ruta al archivo que desea inspeccionar.
{FILE_TYPE} Tipo de archivo. Los tipos de archivo admitidos son:
  • DELIMITADO: Valor separado por delimitadores. Los archivos DSV deben separarse con comas.
  • JSON: Notación de objeto JavaScript. Los archivos JSON deben ser compatibles con XDM
  • PARQUET: Apache Parquet. Los archivos de parqué deben ser compatibles con XDM.
{QUERY_PARAMS} Parámetros de consulta opcionales que se pueden usar para filtrar los resultados. Consulte la sección sobre parámetros de consulta para obtener más información.

Solicitud

curl -X GET \
    'http://platform.adobe.io/data/foundation/flowservice/connections/{BASE_CONNECTION_ID}/explore?objectType=file&object=/aep-bootcamp/Adobe%20Pets%20Customer%2020190801%20EXP.json&fileType=json&preview=true' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

Respuesta

Una respuesta correcta devuelve la estructura del archivo consultado, incluidos los nombres de tabla y los tipos de datos.

[
    {
        "name": "Id",
        "type": "String"
    },
    {
        "name": "FirstName",
        "type": "String"
    },
    {
        "name": "LastName",
        "type": "String"
    },
    {
        "name": "Email",
        "type": "String"
    },
    {
        "name": "Phone",
        "type": "String"
    }
]

Uso de parámetros de consulta

La variable Flow Service API admite el uso de parámetros de consulta para previsualizar e inspeccionar diferentes tipos de archivos.

Parámetro Descripción
columnDelimiter El valor de un solo carácter especificado como delimitador de columna para inspeccionar archivos CSV o TSV. Si no se proporciona el parámetro, el valor predeterminado es una coma (,).
compressionType Parámetro de consulta requerido para obtener una vista previa de un archivo delimitado o JSON comprimido. Los archivos comprimidos admitidos son:
  • bzip2
  • gzip
  • deflate
  • zipDeflate
  • tarGzip
  • tar
encoding Define qué tipo de codificación utilizar al procesar la vista previa. Los tipos de codificación admitidos son: UTF-8 y ISO-8859-1. Nota: La variable encoding solo está disponible al introducir archivos CSV delimitados. Otros tipos de archivo se incorporarán con la codificación predeterminada, UTF-8.

Pasos siguientes

Al seguir este tutorial, ha explorado su sistema de almacenamiento en la nube y ha encontrado la ruta del archivo que desea traer Platformy vio su estructura. Puede utilizar esta información en el siguiente tutorial para recopile datos de su almacenamiento en la nube y agréguelos a Platform.

En esta página