Azure Event Hubs origen

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Temas:

Creado para:

Desarrollador

IMPORTANT

El origen Azure Event Hubs está disponible en el catálogo de orígenes para los usuarios que han adquirido Real-time Customer Data Platform Ultimate.

Adobe Experience Platform proporciona conectividad nativa para proveedores de la nube como AWS, Google Cloud Platform y Azure. Puede llevar los datos de estos sistemas a Platform.

Las fuentes de almacenamiento en la nube pueden introducir sus propios datos en Platform sin necesidad de descargarlos, formatearlos o cargarlos. Los datos introducidos pueden tener el formato XDM JSON, XDM Parquet o estar delimitados. Cada paso del proceso se integra en el flujo de trabajo de orígenes. Platform le permite traer datos de Event Hubs en tiempo real.

Escalando con Event Hubs

El factor de escala de su instancia de Event Hubs debe aumentarse si necesita introducir datos de gran volumen, aumentar el paralelismo o aumentar la velocidad de la plataforma de ingesta.

Ingresar datos de mayor volumen

En la actualidad, el volumen máximo de datos que puede traer de su cuenta de Event Hubs a Platform es de 2000 registros por segundo. Para ampliar e ingerir datos de mayor volumen, póngase en contacto con su representante de Adobe.

Aumentar el paralelismo en Event Hubs y Platform

El paralelismo se refiere a la ejecución simultánea de las mismas tareas en varias unidades de procesamiento para aumentar la velocidad y el rendimiento. Puede aumentar el paralelismo en el lado Event Hubs mediante el aumento de la partición o la adquisición de más unidades de procesamiento para la cuenta Event Hubs. Consulte este Event Hubs documento sobre la escala para obtener más información.

Para aumentar la velocidad de ingesta en Platform, Platform debe aumentar el número de tareas en el conector de origen para leer desde las particiones Event Hubs. Una vez que haya aumentado el paralelismo en el lado Event Hubs, póngase en contacto con su representante de Adobe para escalar las tareas de Platform en función de la nueva partición. Actualmente, este proceso no está automatizado.

Usar una red virtual para conectarse a Event Hubs en Platform

Puede configurar una red virtual para conectar Event Hubs a Platform con las medidas del firewall habilitadas. Para configurar una red virtual, vaya a este Event Hubs documento del conjunto de reglas de red y siga los pasos que se indican a continuación:

Seleccione Probarlo en el panel API de REST;
Autentique su cuenta de Azure con sus credenciales en el mismo explorador;
Seleccione el área de nombres Event Hubs, el grupo de recursos y la suscripción que desea llevar a Platform y, a continuación, seleccione EJECUTAR;
En el cuerpo JSON que aparece, agregue la siguiente subred de Platform bajo virtualNetworkRules dentro de properties:

IMPORTANT

Debe hacer una copia de seguridad del cuerpo de JSON que recibe antes de actualizar virtualNetworkRules con la subred de Platform, ya que contiene las reglas de filtrado de IP existentes. De lo contrario, las reglas se eliminarán después de la llamada.

{
    "subnet": {
        "id": "/subscriptions/93f21779-b1fd-49ee-8547-2cdbc979a44f/resourceGroups/ethos_12_prod_va7_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_va7_network_10_19_144_0_22/subnets/ethos_12_prod_va7_network_10_19_144_0_22"
    },
    "ignoreMissingVnetServiceEndpoint": true
}

Consulte la lista siguiente para ver las diferentes regiones de las subredes de Platform:

VA7: Norteamérica

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
          "id": "/subscriptions/93f21779-b1fd-49ee-8547-2cdbc979a44f/resourceGroups/ethos_12_prod_va7_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_va7_network_10_19_144_0_22/subnets/ethos_12_prod_va7_network_10_19_144_0_22"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

NLD2: Europa

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
            "id": "/subscriptions/40bde086-46ad-44c3-afba-c306f54b64ec/resourceGroups/ethos_12_prod_nld2_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_nld2-vnet/subnets/ethos_12_prod_nld2_network_10_20_40_0_23"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

AUS5: Australia

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
          "id": "/subscriptions/1618ef18-9edc-48bf-88dd-61cc979629b5/resourceGroups/ethos_12_prod_aus5_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_aus5-vnet/subnets/ethos_12_prod_aus5_network_10_21_116_0_22"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

Consulte el siguiente Event Hubs documento para obtener más información sobre los conjuntos de reglas de red.

Conectar Event Hubs a Platform

La siguiente documentación proporciona información sobre cómo conectar Event Hubs a Platform mediante API o la interfaz de usuario:

Uso de API

Uso de la IU

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089