Source Azure Event Hubs

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Rubriques :

Créé pour :

Développeur

IMPORTANT

La source Azure Event Hubs est disponible dans le catalogue des sources pour les utilisateurs qui ont acheté Real-Time Customer Data Platform Ultimate.

Adobe Experience Platform fournit une connectivité native pour les fournisseurs cloud tels qu’AWS, Google Cloud Platform et Azure. Vous pouvez importer vos données de ces systèmes dans Platform.

Les sources de stockage dans le cloud peuvent introduire vos propres données dans Platform sans avoir à les télécharger, les formater ou les transférer. Les données ingérées peuvent être formatées sous la forme XDM JSON, XDM Parquet ou délimitées. Chaque étape du processus est intégrée dans le processus Sources. Platform vous permet d’importer des données depuis Event Hubs en temps réel.

Mise à l’échelle avec Event Hubs

Le facteur d’échelle de votre instance Event Hubs doit être augmenté si vous devez ingérer des données à volume élevé, augmenter le parallélisme ou augmenter la vitesse de la plateforme d’ingestion.

Entrer des données à volume supérieur

Actuellement, le volume maximal de données que vous pouvez importer de votre compte Event Hubs vers Platform est de 2 000 enregistrements par seconde. Pour augmenter et ingérer des données à volume supérieur, contactez votre représentant Adobe.

Augmentation du parallélisme sur Event Hubs et Platform

Le parallèle fait référence à l’exécution simultanée des mêmes tâches sur plusieurs unités de traitement afin d’augmenter la vitesse et les performances. Vous pouvez augmenter le parallélisme du côté Event Hubs en augmentant la partition ou en acquérant plus d’unités de traitement pour votre compte Event Hubs. Pour plus d’informations, consultez ce Event Hubs document sur la mise à l’échelle.

Pour augmenter la vitesse d’ingestion du côté Platform, Platform doit augmenter le nombre de tâches dans le connecteur source à lire à partir de vos partitions Event Hubs. Une fois que vous avez augmenté le parallélisme du côté Event Hubs, contactez votre représentant d’Adobe pour mettre à l’échelle les tâches de Platform en fonction de votre nouvelle partition. Actuellement, ce processus n’est pas automatisé.

Utilisation d’un réseau virtuel pour se connecter à Event Hubs à Platform

Vous pouvez configurer un réseau virtuel pour connecter Event Hubs à Platform tout en activant vos mesures de pare-feu. Pour configurer un réseau virtuel, accédez à ce Event Hubs document d’ensemble de règles réseau et procédez comme suit :

Sélectionnez Essayer dans le panneau API REST ;
Authentifiez votre compte Azure à l’aide de vos informations d’identification dans le même navigateur.
Sélectionnez l’espace de noms, le groupe de ressources et l’abonnement Event Hubs que vous souhaitez apporter à Platform, puis sélectionnez RUN ;
Dans le corps JSON qui s’affiche, ajoutez le sous-réseau Platform suivant sous virtualNetworkRules dans properties :

IMPORTANT

Vous devez effectuer une sauvegarde du corps JSON que vous recevez, avant de mettre à jour virtualNetworkRules avec le sous-réseau Platform, car il contient vos règles de filtrage IP existantes. Dans le cas contraire, les règles seront supprimées après l’appel .

{
    "subnet": {
        "id": "/subscriptions/93f21779-b1fd-49ee-8547-2cdbc979a44f/resourceGroups/ethos_12_prod_va7_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_va7_network_10_19_144_0_22/subnets/ethos_12_prod_va7_network_10_19_144_0_22"
    },
    "ignoreMissingVnetServiceEndpoint": true
}

Consultez la liste ci-dessous pour différentes régions des sous-réseaux Platform :

VA7 : Amérique du Nord

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
          "id": "/subscriptions/93f21779-b1fd-49ee-8547-2cdbc979a44f/resourceGroups/ethos_12_prod_va7_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_va7_network_10_19_144_0_22/subnets/ethos_12_prod_va7_network_10_19_144_0_22"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

NLD2 : Europe

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
            "id": "/subscriptions/40bde086-46ad-44c3-afba-c306f54b64ec/resourceGroups/ethos_12_prod_nld2_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_nld2-vnet/subnets/ethos_12_prod_nld2_network_10_20_40_0_23"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

AUS5 : Australie

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
          "id": "/subscriptions/1618ef18-9edc-48bf-88dd-61cc979629b5/resourceGroups/ethos_12_prod_aus5_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_aus5-vnet/subnets/ethos_12_prod_aus5_network_10_21_116_0_22"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

Pour plus d’informations sur les ensembles de règles réseau, consultez le Event Hubs document suivant.

Connecter Event Hubs à Platform

La documentation ci-dessous fournit des informations sur la connexion de Event Hubs à Platform à l’aide d’API ou de l’interface utilisateur :

Utiliser les API

Utiliser l’interface utilisateur

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089