Azure Event Hubs origem

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Tópicos:

Criado para:

Desenvolvedor

IMPORTANT

A origem Azure Event Hubs está disponível no catálogo de origens para usuários que compraram o Real-time Customer Data Platform Ultimate.

O Adobe Experience Platform fornece conectividade nativa para provedores de nuvem, como AWS, Google Cloud Platform e Azure. Você pode trazer seus dados desses sistemas para a Platform.

As fontes de armazenamento na nuvem podem trazer seus próprios dados para a Platform sem a necessidade de baixar, formatar ou carregar. Os dados assimilados podem ser formatados como XDM JSON, XDM Parquet ou delimitados. Cada etapa do processo é integrada ao fluxo de trabalho Origens. A Platform permite trazer dados de Event Hubs em tempo real.

Dimensionamento com Event Hubs

O fator de escala da sua instância Event Hubs deve ser aumentado se você precisar assimilar dados de alto volume, aumentar o paralelismo ou aumentar a velocidade da plataforma de assimilação.

Dados de maior volume de entrada

Atualmente, o volume máximo de dados que você pode trazer da sua conta do Event Hubs para a Platform é de 2000 registros por segundo. Para aumentar e assimilar dados de volume maior, entre em contato com o representante da Adobe.

Aumentar paralelismo no Event Hubs e na Platform

Paralelismo refere-se à execução simultânea das mesmas tarefas em várias unidades de processamento para aumentar a velocidade e o desempenho. Você pode aumentar o paralelismo no lado do Event Hubs aumentando a partição ou adquirindo mais unidades de processamento para sua conta Event Hubs. Consulte este Event Hubs documento no dimensionamento para obter mais informações.

Para aumentar a taxa de velocidade de assimilação no lado da Platform, a Platform deve aumentar o número de tarefas no conector de origem para ler das partições do Event Hubs. Depois de aumentar o paralelismo no lado do Event Hubs, entre em contato com o representante da Adobe para dimensionar as tarefas da Platform com base na nova partição. Atualmente, esse processo não é automatizado.

Usar uma rede virtual para se conectar ao Event Hubs à Platform

Você pode configurar uma rede virtual para conectar o Event Hubs à Platform enquanto as medidas do firewall estiverem habilitadas. Para configurar uma rede virtual, vá para este Event Hubs documento do conjunto de regras de rede e siga as etapas listadas abaixo:

Selecione Experimentar no painel REST API;
Autentique sua conta do Azure usando suas credenciais no mesmo navegador;
Selecione o namespace Event Hubs, o grupo de recursos e a assinatura que você deseja trazer para a Platform e selecione EXECUTAR;
No corpo JSON exibido, adicione a seguinte sub-rede da Platform em virtualNetworkRules dentro de properties:

IMPORTANT

Você deve fazer um backup do corpo JSON recebido antes de atualizar virtualNetworkRules com a sub-rede da Plataforma, pois ela contém suas regras de filtragem de IP existentes. Caso contrário, as regras serão excluídas após a chamada.

{
    "subnet": {
        "id": "/subscriptions/93f21779-b1fd-49ee-8547-2cdbc979a44f/resourceGroups/ethos_12_prod_va7_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_va7_network_10_19_144_0_22/subnets/ethos_12_prod_va7_network_10_19_144_0_22"
    },
    "ignoreMissingVnetServiceEndpoint": true
}

Consulte a lista abaixo para ver as diferentes regiões das sub-redes da Platform:

VA7: América do Norte

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
          "id": "/subscriptions/93f21779-b1fd-49ee-8547-2cdbc979a44f/resourceGroups/ethos_12_prod_va7_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_va7_network_10_19_144_0_22/subnets/ethos_12_prod_va7_network_10_19_144_0_22"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

NLD2: Europa

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
            "id": "/subscriptions/40bde086-46ad-44c3-afba-c306f54b64ec/resourceGroups/ethos_12_prod_nld2_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_nld2-vnet/subnets/ethos_12_prod_nld2_network_10_20_40_0_23"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

AUS5: Austrália

{
  "properties": {
    "defaultAction": "Deny",
    "virtualNetworkRules": [
      {
        "subnet": {
          "id": "/subscriptions/1618ef18-9edc-48bf-88dd-61cc979629b5/resourceGroups/ethos_12_prod_aus5_network/providers/Microsoft.Network/virtualNetworks/ethos_12_prod_aus5-vnet/subnets/ethos_12_prod_aus5_network_10_21_116_0_22"
        },
        "ignoreMissingVnetServiceEndpoint": true
      },
    ],
    "ipRules": []
  }
}

Consulte o seguinte Event Hubs documento para obter mais informações sobre conjuntos de regras de rede.

Conectar Event Hubs à plataforma

A documentação abaixo fornece informações sobre como conectar o Event Hubs à Plataforma usando APIs ou a interface do usuário:

Uso de APIs

Uso da interface

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089