Konfigurera åtkomst till Hadoopet configure-access-to-hadoop

Använd alternativet FDA (Federated Data Access) i kampanjen om du vill bearbeta information som lagras i en extern databas. Följ stegen nedan för att konfigurera åtkomst till Hadoopet.

  1. Konfigurera Hadoopen databas
  2. Konfigurera Hadoopet externt konto i Campaign

Konfigurera Hadoop 3.0 configuring-hadoop

För att ansluta till en extern Hadoop-databas i FDA krävs följande konfigurationer på Adobe Campaign-servern. Observera att den här konfigurationen är tillgänglig för både Windows och Linux.

  1. Hämta ODBC-drivrutinerna för Hadoop beroende på vilken OS-version du har. Drivrutiner finns på den här sidan.

  2. Du måste sedan installera ODBC-drivrutinerna och skapa ett DSN för din Hive-anslutning. Instruktioner finns på den här sidan

  3. När du har hämtat och installerat ODBC-drivrutinerna måste du starta om Campaign Classicen. Om du vill göra det kör du följande kommando:

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. I Campaign Classicen kan du sedan konfigurera ditt Hadoop-externa konto. Mer information om hur du konfigurerar ditt externa konto finns i det här avsnittet.

Hadoopets externa konto hadoop-external

Med det externa kontot Hadoop kan du ansluta Campaign-instansen till Hadoopets externa databas.

  1. Konfigurera ditt externa Hadoop-konto i Campaign Classicen. Klicka på Administration / Platform / External accounts i Explorer.

  2. Klicka på New.

  3. Välj External database som det externa kontots Type.

  4. Konfigurera det externa Hadoop-kontot måste du ange:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Namn på DNS

    • Account: Användarens namn

    • Password: Lösenord för användarkonto

    • Database: Namnet på databasen om det inte anges i DSN. Den kan lämnas tom om den anges i DSN

    • Time zone: Serverns tidszon

Kopplingen stöder följande ODBC-alternativ:

Namn
Värde
ODBCMgr
iODBC
lagerställe
1/2/4

Kopplingen har även stöd för följande Hive-alternativ:

Namn
Värde
Beskrivning
bulkKey
Åtkomstnyckel för Azure-blob eller DataLake
För wasb:// eller wasbs:// massinläsare (dvs. om massinläsningsverktyget börjar med wasb:// eller wasbs://).
Det är åtkomstnyckeln för blob- eller DataLake-bucket för massinläsning.
hdfsPort
portnummer
som standard är 8020
För HDFS-massinläsning (dvs. om massinläsningsverktyget börjar med webhdfs:// eller webhdfss://).
bucketNumber
20
Antal grupper när en klustrad tabell skapas.
fileFormat
PARQUET
Standardfilformat för arbetsregister.

Konfigurerar Hadoop 2.1 configure-access-hadoop-2

Om du behöver ansluta till Hadoop 2.1 följer du stegen som beskrivs nedan för Windows eller Linux.

Hadoop 2.1 för Windows for-windows

  1. Installera ODBC- och Azure HD Insight-drivrutiner för Windows.

  2. Skapa DSN (Data Source Name) genom att köra administrationsverktyget ODBC DataSource. Du kan ändra ett system-DSN-exempel för Hive.

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Skapa Hadoopets externa konto, vilket beskrivs i det här avsnittet.

Hadoop 2.1 för Linux for-linux

  1. Installera unixodbc för Linux.

    code language-none
    apt-get install unixodbc
    
  2. Hämta och installera ODBC-drivrutiner för Apache Hive från HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Kontrollera ODBC-filens plats.

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Skapa DSN (Data Source Name) och redigera filen odbc.ini. Skapa sedan ett DSN för din Hive-anslutning.

    Här är ett exempel för HDInsight som skapar en anslutning som kallas"viral":

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note note
    NOTE
    Parametern UseNativeQuery här är mycket viktig. Campaign är Hive-medveten och fungerar inte korrekt om inte UseNativeQuery har angetts. Vanligtvis skriver drivrutinen eller Hive SQL Connector om frågor och ändrar kolumnordningen.

    Inställningen av autentisering beror på konfigurationen av Hive/Hadoop. För HD Insight använder du till exempel AuthMech=6 för användar-/lösenordsautentisering enligt beskrivningen här.

  5. Exportera variablerna.

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Konfigurera drivrutiner för Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Du måste använda UTF-16 för att kunna ansluta till Campaign och unix-odbc (libodbcinst).

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. Nu kan du testa anslutningen med isql.

    code language-none
    isql vorac
    isql vorac -v
    
  8. Skapa Hadoopets externa konto, vilket beskrivs i det här avsnittet.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1