DokumentationCampaignDokumentation för Campaign Classic v7

Konfigurera åtkomst till Hadoopet configure-access-to-hadoop

Last update: Fri Jul 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Använd alternativet FDA (Federated Data Access) i kampanjen om du vill bearbeta information som lagras i en extern databas. Följ stegen nedan för att konfigurera åtkomst till Hadoopet.

  1. Konfigurera Hadoopen databas
  2. Konfigurera Hadoopet externt konto i Campaign

Konfigurera Hadoop 3.0 configuring-hadoop

För att ansluta till en extern Hadoop-databas i FDA krävs följande konfigurationer på Adobe Campaign-servern. Observera att den här konfigurationen är tillgänglig för både Windows och Linux.

  1. Hämta ODBC-drivrutinerna för Hadoop beroende på vilken OS-version du har. Drivrutiner finns på den här sidan.

  2. Du måste sedan installera ODBC-drivrutinerna och skapa ett DSN för din Hive-anslutning. Instruktioner finns på den här sidan

  3. När du har hämtat och installerat ODBC-drivrutinerna måste du starta om Campaign Classicen. Om du vill göra det kör du följande kommando:

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. I Campaign Classicen kan du sedan konfigurera ditt Hadoop-externa konto. Mer information om hur du konfigurerar ditt externa konto finns i det här avsnittet.

Hadoopets externa konto hadoop-external

Med det externa kontot Hadoop kan du ansluta Campaign-instansen till Hadoopets externa databas.

  1. Konfigurera ditt externa Hadoop-konto i Campaign Classicen. Klicka på Administration / Platform / External accounts i Explorer.

  2. Klicka på New.

  3. Välj External database som det externa kontots Type.

  4. Konfigurera det externa Hadoop-kontot måste du ange:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Namn på DNS

    • Account: Användarens namn

    • Password: Lösenord för användarkonto

    • Database: Namnet på databasen om det inte anges i DSN. Den kan lämnas tom om den anges i DSN

    • Time zone: Serverns tidszon

Kopplingen stöder följande ODBC-alternativ:

Namn
Värde
ODBCMgr
iODBC
lagerställe
1/2/4

Kopplingen har även stöd för följande Hive-alternativ:

Namn
Värde
Beskrivning
bulkKey
Åtkomstnyckel för Azure-blob eller DataLake
För wasb:// eller wasbs:// massinläsare (dvs. om massinläsningsverktyget börjar med wasb:// eller wasbs://).
Det är åtkomstnyckeln för blob- eller DataLake-bucket för massinläsning.
hdfsPort
portnummer
som standard är 8020
För HDFS-massinläsning (dvs. om massinläsningsverktyget börjar med webhdfs:// eller webhdfss://).
bucketNumber
20
Antal grupper när en klustrad tabell skapas.
fileFormat
PARQUET
Standardfilformat för arbetsregister.

Konfigurerar Hadoop 2.1 configure-access-hadoop-2

Om du behöver ansluta till Hadoop 2.1 följer du stegen som beskrivs nedan för Windows eller Linux.

Hadoop 2.1 för Windows for-windows

  1. Installera ODBC- och Azure HD Insight-drivrutiner för Windows.

  2. Skapa DSN (Data Source Name) genom att köra administrationsverktyget ODBC DataSource. Du kan ändra ett system-DSN-exempel för Hive.

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. Skapa Hadoopets externa konto, vilket beskrivs i det här avsnittet.

Hadoop 2.1 för Linux for-linux

  1. Installera unixodbc för Linux.

    code language-none 
    apt-get install unixodbc

  2. Hämta och installera ODBC-drivrutiner för Apache Hive från HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Kontrollera ODBC-filens plats.

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Skapa DSN (Data Source Name) och redigera filen odbc.ini. Skapa sedan ett DSN för din Hive-anslutning.

    Här är ett exempel för HDInsight som skapar en anslutning som kallas"viral":

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    Parametern UseNativeQuery här är mycket viktig. Campaign är Hive-medveten och fungerar inte korrekt om inte UseNativeQuery har angetts. Vanligtvis skriver drivrutinen eller Hive SQL Connector om frågor och ändrar kolumnordningen.

    Inställningen av autentisering beror på konfigurationen av Hive/Hadoop. För HD Insight använder du till exempel AuthMech=6 för användar-/lösenordsautentisering enligt beskrivningen här.

  5. Exportera variablerna.

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Konfigurera drivrutiner för Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Du måste använda UTF-16 för att kunna ansluta till Campaign och unix-odbc (libodbcinst).

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. Nu kan du testa anslutningen med isql.

    code language-none 
    isql vorac
isql vorac -v

  8. Skapa Hadoopets externa konto, vilket beskrivs i det här avsnittet.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1