DocumentatieCampaignDocumentatie voor Campaign Classic v7

Toegang tot Hadoop configureren configure-access-to-hadoop

Last update: Fri Apr 12 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Campagne gebruiken Federale gegevenstoegang (FDA) optie voor het verwerken van informatie die is opgeslagen in externe databases. Voer de onderstaande stappen uit om toegang tot Hadoop te configureren.

  1. Configureren Hadoop-database
  2. De Hadoop configureren externe rekening in Campagne

Hadoop 3.0 configureren configuring-hadoop

Voor het verbinden met een externe database van een Hadoop in FDA zijn de volgende configuraties op de Adobe Campaign-server vereist. Deze configuratie is zowel voor Windows als voor Linux beschikbaar.

  1. Download de ODBC-stuurprogramma's voor Hadoop, afhankelijk van uw OS-versie. Drivers kunt u vinden op deze pagina.

  2. Vervolgens moet u de ODBC-stuurprogramma's installeren en een DSN maken voor uw Hive-verbinding. Instructies vindt u in deze pagina

  3. Nadat u de ODBC-stuurprogramma's hebt gedownload en geïnstalleerd, moet u het Campaign Classic opnieuw starten. Voer hiertoe de volgende opdracht uit:

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. In Campaign Classic, kunt u uw Hadoop externe rekening. Voor meer informatie over het configureren van uw externe account raadpleegt u deze sectie.

Externe rekening van hadoop hadoop-external

De Hadoop Met een externe account kunt u uw Campagne-instantie verbinden met de externe database van uw Hadoop.

  1. In Campaign Classic, vorm uw Hadoop externe rekening. Van de Explorer, klikt u op Administration / Platform / External accounts.

  2. Klik op New.

  3. Selecteren External database als externe account Type.

  4. Vorm Hadoop externe account, moet u opgeven:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Naam van de DNS

    • Account: Naam van de gebruiker

    • Password: Wachtwoord voor gebruikersaccount

    • Database: Naam van de database indien niet opgegeven in DSN. Deze kan leeg worden gelaten, indien opgegeven in de DSN

    • Time zone: Tijdzone van server

De schakelaar steunt de volgende opties ODBC:

Naam
Waarde
ODBCMgr
iODBC
entrepot
02-01-4

De aansluiting ondersteunt ook de volgende opties voor Hive:

Naam
Waarde
Beschrijving
bulkKey
Azure-blob of DataLake-toegangssleutel
Voor wasb:// of wasbs:// (als het gereedschap voor bulkladen begint met wasb:// of wasbs://).
Het is de toegangstoets voor blok of DataLake emmertje voor bulklading.
hdfsPort
poortnummer
standaard ingesteld op 8020
Voor HDFS bulkload (d.w.z. als het gereedschap voor bulkladen begint met webhdfs:// of webhdfss://).
bucketsNumber
20
Aantal emmers wanneer het creëren van een gegroepeerde lijst.
fileFormat
PARQUET
Standaardbestandsindeling voor werktabellen.

Hadoop 2.1 configureren configure-access-hadoop-2

Als u verbinding moet maken met Hadoop 2.1, voert u de hieronder beschreven stappen uit voor Windows of Linux.

Hadoop 2.1 voor Windows for-windows

  1. ODBC installeren en Azure HD Insight drivers voor Windows.

  2. Creeer DSN (de Naam van de Gegevensbron) door het hulpmiddel van de Beheerder van de Gegevensbron in werking te stellen ODBC. Een steekproef van DSN van het Systeem voor Hive wordt verstrekt voor u om te wijzigen.

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. De externe account van de Hadoop maken, zoals wordt beschreven in deze sectie.

Hadoop 2.1 voor Linux for-linux

  1. Installeer unixodbc voor Linux.

    code language-none 
    apt-get install unixodbc

  2. Download en installeer ODBC-stuurprogramma's voor Apache Hive van HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Controleer de locatie van ODBC-bestanden.

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Maak de DSN (naam gegevensbron) en bewerk het bestand odbc.ini. Maak vervolgens een DSN voor uw Hive-verbinding.

    Hier volgt een voorbeeld voor HDInsight voor het instellen van een verbinding met de naam "viral":

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    De UseNativeQuery de parameter is hier van groot belang . De campagne is Hive-bewust en zal niet correct werken tenzij UseNativeQuery wordt geplaatst. Doorgaans herschrijft het stuurprogramma of de SQL-connector van Hive query's en wordt de kolomvolgorde gewijzigd.

    De authentificatieopstelling hangt van de configuratie van de Bieg/Hadoop af. Gebruik voor HD Insight bijvoorbeeld AuthMech=6 voor gebruikers-/wachtwoordverificatie, zoals beschreven hier.

  5. Exporteer de variabelen.

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Stel Hortonworks-stuurprogramma's in via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    U moet UTF-16 gebruiken om verbinding te kunnen maken met Campagne en unix-odbc (libodbcinst).

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. U kunt de verbinding nu testen met isql.

    code language-none 
    isql vorac
isql vorac -v

  8. De externe account van de Hadoop maken, zoals wordt beschreven in deze sectie.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1