Query ServiceとData Distillerに関するよくある質問

このドキュメントでは、Query ServiceとData Distillerに関するよくある質問に回答します。 また、「クエリ」製品を使用してデータ検証を行ったり、変換されたデータをデータレイクに書き込んだりする際によく見られるエラーコードも含まれます。 その他のAdobe Experience Platform サービスに関する質問とトラブルシューティングについては、Experience Platform トラブルシューティングガイド ​を参照してください。

ここでは、Adobe Experience PlatformにおけるQuery ServiceとData Distillerの連携を明らかにするために、次の基本的な質問を解説します。

Query ServiceとData Distillerの関係は何ですか？

Query ServiceとData Distillerは、特定のデータクエリ機能を提供する、独自の補完的なコンポーネントです。 Query Serviceは、データレイクを変更することなく、取り込まれたデータを検索、検証、テストするための高度なクエリ向けに設計されています。 一方、Data Distillerは、データを変換して補完するバッチクエリに重点を置き、結果をデータレイクに保存して後で使用できるようにします。 Data Distillerのバッチクエリは、スケジュール、監視、管理が可能で、Query Serviceだけでは実現できない、より詳細なデータ処理と操作に対応します。

Query Serviceを組み合わせることで迅速なインサイトを獲得し、Data Distillerを利用して、詳細かつ永続的なデータ変換を実現できます。

Query ServiceとData Distillerの違いは何ですか？

クエリサービス: データの探索、検証、実験に焦点を当てたSQL クエリに使用されます。 出力はデータレイクに保存されず、実行時間は10分に制限されています。 アドホッククエリは、軽量でインタラクティブなデータチェックと分析に適しています。

データ Distiller: データの処理、クリーニング、およびエンリッチを行うバッチクエリを有効にし、結果をデータレイクに保存します。 これらのクエリは、より長い実行（最大24時間）と、スケジューリング、モニタリング、高速化されたレポートなどの追加機能をサポートします。 Data Distillerは、詳細なデータ処理とスケジュール型のデータ処理タスクに対応します。

詳しくは、​ クエリサービスのパッケージングドキュメント ​を参照してください。

質問カテゴリ categories

よくある質問に対する次の回答のリストは、次のカテゴリに分類されています。

クエリサービスに関する一般的な質問 general

この節には、パフォーマンス、制限、プロセスに関する情報が含まれます。

クエリサービスエディターでオートコンプリート機能をオフにできますか？

クエリを入力すると、クエリエディターの速度が遅くなることがあるのはなぜですか？

Query Service API に Postman を使用できますか？

UI を使用してクエリから返される行の最大数に制限はありますか？

クエリを使用して行を更新できますか？

クエリの結果の出力にデータサイズの制限はありますか？

クエリが 10 分でタイムアウトしないようにするにはどうすればよいですか？

複数のクエリを同時に実行した場合、クエリサービスのパフォーマンスに問題や影響はありますか？

予約済みのキーワードを列名として使用できますか？

階層データセットから列名を見つけるにはどうすればよいですか？

配列を含むデータセットに対するクエリを高速化するにはどうすればよいですか？

CTAS クエリが、少数の行に対して何時間も処理されたままになっているのはなぜですか？

アドビのカスタマーサポートに問い合わせるにはどうすればよいですか？ customer-support

前のジョブが正常に完了しない場合に後続のジョブを実行せずに、一連のジョブを順次実装するにはどうすればよいですか？

クエリサービスでカスタム属性を実装するにはどうすればよいですか？

簡単に再利用できるようにクエリをテンプレート化できますか？

クエリのエラーログを取得するにはどうすればよいですか？ error-logs

{
    "isInsertInto": false,
    "request": {
                "dbName": "prod:all",
                "sql": "SELECT *\nFROM\n  accounts\nLIMIT 10\n"
            },
    "clientId": "8c2455819a624534bb665c43c3759877",
    "state": "SUCCESS",
    "rowCount": 0,
    "errors": [{
      'code': '58000',
      'message': 'Batch query execution gets : [failed reason ErrorCode: 58000 Batch query execution gets : [Analysis error encountered. Reason: [sessionId: f055dc73-1fbd-4c9c-8645-efa609da0a7b Function [varchar] not defined.]]]',
      'errorType': 'USER_ERROR'
      }],
    "isCTAS": false,
    "version": 1,
    "id": "343388b0-e0dd-4227-a75b-7fc945ef408a",
}

「スキーマの検証エラー」とはどういう意味ですか？

CREATE TABLE table_name WITH (SCHEMA='schema_name')

AS SELECT '1' as _id,

 STRUCT

  ('2021-02-17T15:39:29.0Z' AS taskActualCompletionDate,

    '2020-09-09T21:21:16.0Z' AS taskActualStartDate,

    'Consulting' AS taskdescription,

    '5f6527c10011e09b89666c52d9a8c564' AS taskguide,

    'Stakeholder Consulting Engagement' AS taskname,

    '2020-09-09T15:00:00.0Z' AS taskPlannedStartDate,

    '2021-02-15T11:00:00.0Z' AS taskPlannedCompletionDate

  ) AS _workfront ;

システムに毎日入力される新しいデータを迅速に処理するにはどうすればよいですか？

プロファイル UI に表示される数値とプロファイル書き出しデータセットから計算される数値に違いがあるのはなぜですか？

クエリで空のサブセットが返されたのはなぜですか？ どうすればよいですか？

SELECT count(1) FROM myTableName

データをサンプリングできますか？

クエリサービスでサポートされているヘルパー関数は何ですか？

ネイティブの Spark SQL 関数はすべてサポートされていますか？ それとも、アドビが提供するラッパー Spark SQL 関数のみに制限されていますか？

ユーザーは、他のクエリで使用できる独自のユーザー定義関数（UDF）を定義できますか？

スケジュール済みクエリが失敗した場合はどうすればよいですか？

「セッション制限に達しました」エラーはどういう意味ですか？

クエリログでは、削除されたデータセットに関連するクエリをどのように処理しますか？

クエリのメタデータのみを取得するにはどうすればよいですか？

SELECT * FROM <table> WHERE 1=0

CTAS（Create Table As Select）クエリをマテリアライズせずに、すばやく繰り返し実行する方法を教えてください。

CREATE temp TABLE temp_dataset AS
SELECT *
FROM actual_dataset
WHERE 1 = 0;

INSERT INTO temp_dataset
SELECT a._company AS _company,
a._id AS _id,
a.timestamp AS timestamp
FROM actual_dataset a
WHERE timestamp >= TO_TIMESTAMP('2021-01-21 12:00:00')
AND timestamp < TO_TIMESTAMP('2021-01-21 13:00:00')
LIMIT 100;

タイムゾーンを UTC タイムスタンプに変更したり、UTC タイムスタンプから変更したりする方法を教えてください。

UTC タイムスタンプに変換

この to_utc_timestamp() メソッドは指定されたパラメーターを解釈し、UTC 形式の​ ローカルタイムゾーンのタイムスタンプに ​変換します。 例えば、韓国のソウルのタイムゾーンは、UTC／GMT +9 時間です。 日付のみのタイムスタンプを指定すると、メソッドではデフォルト値の午前 0 時が使用されます。 タイムスタンプとタイムゾーンは、UTC 形式（その地域の時刻からローカル地域の UTC タイムスタンプ）に変換されます。

SELECT to_utc_timestamp('2021-08-31', 'Asia/Seoul');

クエリは、ユーザーのローカル時間のタイムスタンプを返します。 この場合、ソウルは 9 時間先なので、前日の午後 3 時になります。

2021-08-30 15:00:00

別の例として、指定されたタイムスタンプが Asia/Seoul タイムゾーンの 2021-07-14 12:40:00.0 である場合、返される UTC タイムスタンプは 2021-07-14 03:40:00.0 になります

クエリサービス UI で提供されるコンソール出力は、人間が読みやすい形式になっています。

8/30/2021, 3:00 PM

UTC タイムスタンプからの変換

この from_utc_timestamp() メソッドは、指定されたパラメーターを​ ローカルタイムゾーンのタイムスタンプから ​解釈し、目的の地域の同等のタイムスタンプを UTC 形式で提供します。 次の例では、ユーザーのローカルタイムゾーンの時間は2:40PMです。 変数として渡されるソウルのタイムゾーンは、ローカルタイムゾーンの 9 時間前です。

SELECT from_utc_timestamp('2021-08-31 14:40:00.0', 'Asia/Seoul');

クエリは、パラメーターとして渡されたタイムゾーンのタイムスタンプを UTC 形式で返します。 結果は、クエリを実行したタイムゾーンより 9 時間早くなります。

8/31/2021, 11:40 PM

時系列データをフィルタリングするにはどうすればよいですか？

SELECT a._company  AS _company,
       a._id       AS _id,
       a.timestamp AS timestamp
FROM   dataset a
WHERE  timestamp >= To_timestamp('2021-01-21 12:00:00')
       AND timestamp < To_timestamp('2021-01-21 13:00:00')

CAST 演算子を正しく使用して SQL クエリのタイムスタンプを変換する方法を教えてください。

SELECT * FROM ABC
WHERE timestamp = CAST('07-29-2021' AS timestamp)

SELECT * FROM ABC
WHERE timestamp = CAST('07-29-2021 00:00:00' AS timestamp)

ワイルドカード（* など）を使用してデータセットからすべての行を取得する必要がありますか？

SQL クエリで NOT IN を使用する必要がありますか？

CREATE TABLE T1 (ID INT)
CREATE TABLE T2 (ID INT)
INSERT INTO T1 VALUES (1)
INSERT INTO T1 VALUES (2)
INSERT INTO T1 VALUES (3)
INSERT INTO T2 VALUES (1)
INSERT INTO T2 VALUES (2)

SELECT ID FROM T1
WHERE NOT EXISTS
(SELECT ID FROM T2 WHERE T1.ID = T2.ID)

SELECT T1.ID FROM T1
LEFT OUTER JOIN T2 ON T1.ID = T2.ID
WHERE T2.ID IS NULL

UI に表示されているような、アンダースコアが名前に 2 つ入ったデータセットを CTAS クエリを使用して作成できますか？例：test_table_001。

クエリは同時にいくつまで実行できますか？

クエリのアクティビティとステータスを確認できるアクティビティダッシュボードはありますか？

更新をロールバックする方法はありますか？例えば、Experience Platformにデータを書き戻す際にエラーが発生した場合、または一部の計算で再設定が必要な場合、そのシナリオはどのように処理すればよいですか？

Adobe Experience Platform でクエリを最適化するにはどうすればよいですか？

ログイン権限をクエリサービスの特定の機能に制限できますか。それとも、このソリューションの権限は、「すべて許可かすべて禁止」の二択ですか。

クエリサービスで使用するデータを制限できますか。それとも、Adobe Experience Platform データレイク全体に単純にアクセスするだけですか。

クエリサービスがアクセスできるデータを制限するための他のオプションはありますか？

クエリサービスからデータが返された後、保護されたデータを返していないことを確認するために、Experience Platformで実行できるチェックはありますか？

サードパーティのクライアントへの接続に SSL モードを指定できますか？例えば、Power BI で「verify-full」を指定して使用できますか？

特定の接続での特定のデータセットや列へのアクセスを制御することはできますか？ この設定方法を教えてください。

クエリサービスは「INSERT OVERWRITE INTO」コマンドをサポートしていますか？

Data Distiller Compute Hoursのライセンス使用状況ダッシュボードの使用状況データはどのくらいの頻度で更新されますか？

Data DistillerにアクセスせずにCREATE VIEW コマンドを使用できますか？

DbVisualizerで匿名ブロックを使用できますか？

TLS、ポートアクセス、および暗号化 tls-port-questions

ポート 80で行われた接続は、引き続きHTTPSとTLS暗号化を使用しますか？

Adobeのクエリサービスは、暗号化されていないHTTP （ポート 80）経由でデータを公開しますか？

Query ServiceとData Distillerにポート 80を使用することは、従来の構成ですか？

Power BI クライアントからQuery Serviceへのすべての接続にTLS 1.2を使用しますか？

Data Distillerで使用する場合、ポート 80は暗号化されていませんか？

Query ServiceまたはData Distillerでポート 80を使用する場合、リスクまたは制限はありますか？

Data Distiller data-distiller

Data Distillerのライセンス使用状況はどのように追跡され、この情報はどこで確認できますか？

計算時間とは

計算時間はどのように測定されますか？

同じクエリを連続して実行する場合でも、計算時間の消費量にバリエーションが発生することがあるのはなぜですか？

同じデータを使用して同じクエリを長時間にわたって実行すると、計算時間が減少することに気づくことは通常ですか？ なぜこれが起こるのでしょうか？

Data Distillerのパフォーマンスは、開発用サンドボックスと実稼動用サンドボックスで異なりますか？

クエリ UI

クエリサービスに接続しようとすると、「クエリを作成」が「接続の初期化中…」のままになる。 どうすれば問題を解決できますか？

データセットのサンプル

システムデータセットでサンプルを作成できますか？

データの書き出し exporting-data

この節では、データの書き出しと制限について説明します。

クエリの処理後にクエリサービスからデータを抽出し、結果を CSV ファイルに保存する方法はありますか？ export-csv

SELECT column1, column2
FROM <table_name>
\g <table_name>.out

CTAS クエリ（テラバイトなどの大量のデータが含まれると仮定して）で取り込まれた最終的なデータセットの内容を抽出することはできますか？

Analytics データコネクタがデータを返さない理由

SELECT * FROM prod_table LIMIT 1;

SELECT * FROM prod_table
WHERE
timestamp >= to_timestamp('2022-07-22')
and timestamp < to_timestamp('2022-07-23');

SQL構文

Merge INTOは、Data DistillerまたはQuery Serviceでサポートされていますか？

ITAS クエリ itas-queries

ITAS クエリとは何ですか？

クエリサービスは、操作の更新と削除をサポートしていますか？

サードパーティツール third-party-tools

この節では、サードパーティのツール（PSQL や Power BI など）の使用に関する情報を示します。

クエリサービスをサードパーティのツールに接続できますか？

クエリサービスを 1 回接続して、サードパーティのツールで継続的に使用する方法はありますか？

有効期限のない資格情報が機能しない理由

有効期限のない資格情報パスワードの特殊文字に制限はありますか？

クエリサービスエディターに接続できるサードパーティの SQL エディターの種類を教えてください。

Power BI ツールをクエリサービスに接続できますか？

クエリサービスに接続すると、ダッシュボードの読み込みに時間がかかるのはなぜですか？

pgAdmin 接続ツールを使用してクエリサービスにアクセスできますか？

PostgreSQL API エラー postgresql-api-errors

次の表に、PSQL エラーコードと考えられる原因を示します。

テーブルで history_meta() メソッドを使用すると、58000 エラーコードが表示されたのはなぜですか？

ErrorCode: 58000 Internal System Error [Invalid table your_table_name. historyMeta can be used on datalake tables only.]

Query complete in {timeframe}. 0 rows returned.

REST API エラー rest-api-errors

次の表に、HTTP エラーコードと考えられる原因を示します。