モデル

クエリサービスで、モデルの構築とデプロイのコアプロセスがサポートされるようになりました。 SQL を使用すると、データを使用してモデルをトレーニングし、その精度を評価した後、トレーニング済みのモデルを使用して新しいデータを予測できます。 その後、モデルを使用して過去のデータから一般化し、実際のシナリオについて十分な情報に基づいた決定を下すことができます。

実用的なインサイトを生成するためのモデルライフサイクルの 3 つのステップは、次のとおりです。

既存の SQL 文法に追加されたモデル SQL 拡張機能を使用して、ビジネスニーズに応じてモデルのライフサイクルを管理します。 このドキュメントでは、モデルの作成または置換、トレーニング、評価、必要に応じた再トレーニング、インサイトの予測に必要な SQL について説明します。

モデルの作成とトレーニング create-and-train

SQL コマンドを使用して機械学習モデルを定義、設定、トレーニングする方法について説明します。 以下の SQL は、モデルの作成、機能エンジニアリング変換の適用、トレーニングプロセスの開始方法を示しており、モデルが後で使用できるように正しく設定されていることを確認します。 次の SQL コマンドでは、モデルの作成と管理に関する様々なオプションについて詳しく説明します。

CREATE MODEL | CREATE MODEL IF NOT EXISTS | CREATE OR REPLACE MODEL}
model_alias
[TRANSFORM (select_list)]
[OPTIONS(model_option_list)]
[AS {select_query}]

model_option_list:
    MODEL_TYPE = { 'LINEAR_REG' |
                   'LOGISTIC_REG' |
                   'KMEANS' }
  [, MAX_ITER = int64_value ]
 [, LABEL = string_array ]
[, REG_PARAM = float64_value ]

例

CREATE MODEL churn_model
TRANSFORM (vector_assembler(array(current_customers, previous_customers)) features)
OPTIONS(MODEL_TYPE='linear_reg', LABEL='churn_rate')
AS
SELECT *
FROM churn_with_rate
ORDER BY period;

モデルの作成とトレーニングプロセスの主要なコンポーネントと設定を理解できるように、次のメモでは上記の SQL 例の各要素の目的と機能を説明します。

SQL を使用して、トレーニングに使用するデータセットを参照します。

モデルの更新 update

新しいフィーチャーエンジニアリング変換を適用し、アルゴリズムタイプやラベル列などのオプションを設定することで、既存の機械学習モデルを更新する方法を説明します。 更新のたびに、モデルの最新バージョンが作成され、最新バージョンから増分されます。 これにより、変更が追跡され、今後の評価や予測の手順でモデルを再利用できます。

次の例は、新しい変換およびオプションを使用してモデルを更新する方法を示しています。

UPDATE MODEL <model_alias> TRANSFORM (vector_assembler(array(current_customers, previous_customers)) features)  OPTIONS(MODEL_TYPE='logistic_reg', LABEL='churn_rate')  AS SELECT * FROM churn_with_rate ORDER BY period;

例

バージョン管理プロセスを理解するために、次のコマンドを使用できます。

UPDATE MODEL model_vdqbrja OPTIONS(MODEL_TYPE='logistic_reg', LABEL='Survived') AS SELECT * FROM titanic_e2e_dnd;

このコマンドを実行すると、次の表に示すように、モデルのバージョンが新しくなります。

以下のメモでは、モデル更新ワークフローの主要なコンポーネントとオプションについて説明します。

変換された機能のプレビューと永続化 preview-transform-output

CREATE TABLE および CREATE TEMP TABLE ステートメント内の TRANSFORM 句を使用して、モデルのトレーニング前にフィーチャ変換の出力をプレビューおよび保持します。 この機能強化により、変換関数（エンコーディング、トークン化、ベクターアセンブラーなど）がデータセットにどのように適用されるかがわかります。

変換されたデータをスタンドアロンテーブルにマテリアライズすることで、モデルを作成する前に、中間機能を調べ、処理ロジックを検証し、機能の品質を確保できます。 これにより、機械学習パイプライン全体の透明性が向上し、モデル開発中のより十分な情報に基づいた意思決定がサポートされます。

構文 syntax

次に示すように、CREATE TABLE または CREATE TEMP TABLE ステートメント内で TRANSFORM 句を使用します。

CREATE TABLE [IF NOT EXISTS] table_name
[WITH (tableProperties)]
TRANSFORM (transformFunctionExpression1, transformFunctionExpression2, ...)
AS SELECT * FROM source_table;

または：

CREATE TEMP TABLE [IF NOT EXISTS] table_name
[WITH (tableProperties)]
TRANSFORM (transformFunctionExpression1, transformFunctionExpression2, ...)
AS SELECT * FROM source_table;

例

基本的な変換を使用してテーブルを作成します。

CREATE TABLE ctas_transform_table
TRANSFORM(
  String_Indexer(additional_comments) si_add_comments,
  one_hot_encoder(si_add_comments) as ohe_add_comments,
  tokenizer(comments) as token_comments
)
AS SELECT * FROM movie_review;

追加の機能エンジニアリング手順を使用して、一時テーブルを作成します。

CREATE TEMP TABLE ctas_transform_table
TRANSFORM(
  String_Indexer(additional_comments) si_add_comments,
  one_hot_encoder(si_add_comments) as ohe_add_comments,
  tokenizer(comments) as token_comments,
  stop_words_remover(token_comments, array('and','very','much')) stp_token,
  ngram(stp_token, 3) ngram_token,
  tf_idf(ngram_token, 20) ngram_idf,
  count_vectorizer(stp_token, 13) cnt_vec_comments,
  tf_idf(token_comments, 10, 1) as cmts_idf
)
AS SELECT * FROM movie_review;

次に、出力をクエリします。

SELECT * FROM ctas_transform_table LIMIT 1;

重要な考慮事項 considerations

この機能は透明性を高め、機能の検証をサポートしますが、モデル作成以外に TRANSFORM 句を使用する場合には、考慮すべき重要な制限があります。

モデルの評価 evaluate-model

信頼性の高い結果を得るには、モデルをデプロイする前に、モデルの精度と有効性を評価し、model_evaluate キーワードで予測します。 以下の SQL 文は、テストデータセット、特定の列、モデルのバージョンを指定し、パフォーマンスを評価してモデルをテストします。

SELECT *
FROM   model_evaluate(model-alias, version-number,SELECT col1,
       col2,
       label-COLUMN
FROM   test_dataset)

model_evaluate 関数は、最初の引数として model-alias を使用し、2 番目の引数として柔軟な SELECT ステートメントを使用します。 クエリサービスは、最初に SELECT ステートメントを実行し、結果を model_evaluate Adobe定義関数（ADF）にマップします。 システムは、SELECT ステートメントの結果の列名とデータタイプが、トレーニングステップで使用されたものと一致することを想定しています。 これらの列名とデータタイプは、評価用のテストデータとラベルデータとして扱われます。

予測 predict

model_predict キーワードを使用して、指定したモデルとバージョンをデータセットに適用し、予測を生成します。 すべての出力列を選択したり、特定の列を選択したり、エイリアスを割り当てて出力を明確にしたりできます。

デフォルトでは、機能フラグが有効になっていない場合、ベース列と最終予測のみが返されます。

SELECT * FROM model_predict(model-alias, version-number, SELECT col1, col2 FROM dataset);

特定の出力フィールドを選択 select-specific-output-fields

機能フラグが有効になっている場合は、model_predict 出力からフィールドのサブセットを取得できます。 これを使用して、予測確率、生の予測スコア、ベース列などの中間結果を入力クエリから取得します。

ケース 1：使用可能なすべての出力フィールドを返す

SELECT * FROM model_predict(modelName, 1, SELECT a, b, c FROM dataset);

ケース 2：選択した列を返す

SELECT a, b, c, probability, predictionCol FROM model_predict(modelName, 1, SELECT a, b, c FROM dataset);

ケース 3：選択した列をエイリアスで返す

SELECT a, b, c, probability AS p1, predictionCol AS pdc FROM model_predict(modelName, 1, SELECT a, b, c FROM dataset);

いずれの場合も、返される結果フィールドは外側の SELECT で制御されます。 これには、入力クエリのベースフィールドと、予測出力（probability、rawPrediction、predictionCol など）が含まれます。

CREATE TABLE または INSERT INTO を使用して予測を永続化する

必要に応じて、予測出力を含め、「CREATE TABLE AS SELECT」または「INSERT INTO SELECT」を使用して、予測を永続化できます。

例：すべての予測出力フィールドを含んだテーブルを作成

CREATE TABLE scored_data AS SELECT * FROM model_predict(modelName, 1, SELECT a, b, c FROM dataset);

例：選択した出力フィールドをエイリアスで挿入する

INSERT INTO scored_data SELECT a, b, c, probability AS p1, predictionCol AS pdc FROM model_predict(modelName, 1, SELECT a, b, c FROM dataset);

これにより、関連する予測出力フィールドと、ダウンストリーム分析やレポート用のベース列のみを柔軟に選択して保持できます。

モデルの評価と管理

SHOW MODELS コマンドを使用して、作成した使用可能なすべてのモデルを一覧表示します。 トレーニング済みで、評価または予測に使用できるモデルを表示する場合に使用します。 クエリの際に、モデルの作成時に更新されるモデルリポジトリから情報が取得されます。 返される詳細は、モデル ID、モデル名、バージョン、ソースデータセット、アルゴリズムの詳細、オプション/パラメーター、作成時間/更新時間、モデルを作成したユーザーです。

SHOW MODELS;

結果は、次に示すようなテーブルに表示されます。

モデルのクリーンアップと保守

DROP MODELS コマンドを使用して、作成したモデルを model レジストリから削除します。 古くなったモデル、未使用のモデル、不要なモデルを削除する場合に使用できます。 これにより、リソースが解放され、関連するモデルのみが維持されるようになります。 また、特異性を向上させるために、オプションでモデル名を含めることもできます。 指定したモデルバージョンのモデルのみが削除されます。

DROP MODEL IF EXISTS modelName
DROP MODEL IF EXISTS modelName modelVersion ;

次の手順

このドキュメントでは、Data Distillerを使用して信頼できるモデルを作成、トレーニング、管理するために必要なベース SQL 構文を確認しました。 次に、 高度な統計モデルの実装ドキュメントを参照して、使用可能な様々な信頼できるモデルと、SQL ワークフロー内で効果的に実装する方法について学びます。 機能エンジニアリングドキュメントを確認し、モデルトレーニングに最適なデータが準備されていることを確認します。