本教程提供有关将data_access_sdk_python
转换为Python和R中新的Python platform_sdk
的信息。本教程提供有关以下操作的信息:
对Adobe Experience Platform进行调用需要身份验证,由API密钥、IMS组织ID、用户令牌和服务令牌组成。
如果您使用Jupyter Notebook,请使用下面的代码构建client_context
:
client_context = PLATFORM_SDK_CLIENT_CONTEXT
如果您没有使用Jupyter Notebook,或者您需要更改IMS组织,请使用以下代码示例:
from platform_sdk.client_context import ClientContext
client_context = ClientContext(api_key={API_KEY},
org_id={IMS_ORG},
user_token={USER_TOKEN},
service_token={SERVICE_TOKEN})
如果您使用Jupyter Notebook,请使用下面的代码构建client_context
:
library(reticulate)
use_python("/usr/local/bin/ipython")
psdk <- import("platform_sdk")
py_run_file("../.ipython/profile_default/startup/platform_sdk_context.py")
client_context <- py$PLATFORM_SDK_CLIENT_CONTEXT
如果您没有使用Jupyter Notebook,或者您需要更改IMS组织,请使用以下代码示例:
library(reticulate)
use_python("/usr/local/bin/ipython")
psdk <- import("platform_sdk")
client_context <- psdk$client_context$ClientContext(api_key={API_KEY},
org_id={IMS_ORG},
user_token={USER_TOKEN},
service_token={SERVICE_TOKEN})
使用新的Platform SDK,最大读取大小为32 GB,最长读取时间为10分钟。
如果您的读取时间过长,您可以尝试使用以下筛选选项之一:
IMS组织在client_context
中设置。
要读取Python中的数据,请使用下面的代码示例:
from platform_sdk.dataset_reader import DatasetReader
dataset_reader = DatasetReader(client_context, "{DATASET_ID}")
df = dataset_reader.limit(100).read()
df.head()
要在R中读取数据,请使用下面的代码示例:
DatasetReader <- psdk$dataset_reader$DatasetReader
dataset_reader <- DatasetReader(client_context, "{DATASET_ID}")
df <- dataset_reader$read()
df
由于不再支持按批ID过滤,因此,要对数据进行范围读取,您需要使用offset
和limit
。
df = dataset_reader.limit(100).offset(1).read()
df.head
df <- dataset_reader$limit(100L)$offset(1L)$read()
df
日期筛选的粒度现在由时间戳定义,而不是按日设置。
df = dataset_reader.where(\
dataset_reader['timestamp'].gt('2019-04-10 15:00:00').\
And(dataset_reader['timestamp'].lt('2019-04-10 17:00:00'))\
).read()
df.head()
df2 <- dataset_reader$where(
dataset_reader['timestamp']$gt('2018-12-10 15:00:00')$
And(dataset_reader['timestamp']$lt('2019-04-10 17:00:00'))
)$read()
df2
新的Platform SDK支持以下操作:
操作 | 函数 |
---|---|
等于 (= ) |
eq() |
大于 (> ) |
gt() |
大于或等于 (>= ) |
ge() |
小于 (< ) |
lt() |
小于或等于 (<= ) |
le() |
和(& ) |
And() |
或 (| ) |
Or() |
要进一步细化数据读取,还可以按列名进行筛选。
df = dataset_reader.select(['column-a','column-b']).read()
df <- dataset_reader$select(c('column-a','column-b'))$read()
接收的结果可以按目标数据集的指定列和其顺序(asc/desc)分别排序。
在以下示例中,数据帧按“column-a”首先以升序顺序排序。 对“column-a”具有相同值的行随后按“column-b”以降序排序。
df = dataset_reader.sort([('column-a', 'asc'), ('column-b', 'desc')])
df <- dataset_reader$sort(c(('column-a', 'asc'), ('column-b', 'desc')))$read()
IMS组织在client_context
中设置。
要在Python和R中写入数据,请使用以下示例之一:
from platform_sdk.models import Dataset
from platform_sdk.dataset_writer import DatasetWriter
dataset = Dataset(client_context).get_by_id("{DATASET_ID}")
dataset_writer = DatasetWriter(client_context, dataset)
write_tracker = dataset_writer.write({PANDA_DATAFRAME}, file_format='json')
dataset <- psdk$models$Dataset(client_context)$get_by_id("{DATASET_ID}")
dataset_writer <- psdk$dataset_writer$DatasetWriter(client_context, dataset)
write_tracker <- dataset_writer$write({PANDA_DATAFRAME}, file_format='json')
配置platform_sdk
数据加载器后,将准备数据,然后将其拆分到train
和val
数据集。 要了解数据准备和功能工程,请访问教程中关于数据准备和功能工程的部分,该部分用于使用JupyterLab笔记本创建菜谱。