DocumentaçãoExperience PlatformGuia do espaço de trabalho do Data Science

Apêndice do guia de API Sensei Machine Learning

Last update: Tue Aug 06 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Criado para:

  • Desenvolvedor
NOTE
O Data Science Workspace não está mais disponível para compra.
Esta documentação destina-se aos clientes existentes com direitos anteriores ao Data Science Workspace.

As seções a seguir fornecem informações de referência para vários recursos da API Sensei Machine Learning.

Parâmetros de consulta para recuperação de ativos query

A API Sensei Machine Learning fornece suporte para parâmetros de consulta com a recuperação de ativos. Os parâmetros de query disponíveis e seus usos são descritos na tabela a seguir:

Parâmetro de consulta
Descrição
Valor padrão
start
Indica o índice inicial para paginação.
start=0
limit
Indica o número máximo de resultados a serem retornados.
limit=25
orderby
Indica as propriedades a serem usadas para classificar em ordem de prioridade. Inclua um traço (-) antes do nome de uma propriedade para classificar em ordem decrescente, caso contrário, os resultados serão classificados em ordem crescente.
orderby=created
property
Indica a expressão de comparação que um objeto deve satisfazer para ser retornado.
property=deleted==false
NOTE
Ao combinar vários parâmetros de consulta, eles devem ser separados por "E" comercial (&).

Configurações de CPU e GPU Python cpu-gpu-config

Os Mecanismos Python podem escolher entre uma CPU ou uma GPU para fins de treinamento ou pontuação e são definidos em uma MLInstance como uma especificação de tarefa (tasks.specification).

Este é um exemplo de configuração que especifica o uso de uma CPU para treinamento e de uma GPU para pontuação:

[
    {
        "name": "train",
        "parameters": [
            {
                "key": "training parameter",
                "value": "parameter value"
            }
        ],
        "specification": {
            "type": "ContainerTaskSpec",
            "cpus": "1"
        }
    },
    {
        "name": "score",
        "parameters": [
            {
                "key": "scoring parameter",
                "value": "parameter value"
            }
        ],
        "specification": {
            "type": "ContainerTaskSpec",
            "gpus": "1"
        }
    }
]
NOTE
Os valores de cpus e gpus não significam o número de CPUs ou GPUs, mas sim o número de máquinas físicas. Esses valores são permitidos "1" e lançarão uma exceção caso contrário.

Configurações de recursos do PySpark e do Spark resource-config

Os Spark Engines têm a capacidade de modificar recursos computacionais para fins de treinamento e pontuação. Esses recursos são descritos na tabela a seguir:

Recurso
Descrição
Tipo
driverMemory
Memória do driver em megabytes
int
driverCores
Número de núcleos usados pelo driver
int
executorMemory
Memória do executor em megabytes
int
executorCores
Número de núcleos usados pelo executor
int
numExecutors
Número de executores
int

Os recursos podem ser especificados em uma MLInstance como (A) treinamento individual ou parâmetros de pontuação, ou (B) dentro de um objeto de especificações adicionais (specification). Por exemplo, as configurações de recursos a seguir são as mesmas para treinamento e pontuação:

[
    {
        "name": "train",
        "parameters": [
            {
                "key": "driverMemory",
                "value": "2048"
            },
            {
                "key": "driverCores",
                "value": "1"
            },
            {
                "key": "executorMemory",
                "value": "2048"
            },
            {
                "key": "executorCores",
                "value": "2"
            },
            {
                "key": "numExecutors",
                "value": "3"
            }
        ]
    },
    {
        "name": "score",
        "parameters": [
            {
                "key": "scoring parameter",
                "value": "parameter value"
            }
        ],
        "specification": {
            "type": "SparkTaskSpec",
            "name": "Spark Task name",
            "className": "Class name",
            "driverMemoryInMB": 2048,
            "driverCores": 1,
            "executorMemoryInMB": 2048,
            "executorCores": 2,
            "numExecutors": 3
        }
    }
]
recommendation-more-help
cc79fe26-64da-411e-a6b9-5b650f53e4e9