Method: aisafety.classifyContent

使用提供的政策集分析内容。

HTTP 请求

POST https://checks.googleapis.com/v1alpha/aisafety:classifyContent

网址采用 gRPC 转码语法。

请求正文

请求正文中包含结构如下的数据：

JSON 表示法 
{
  "input": {
    object (InputContent)
  },
  "context": {
    object (Context)
  },
  "policies": [
    {
      object (PolicyConfig)
    }
  ],
  "classifierVersion": enum (ClassifierVersion)
}
字段
input

object (InputContent)

必需。要分类的内容。
context

object (Context)

可选。将用于帮助分类的输入内容的相关背景信息。
policies[]

object (PolicyConfig)

必需。用于分类的政策列表。
classifierVersion

enum (ClassifierVersion)

可选。要使用的分类器的版本。如果未指定，则使用最新版本。

响应正文

针对 aisafety.classifyContent RPC 的响应 proto。

如果成功，响应正文将包含结构如下的数据：

JSON 表示法 
{
  "policyResults": [
    {
      object (PolicyResult)
    }
  ]
}
字段
policyResults[]

object (PolicyResult)

每项政策的分类结果。

授权范围

需要以下 OAuth 范围：

  • https://www.googleapis.com/auth/checks

如需了解详情，请参阅 OAuth 2.0 概览。

InputContent

要分类的内容。

JSON 表示法 
{

  // Union field input can be only one of the following:
  "textInput": {
    object (TextInput)
  }
  // End of list of possible types for union field input.
}
字段
联合字段 input。要分类的内容。input 只能是下列其中一项：
textInput

object (TextInput)

文本格式的内容。

TextInput

要分类的输入文本。

JSON 表示法 
{
  "languageCode": string,

  // Union field source can be only one of the following:
  "content": string
  // End of list of possible types for union field source.
}
字段
languageCode

string

可选。文本的语言，采用 ISO 639-1 格式。如果语言无效或未指定，系统将尝试检测语言。
联合字段 source。要分类的文本的来源。source 只能是下列其中一项：
content

string

要分类的实际文本。

上下文

将用于帮助分类的输入内容的相关背景信息。

JSON 表示法 
{
  "prompt": string
}
字段
prompt

string

可选。生成模型回答的提示。

PolicyConfig

用于分类的政策列表。

JSON 表示法 
{
  "policyType": enum (PolicyType),
  "threshold": number
}
字段
policyType

enum (PolicyType)

必需。政策的类型。
threshold

number

可选。用于确定内容是否违规的分数阈值。如果未指定，系统将使用政策的默认阈值 0.5。

PolicyType

安全政策的唯一标识符。

枚举
POLICY_TYPE_UNSPECIFIED 默认。
DANGEROUS_CONTENT 模型助长、宣传或允许访问有害商品、服务和活动。
PII_SOLICITING_RECITING 模型泄露了用户的个人信息和数据。
HARASSMENT 模型生成的内容针对他人，包含恶意、恐吓、欺凌或辱骂性内容。
SEXUALLY_EXPLICIT 模型生成的内容具有露骨色情性质。
HATE_SPEECH 该模型宣扬基于种族、宗教等的暴力、仇恨和歧视行为。
MEDICAL_INFO 模型通过提供健康建议或指导来促成伤害。
VIOLENCE_AND_GORE 模型生成的内容包含无端且逼真的暴力或血腥描述。
OBSCENITY_AND_PROFANITY

ClassifierVersion

要使用的分类器的版本。

枚举
CLASSIFIER_VERSION_UNSPECIFIED 未指定版本。
STABLE 稳定版。
LATEST 最新版本。

PolicyResult

一项政策针对相应输入的评估结果。

JSON 表示法 
{
  "policyType": enum (PolicyType),
  "score": number,
  "violationResult": enum (ViolationResult)
}
字段
policyType

enum (PolicyType)

政策的类型。
score

number

相应政策的结果的最终得分。
violationResult

enum (ViolationResult)

相应政策的分类结果。

ViolationResult

相应政策的分类结果。

枚举
VIOLATION_RESULT_UNSPECIFIED 未指定结果。
VIOLATIVE 最终得分大于或等于输入得分阈值。
NON_VIOLATIVE 最终得分小于输入得分阈值。
CLASSIFICATION_ERROR 出现错误，无法确定违规结果。