多模态图片

对于支持视觉能力的模型，可以在用户消息中同时传入文字和图片。图片内容使用 content 数组表示。

图片 URL

{
  "model": "auto",
  "messages": [{
    "role": "user",
    "content": [
      {"type": "text", "text": "请描述这张图片。"},
      {
        "type": "image_url",
        "image_url": {"url": "https://example.com/photo.jpg"}
      }
    ]
  }]
}

图片 URL 必须能被服务端访问。不要使用仅在本机可访问的 localhost 地址。

Base64 图片

不能提供公开 URL 时，可以发送 Data URL：

{
  "type": "image_url",
  "image_url": {
    "url": "data:image/png;base64,<BASE64_DATA>"
  }
}

Python 示例

import base64

with open("photo.png", "rb") as image_file:
    image_data = base64.b64encode(image_file.read()).decode("utf-8")

response = client.chat.completions.create(
    model="auto",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "图片里有什么？"},
            {"type": "image_url", "image_url": {
                "url": f"data:image/png;base64,{image_data}"
            }},
        ],
    }],
)
print(response.choices[0].message.content)

注意事项

• 使用 JPEG、PNG、WebP 等常见图片格式。
• 控制图片尺寸和数量，避免请求过大或超出上下文限制。
• 图片中的文字识别结果可能受分辨率、布局和清晰度影响。
• 不要上传不应处理的个人敏感信息。