标签： #亚马逊爬虫 #数据采集 #Python #API #MCP #AI Agent

前言

在跨境电商数据工程领域，「亚马逊商品图片批量下载」是一个看似简单、实则暗坑颇多的任务。本文基于实际生产经验，系统梳理技术难点、方案对比，以及如何通过 Pangolinfo Scrape API 和 MCP 协议实现稳定的批量图片采集——包括在 Open Claw 和 Claude 中的集成实践。

技术难点分析

1. 动态渲染导致静态请求拿不到图片

亚马逊商品详情页基于 React 构建，图片数据嵌套在客户端渲染的组件状态中：

# ❌ 这样拿不到图片 URL
import requests
resp = requests.get("https://www.amazon.com/dp/B09XYZ1234")
# resp.text 中没有图片节点，React 尚未执行

正确方式是使用支持动态渲染的采集引擎，或调用已经处理过渲染层的 API。

2. Bot 检测的多层防护

亚马逊的反爬系统检测维度包括：

• TLS 指纹：JA3/JA4 指纹识别非浏览器客户端
• HTTP/2 指纹：帧优先级、SETTINGS 帧参数
• 行为熵：鼠标轨迹、滚动模式、请求时序
• IP 信誉：数据中心 IP 直接触发 CAPTCHA

裸 IP + 标准库发请求，平均稳定窗口不超过 48 小时。

3. 图片 URL 格式规范化

亚马逊同一张图片存在多种分辨率格式：

https://images-amazon.com/images/I/71xxxxx._SL1500_.jpg  # 1500px
https://images-amazon.com/images/I/71xxxxx._AC_SL1000_.jpg  # 1000px
https://images-amazon.com/images/I/71xxxxx._SX679_.jpg  # 679px

批量采集时需要统一提取最高分辨率版本（通常替换后缀为 ._SL2000_.jpg），但 CDN 链接有时附带过期签名，需要在采集后及时下载存储。

4. 自建方案基础设施成本

组件	月均成本	维护周期
代理 IP 池	$200–800	持续
反指纹浏览器	$50–200	持续
分布式调度系统	开发 2–4 周	持续维护
反爬规则更新响应	1–3 工程师天/次	每次亚马逊升级

解决方案：Pangolinfo Scrape API

Pangolinfo Scrape API将以上所有基础设施封装在服务端，对调用方透明。

API 接口调用示例（完整可运行）

import asyncio
import aiohttp
import json
import csv
from typing import List, Dict

API_KEY = "your_pangolinfo_api_key"
BASE_URL = "https://api.pangolinfo.com/v2/amazon/product"

async def fetch_product_images(session: aiohttp.ClientSession, asin: str, marketplace: str = "US") -> Dict:
    """
    获取单个 ASIN 的商品图片数据
    返回结构：{asin, main_image, images, aplus_images, video_thumbnail}
    """
    params = {
        "asin": asin,
        "marketplace": marketplace,
        "fields": "images,aplus_images,video_thumbnail"
    }
    headers = {
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    }
    
    try:
        async with session.get(BASE_URL, params=params, headers=headers, timeout=aiohttp.ClientTimeout(total=30)) as resp:
            if resp.status == 200:
                data = await resp.json()
                return {
                    "asin": asin,
                    "status": "success",
                    "main_image": data.get("main_image", ""),
                    "images": data.get("images", []),  # 副图列表，最多 9 张
                    "aplus_images": data.get("aplus_images", []),  # A+ 内容图片
                    "video_thumbnail": data.get("video_thumbnail", "")  # 视频封面
                }
            else:
                return {"asin": asin, "status": f"error_{resp.status}", "main_image": "", "images": []}
    except Exception as e:
        return {"asin": asin, "status": f"exception_{str(e)}", "main_image": "", "images": []}


async def bulk_fetch_images(asins: List[str], marketplace: str = "US", concurrency: int = 20) -> List[Dict]:
    """
    批量并发采集图片数据
    concurrency: 并发数，标准账号建议 10-20，企业账号可提高至 50+
    """
    semaphore = asyncio.Semaphore(concurrency)
    
    async def fetch_with_semaphore(session, asin):
        async with semaphore:
            return await fetch_product_images(session, asin, marketplace)
    
    connector = aiohttp.TCPConnector(limit=concurrency)
    async with aiohttp.ClientSession(connector=connector) as session:
        tasks = [fetch_with_semaphore(session, asin) for asin in asins]
        results = await asyncio.gather(*tasks)
    
    return list(results)


def save_to_csv(results: List[Dict], output_path: str):
    """将图片 URL 数据导出为 CSV"""
    with open(output_path, "w", newline="", encoding="utf-8") as f:
        writer = csv.writer(f)
        writer.writerow(["ASIN", "状态", "主图URL", "副图数量", "A+图数量"])
        for r in results:
            writer.writerow([
                r["asin"],
                r["status"],
                r["main_image"],
                len(r.get("images", [])),
                len(r.get("aplus_images", []))
            ])


# 主程序入口
if __name__ == "__main__":
    # 读取 ASIN 列表（示例）
    asins = [
        "B09XYZ1234", "B08ABC5678", "B07DEF9012",
        "B06GHI3456", "B05JKL7890"
    ]
    
    print(f"开始批量采集 {len(asins)} 个 ASIN 的图片数据...")
    results = asyncio.run(bulk_fetch_images(asins, marketplace="US", concurrency=20))
    
    # 统计结果
    success = [r for r in results if r["status"] == "success"]
    print(f"采集完成：{len(success)}/{len(asins)} 成功")
    
    # 导出 CSV
    save_to_csv(results, "amazon_images.csv")
    print("结果已导出到 amazon_images.csv")
    
    # 打印前 2 条完整数据
    print(json.dumps(results[:2], indent=2, ensure_ascii=False))

性能参考：并发 20 的情况下，1000 个 ASIN 的图片数据采集约需 3–8 分钟。

MCP 协议集成：Agent 直接调用图片采集

什么是 MCP？

MCP（Model Context Protocol）是 Anthropic 推出的开放协议，定义了 AI 模型与外部工具、数据源之间的标准化交互接口。简单理解：MCP 让 AI Agent 能够像调用函数一样调用外部服务，而不需要用户手写 API 请求。

Pangolinfo Amazon Scraper Skill 的 MCP 接入

Pangolinfo Amazon Scraper Skill实现了 MCP 工具服务器规范，支持以下工具调用：

{
  "tools": [
    {
      "name": "get_product_images",
      "description": "批量获取亚马逊商品的图片 URL 列表",
      "inputSchema": {
        "type": "object",
        "properties": {
          "asins": {"type": "array", "items": {"type": "string"}},
          "marketplace": {"type": "string", "default": "US"}
        },
        "required": ["asins"]
      }
    }
  ]
}

在 Open Claw 中集成

Open Claw 原生支持 MCP 协议。配置步骤：

1. 进入「工具市场」→ 搜索「Pangolinfo Amazon Scraper」→ 安装
2. 在 API 密钥配置页填入 Pangolinfo 账号 Key
3. 在工作流或对话中触发：

用户输入：批量获取以下 ASIN 的商品图片 URL：
B09XYZ1234, B08ABC5678, B07DEF9012

Agent 自动调用 get_product_images 工具 →
返回结构化 JSON →
可直接写入多维表格或导出 CSV

在 Claude Desktop 中集成

Claude Desktop 支持本地 MCP 服务器配置。在 claude_desktop_config.json 中添加：

{
  "mcpServers": {
    "pangolinfo-amazon": {
      "command": "npx",
      "args": ["@pangolinfo/amazon-scraper-mcp"],
      "env": {
        "PANGOLINFO_API_KEY": "your_api_key"
      }
    }
  }
}

配置完成后，Claude 即可在对话中直接调用亚马逊图片采集工具。实际效果：

用户：帮我获取家居类目 Top 10 ASIN 的主图，并分析主图风格趋势
Claude：[调用 get_product_images] → [获取图片 URL] → [调用视觉分析] → 输出风格分析报告

常见问题与解决方案

Q：API 返回的图片 URL 过期了怎么办？
A：收到 URL 后立即下载到本地存储（S3/OSS），不依赖原始 CDN 链接长期有效。

Q：并发数设多少合适？
A：标准账号建议 10–20，触发限速时降低并发并增加重试逻辑（指数退避）。

Q：A+ 图片返回为空怎么回事？
A：部分 ASIN 没有 A+ 内容，这是正常情况。可通过 has_aplus 字段提前判断。

Q：能采集视频帧截图吗？
A：API 返回视频封面（thumbnail）URL，完整视频帧提取需要另行处理视频流。

性能优化建议

1. 批量输入优化：一次请求传多个 ASIN（如果 API 支持批量接口），减少 HTTP 往返次数
2. 本地缓存：对已采集过的 ASIN 缓存结果，避免重复请求
3. 失败重试：对状态码 429（限速）和 5xx（服务端错误）做指数退避重试
4. 图片存储：采集到 URL 后立即异步下载到 CDN/对象存储，不依赖亚马逊 CDN 链接的长期稳定性

参考资料

• Pangolinfo Scrape API 文档
• MCP Protocol 规范
• Anthropic Claude MCP 集成指南