爬取 大师 
随着电子商务的兴起，亚马逊已成为世界上最大、最受欢迎的电子市场之一。然而，从亚马逊获取数据对于企业、研究人员和开发人员来说可能是一项繁琐的任务，因为它是一个受到良好保护的网站。
这就是亚马逊爬取 API 的用武之地。它们让您可以提取价格、图片、评论和其他与产品相关的信息。API 服务的最大好处是您不必担心代理管理或反检测措施。
无论您是要收集产品信息、监控价格还是分析销售数据，这些 API 都能满足您的需求。我们已经测试了几家供应商，并策划了一份性能最佳的亚马逊爬虫工具列表。
亚马逊最好的网络爬虫工具—快速总结：
- Smartproxy – 高品质的亚马逊爬虫工具，拥有屡获殊荣的客户服务。
- Bright Data – 采用多种反检测技术，是最快速的亚马逊爬虫工具。
- ScraperAPI – 提供广泛文档支持多种编程语言的亚马逊爬虫工具。
- Shifter – 在请求方面可定制化的亚马逊爬虫工具。
- Oxylabs – 整体最佳的亚马逊爬虫工具。
- Zyte – 快速、强大且拥有完善网络爬取生态系统的亚马逊爬虫工具。
什么是亚马逊爬取 API？
Amazon 网络爬取 API 就像允许您收集 Amazon 数据的远程服务器。它们的工作方式很简单——您使用目标 URL 和其他参数（如地理定位）向 API 端点发出请求，它会代表您访问网站。API 自动应用反检测技术来防止阻塞并返回成功的结果。
大多数网络爬取 API 都可以爬取亚马逊，但它们返回原始 HTML。一些提供商已经为电子商务商店构建了专门的 API，可以解析页面并仅从中提取有价值的数据点。
为什么要为 Amazon Web Scraper 付费？
Web 爬取 API 并不是进行 Amazon 爬取的唯一方法。您可以 使用 Python 或您选择的其他编程语言 自己构建一个爬虫 ，或者采用简单的方法购买一个 无代码爬虫。 那么，您为什么要为专门的亚马逊爬虫工具付费？
好吧，有几个原因。首先， 它是专门为亚马逊设计的。 它在访问目标信息时 可能会 更快，并且包括 CAPTCHA 解决、代理和数据解析器等功能，因此您不必构建或维护一个。
此外，您可以将大多数亚马逊网络爬虫工具集成为代理服务器或 API。如果您已经在使用代理，则无需使用类似代理的集成对代码进行任何调整。API 集成使用起来相对简单，有时可以解锁其他功能，例如发出批量请求。
2023 年最佳亚马逊数据采集 API
1. Smartproxy – 具有屡获殊荣的客户服务的高品质亚马逊爬虫。
Smartproxy 是另一家专注于代理的公司，拥有专门的电子商务爬虫工具。它涵盖了包括亚马逊在内的最受欢迎的目标。该提供商凭借其屡获殊荣的客户服务以及以 100% 的成功率获取亚马逊数据的能力而脱颖而出。
Amazon scraper 基于 Smartproxy 的大型代理网络。该提供商的位置覆盖范围很广——您可以 从 195 个位置定位到任何国家/地区。
爬虫工具集成为 API 或代理服务器，并 通过开放连接返回结果。简而言之，您将请求发送到 API 端点并等待响应。Smartproxy 使用 POST 方法——它将您的参数作为 JSON 负载发送到 API。
在功能方面，Amazon scraper 包括所有基础知识，如 JavaScript 渲染和代理轮换。 您还可以选择设备类型和域，并 解析主要的亚马逊元素：产品信息、评论、问题、搜索页面等。
Smartproxy 的电子商务 爬虫工具出色地通过了我们的亚马逊测试。凭借完美的成功率，它是第二快的带回结果（4.66s）。
但是，Smartproxy无法异步获取结果，这对某些人来说可能是个缺点。此外，每 1,000 个请求的成本高于竞争对手，因此对于个人使用来说可能过于昂贵。
特征：
- 地点：195 个国家级定位
- 定价模型：基于成功的请求
- 数据解析：是
表现：
- 成功率：100%
- 响应时间：4.59s
价钱：
15,000 个请求起价50 美元（3.3 美元/1,000 个请求）。提供 3 天免费试用。
2. Bright Data – 拥有多种反检测技术的最快亚马逊爬虫。
Bright Data 是最大的代理提供商，拥有强大的数据收集基础设施。尽管它没有专门的亚马逊爬虫工具，但它提供了一个通用的网络爬虫工具——Web Unlocker。
我们的测试证明它完全有能力从亚马逊获取数据。Web Unlocker结合了 Bright Data 的数据中心和住宅代理网络，自动选择正确的代理类型。它支持全球城市和国家/地区级别的定位。
爬虫可以集成为 API 和代理，但 Bright Data 更喜欢后一种方法，因为它主要将其工具视为代理。因此，如果您已经在使用它的代理，则无需对代码进行太多调整。API 端点仅用于发出批量请求。
该工具 会自动应用反检测技术， 例如欺骗浏览器指纹或重试。另外，它支持建立会话，可以自动渲染JavaScript。
Bright Data 的 爬虫显示了近乎完美的结果 ——它在亚马逊上的成功率达到了 98.67%。而我们不得不称赞它是最快的，平均响应时间为4.35s。
最大的缺点 – 该工具 没有解析功能。所以，如果这是一个交易破坏者，Bright Data 也有一个 Web Scraping IDE。它允许您使用多个提供商模板之一在提供商的平台上构建网络爬虫工具。
特征：
- 地点：全球城市和国家定位
- 定价模型：基于成功的请求
- 数据解析：无
表现：
- 成功率：98.67%
- 响应时间：4.35s
价钱：
Bright Data 有两种选择：订阅或随用随付。第一个更便宜，但您必须至少支付500 美元（$2.25/1,000 个请求）；随用随付，起价为 3 美元/1,000 次请求。为商业客户提供 7 天免费试用。
3. ScraperAPI – 一个Amazon爬虫，提供多种编程语言的详细文档。
ScraperAPI 是另一种通用爬虫，可用于从亚马逊收集数据。尽管它在我们的测试中表现不佳，但它是一款具有基本功能且成本相对较低的多功能工具。
ScraperAPI 支持多种编程语言，包括 Python、NodeJS、PHP、Ruby 和 Java，并提供有关如何使用每种语言设置爬虫的大量文档。
该工具自动处理 IP 轮换、标头和重试。您可以自定义参数，例如标头和会话。ScraperAPI可以通过向其爬取器添加参数来解析特定的亚马逊属性，如搜索、产品或评论。
该提供商提供每月 1,000 API 积分的免费计划，以及 7 天的免费试用期和 5,000 个免费请求以更大规模地试用 API。在位置方面，您可以定位 美国和欧盟 12 个位置中的任何国家/地区。
ScraperAPI 在亚马逊上不如竞争对手成功 。它达到了 96.1% 的成功率，而且速度几乎是后者的两倍（9.53秒）。
更重要的是， ScraperAPI 有一个复杂的积分系统：JavaScript 渲染和启用高级代理等高级功能会消耗更多积分。在启用所有高级参数的情况下，请求的成本可能比基本配置高 70 倍。然而，爬取亚马逊不会花费那么多。
特征：
- 地点：12
- 定价模型：基于成功的请求和可选功能
- 数据解析：手动
表现：
- 成功率：96.1%
- 响应时间：9.53s
价钱：
100,000 个 API 积分起价为49 美元。提供 7 天免费试用。
4. Shifter – 一个高度可定制的亚马逊爬虫，可以根据请求进行设置。
Shifter 提供了一个 在亚马逊上表现良好的通用爬取 API 。最便宜的计划在数据中心代理上运行，但如果有更高付费的选项，您可以选择住宅和移动 IP。
提供者 不会自动选择代理类型 ——您必须通过传递参数来指定要使用的类型。最便宜的计划支持 美国和欧盟的 10 个地点。如果有更昂贵的选项，您可以从 12 或 195 个全球地点中进行选择。
在自定义请求方面，Shifter 允许您选择设备类型、建立会话、发送 cookie、自定义标头和填写表单。
Web Scraping API没有解析功能。但是您可以使用 CSS 选择器提取特定的页面元素，因此可以获得干净的数据。
Shifters 的爬取器紧随性能最佳的 API 之后 ——它以相对较好的速度（5.32 秒）以 98.7% 的成功率从亚马逊返回结果。
然而，与竞争对手相比，其具有更多功能（如住宅代理）的计划非常昂贵。 使用最便宜的选项，您只能获得 20 个并发请求。
特征：
- 地点：10 个（美国和欧盟）
- 定价模型：基于成功的请求
- 数据解析：手动
表现：
- 成功率：98.7%
- 响应时间：5.32s
价钱：
20 个并发请求和 100,000 个 API 积分起价为44.99 美元。提供 7 天免费试用。
5.Oxylabs – 最好的整体亚马逊爬虫工具。
连续几年，我们认为 Oxylabs 是代理行业中最好的整体，而且它似乎也保持了其 网络爬虫工具的优质 。它是少数几个拥有专门的电子商务爬取 API 的供应商之一，这些 API 在 Amazon 上具有罕见的功能和完美的性能。
在我们测试的提供商列表中，Oxylabs Amazon scraper 是 唯一捆绑了调度程序和爬虫功能的工具。您可以使用它从全球 195 个国家/地区获取本地化的亚马逊数据，因为它包括 国家和邮政编码定位。
爬虫工具集成为代理或 API。第二种方法允许您通过 webhook 发送批量请求并按需获取结果。
Oxylabs 允许从各种亚马逊属性中提取结构化数据，包括产品、搜索页面、评论、商家等。它也是为数不多的可以解析沃尔玛、Wayfair 和 eBay 等其他主要电子商务商店的 API 之一。
Web 爬取API 在亚马逊测试中表现完美。它达到了 100% 的成功率，平均响应时间为 4.57s 秒，仅比 Smartproxy 和 Bright Data 落后几毫秒。
特征：
- 地点：195 个国家级定位。
- 定价模型：基于成功的请求。
- 数据解析：是
表现：
- 成功率：100%
- 响应时间：4.57s
价钱：
17,500 个请求起价为 49 美元（$2.80/1,000 个请求）。提供 7 天免费试用。
6. Zyte – 快速的亚马逊爬虫，具有强大的网络爬取生态系统。
Zyte 拥有一个围绕网络爬取构建的良好生态系统。它的 ZyteAPI scraper 是一个通用 API，主要关注电子商务用例。
提供商使用的系统会自动将位置与您的 URL 匹配。但如果需要，可以手动从 19 个位置中进行选择。
功能方面，自动重试请求和轮换代理。您可以传递 cookie 或填写表格。Zyte 还拥有最可定制的无头爬取方法：企业客户可以访问具有脚本功能的 TypeScript API。
爬取器没有内置解析器，但您可以使用 CSS 选择器构建一个。
Zyte 的 API 在亚马逊上的速度非常快，平均响应时间为 4.61 秒，将 Oxylabs 等优质提供商甩在了后面。然而，它并没有蓬勃发展——成功率仅为 84.9%。
Zyte 根据目标网站和所选功能动态计算请求成本。您可以通过 Zyte 的仪表板进行估算。只要您不需要呈现 JavaScript，该服务就具有成本效益。
特征：
- 地点：19
- 定价模型：基于成功的请求和可选功能
- 数据解析：手动
表现：
- 成功率：84.9%
- 响应时间：4.61s
价钱：
25 美元起，可选择随用随付。提供 7 天免费试用。