爬取 大师 
企业和个人有许多方法可以收集有关其客户的信息，网络抓取和网络爬取是一些最常见的方法。你会听到这些术语被交替使用，但它们并不是一回事。
在这篇文章中，我们将介绍网络抓取和网络爬取的区别，以及它们之间的关系。我们还将介绍这两种方法的一些用例和你可以使用的工具
什么是网络爬取
对网络爬取的基本解释是，它指的是从网站上提取数据。然后收集任何相关的数据并将其导出为不同的格式。一些用户会将爬取到的信息放入电子表格、数据库，或用API做进一步处理。
网络爬取并不总是一项简单的任务。刮取网站有用数据的能力在很大程度上取决于网站上内容的形态。如果网站上有JavaScript渲染的页面、图片或其他形式的内容，那么从这些内容中获取数据将更加复杂。 另一个挑战是，网站经常更新，而你的爬取器会出现故障。
网络爬取的方法
你可以使用不同的方法来处理网络爬取。如果你要从几个URL中寻找少量的信息，你可以手动开始网络爬取。这意味着你要翻阅每一个页面，并获得你所寻找的数据。这可能是来自某个特定网站的价格信息，或从在线目录中寻找地址。
你也可以选择使用自动网络爬取器。有许多网络爬取工具可用。这里是一个简短的清单，但链接中还包括更多。
如果你有一些编程知识，你也可以创建你自己的自定义自动网络爬取器。这将使你对从网站上提取的数据有更多的控制，但这可能需要相当多的时间。
网络爬取器使你能够同时从多个网站自动提取数据。只要你有一个你想爬取数据的网站清单，并且你知道你要找的数据，这就是一个无价的数据收集工具。你将能够准确而快速地从多个来源收集信息。
网络爬取器如何工作
网络爬取器的工作方式是通过获取一个URL列表并加载网页的所有HTML代码。如果你使用的是更高级的爬取器，它将渲染整个网站，包括页面上的CSS和JavaScript。然后，爬取器将收集页面上的所有数据或你定义的特定类型的数据。
如果你想让你的爬取器快速有效地工作，在开始网络爬取过程之前定义你要找的数据将是最好的方法。例如，如果你知道你想获得亚马逊上某一特定产品的价格数据，而你不想要评论，事先定义将节省大量的时间和资源。
一旦网络爬取器拥有你想要收集的所有数据，它将把这些数据放到你选择的格式中。大多数用户将数据输出为CSV文件或Excel电子表格。其他用户给你更多的高级选项，如返回一个JSON对象，可用于API调用进一步处理。
网络爬取的用例
网络爬取的大多数用例是在商业背景下进行的。一家公司可能想检查其竞争对手在销售什么产品以及他们的销售价格。他们可能还想检查网站是否提到他们，或找到有助于他们的搜索引擎优化战略的数据。
以下是企业如何使用网络爬取的几个例子。
- 新闻聚合以检查公司在多个平台上的提及情况
- 电子商务监测，了解竞争对手的情况
- 酒店和航班比较器，查看市场价格的波动情况
- 新产品的市场研究
- 通过收集用户信息来创造线索
- 银行账户汇总，如plaid.com或Mint.com等网站
- 通过信息图表讲故事的数据新闻学
更多关于数据爬取的信息
另一件要记住的事是，爬取数据不一定要完全在线。也可以爬取PDF、图片和其他离线文件。这通常属于数据爬取的范畴。网络爬取和数据爬取的关键区别在于，网络爬取完全发生在网上。它就像数据爬取的一个子集，它可以在线或离线发生。
有很多OCR（光学字符识别）工具可以帮助你从这些离线文件中提取这些数据，比如：
什么是网络抓取
网络抓取是对互联网上所有内容进行索引的过程。这就像有人翻阅大量的音乐收藏，并按字母顺序组织，以便人们能够找到他们想要的歌曲。这样他们就可以在任何时候找到他们要找的确切歌曲。网络爬虫将杂乱无章的信息组织起来。
你也会听到网络爬虫被称为网络蜘蛛或蜘蛛机器人。你可能不知道一个网站的所有页面，直到你使用机器人。这是你发现网站上存在新信息的方式。它们让你知道有哪些内容是可用的，以及它们的位置，但它们实际上并不为你收集信息。
这就是谷歌等搜索引擎的工作方式。他们使用网络抓取机器人来跟踪链接并对信息进行分类。网络爬虫的工作方式是通过一个网站的网站地图来发现一个网站所包含的信息，或者从一个初始页面开始，找到与之链接的其他页面。
网络爬虫如何工作
开始时，网络爬虫需要一个最初的起点，这通常是一个特定网站上的页面链接。一旦它有了这个初始链接，它将开始浏览该页面上的任何其他链接。当它通过不同的链接时，一旦它了解了每个页面上的内容类型，它将创建自己的地图。
网站地图对网络爬虫来说也是一个很好的起点。它给他们提供了一种方法，可以准确地看到一个网站的内容是如何组织的以及它的内部链接策略。对于大型网站、页面之间没有很好链接的网站、很少有外部链接的新网站，或者有大量富媒体链接图片或视频的网站来说，这是一个特别强大的起点。
大多数网站都试图优化其可抓取性以达到搜索引擎优化的目的。如果一个网站的内容很容易被网络爬虫发现，他们就有可能在搜索引擎结果中排名靠前，因为他们的内容更容易被找到。有几种方法可以进行网络抓取。
网络抓取可以通过手动方式进行，即浏览多个网站的所有链接，并记下哪些页面包含与你的搜索相关的信息。不过更常见的是使用自动工具来做这件事。
网络抓取工具
你可以找到免费和付费的网络抓取工具的选择，如果你有一些编程技巧，你甚至可以制作自己的网络爬虫。下面是一些常用的自动网络抓取工具。
这些工具让你自动进行网络抓取活动，让你扫描数以千计的网站，寻找可能对你有用的内容。它们比人工扫描更深入网站，因为它们能找到可能没有被列在网站容易访问区域的链接和页面。
虽然Python是用于构建网络爬虫的标准语言，但你也可以使用其他语言，如JavaScript或Java来编写你自己的自定义网络爬虫。现在你已经熟悉了一些可以用来抓取网站的工具，让我们来看看几个用例。
网络抓取的用例
网络爬虫最常见的用途是用于搜索引擎，如谷歌、必应或DuckDuckGo，以寻找和索引信息供用户搜索。像谷歌这样的搜索引擎会使用网络爬虫，根据它们可供机器人查看的内容来索引网站。当他们找到包含与某一特定主题相关的信息的网站时，机器人将对该网站进行记录，并在用户的搜索结果中给予相应的排名。
你想使用网络爬虫的原因还有很多。这里有几个例子。
- 营销人员用于研究关键词和寻找竞争对手的SEO分析工具，如Ahrefs或Moz
- 网页SEO分析，找出网站的常见错误，如返回
404或500错误的页面 - 寻找产品页面的价格监测工具
- 用Common Crawl这样的工具在学术界做合作研究
更多关于网络爬虫的信息
与网络爬取不同，离线数据抓取并不那么流行。你可以通过你可用的文件和图像进行搜索，但这些数据通常已经被标记为与你的研究相关或不相关，因为你可以在本地访问它。你不一定通过在自己的电脑上进行抓取来发现新的内容。
对于网络爬虫，你应该注意的一点是，有些网站可能不希望机器人搜索他们的网页。有些网站会使用robots.txt文件阻止某些网络爬虫。这可以阻止特定的抓取代理对网站页面进行索引，但它们并不能阻止内容被搜索引擎索引。
总的来说
网络抓取和网络爬取之间存在混淆的一个重要原因是，它们通常是一起做的。通常情况下，当一个企业试图从其他网站收集信息时，他们会想抓取网页，并在抓取过程中从网页内容中提取信息。
网络爬虫对于去除数据的重复也很有用。例如，许多人在不同的网站上发布文章和产品。网络爬虫将能够识别重复的数据，并不再对其进行索引。当你准备进行网络抓取时，这将为你节省时间和资源。你将只有一份你发现的所有有用数据的副本。
当你已经进行了网络抓取以确定拥有你所需要的信息的网站时，网络爬取是用于更有针对性的研究。通过网络抓取创建一个相关网站的清单将为你节省时间和金钱，因为你不必从没有你感兴趣的数据的网站上爬取信息。
当考虑到将网络抓取和网络爬取一起使用时，你可以创建一个完全自动化的过程。你可以通过API调用生成一个链接列表，并将其存储为你的网络抓取器可以使用的格式，以便从这些特定页面中提取数据。一旦你有了这样一个系统，你就可以从整个互联网上获得数据，而不需要做很多手工工作。
这方面的一个例子是一个自动爬虫，扫描添加到电子商务网站的新产品。然后，对于每个新产品，都用一个爬虫来提取新产品的数据，如价格、图片、产品代码或描述。
这里有一个表格，强调了网络抓取和网络爬取的主要区别。
| 网络爬取 | 网络抓取 |
|---|---|
| 从一个页面的内容中提取信息 | 根据页面内容编制索引 |
| 不对多个页面的内容进行索引 | 不从其索引的任何页面中提取内容 |
有时会出现关于网络抓取和网络爬取的合法性问题。一般来说，这两种行为都是完全合法的。你可以爬取和抓取自己的网站，没有任何问题。灰色地带是指你如何使用这些数据，以及你是否有权限访问某些网站的数据。