网络爬虫难度：只需爬取html网页但要上规模

这里我们举个新闻爬虫的例子。大家都用过百度的新闻搜索吧，我就拿它的爬虫来讲讲实现上的难度。

新闻网站基本上不设防，新闻内容都在网页的html代码里了，抓全一个网页基本上就是一行的事情。似乎听上去很简单，但对于一个搜索引擎级的爬虫，就不那么简单了，要把几千几万家新闻网站的新闻都及时抓取到也不是一件容易的事情。

从一些种子网页开始，种子网页往往是一些新闻网站的首页，爬虫抓取网页，从中提取网站URL放到网址池再进行抓取。这样就从几个网页开始，不断扩展到其它网页。爬虫抓取的网页也越来越多，提取出的新网网址也会成几何级数增长。

如何能在最短时间抓取更多网址？

这就是其中一个难度，这不是目标网址带来的，而是对我们自身资源的考验：

我们的带宽够吗

我们的服务器够吗，单台不够就要分布式

如何能及时抓取到最新的新闻？

这是效率之外的另一个难度，如何保证及时性？几千家新闻网站，时刻都在发布最新新闻，爬虫在织网式抓取“旧”新闻的同时，如何兼顾获取“新”新闻呢？

如何存储抓取到的海量新闻？

爬虫织网式的爬取，会把每个网站几年前几十年前的新闻网页都给翻出来，从而获得海量的网页需要存储。就是存储上的难度。

如何清理提取网内容？

从新闻网页的html里面快速、准确提取想要的信息数据，比如标题、发布时间、正文内容等，这又带来内容提取上的难度。