互联网时代的网络上充斥着各种网络爬虫。

所谓网络爬虫其实就是一种按照一定规则，自动批量抓取网络信息的程序跟脚本。最广泛的应用大概就属搜索引擎，通过网络爬虫技术，这些搜索引擎会以一定的频率，通过这些网络爬虫将搜集到的信息录入到数据库中，以保证用户从引擎入口检索时，能更多更准确的从互联网庞杂的信息中找到仔细想要的东西。

这种类型的网络爬虫一般称为通用网络爬虫。

另一类则是聚焦爬虫。

这是一种针对特定网站或者特定信息不停抓取的技术。

一般来说能够遵守robots协议来使用这项技术都是没问题的。

但事实上，网络上遍布的许多网络爬虫，干的都不是人事。

跟所有人息息相关网络爬虫案例就是黄牛抢票。

比如全球被各种网络爬虫光顾最多的就是12306。

每到节假日，尤其是五一、十一、春运这样的出行高峰，热门地区的火车票总会特别难抢，甚至是秒空。而且这个时候12306软件都很难打开，基本也都是拜这种网络爬虫所赐。

根据统计，华夏12306点击量最高峰曾达到59亿次/小时，平均每秒就有160多万次点击。显然不是正常用户能刷出来的数字。

官方程序也通过各种升级验证码，来防止黄牛抢票，甚至有一段时间，那些堪称变态级别的验证码甚至难到让一个普通人无所适从。