python 爬虫:python网络爬虫具体是怎样的？

Python网络爬虫实际上就是一个用python开发的程序，爬虫就好比蜘蛛一样顺着蜘蛛网到达网的每个地方python 爬虫。在互联网上也是同样的道理，好比一个网站，网站里边分布了很多页面链接，通过鼠标点击可以访问到下一层的内容，而网络爬虫就模拟人们访问网页那样，一个一个的打开连接进行访问并按照开发设定的规则抓取信息的这么一个过程。

由于Python的语法简单、学习成本比较低，有众多的开源类库与框架可以使用，使得开发难度与时间大大缩减，得到了大多数人的青睐，特别是在数据处理方面python 爬虫。

在这里推荐几个值得关注的异步爬虫库python 爬虫，给你做下参考。

1.Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架python 爬虫。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫python 爬虫。

2.PySpider

PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。

3.Crawley

Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

4.Portia

Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！简单地注释您感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。

5.Newspaper

Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

6.Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。这个我是使用的特别频繁的。在获取html元素，都是bs4完成的。

7.selenium

Selenium 是自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium 支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理。

下面是网络爬虫工作的大致流程图

写Python爬虫一定要用到chromedriver吗？

如果是让我写，我优先选用selenium(chromedriver)，模拟正常浏览。效率低很多，但是数据靠谱。

爬虫与反爬，就像生存与死亡，是一个值得考虑到问题。写爬虫，目的是获得数据。如果是简单、无争议公开的数据，只要不对服务器造成压力，方法都不重要。但往往要获取的数据，很多情况下对方都不希望通过爬虫自动化轻易得到。这时候，双方工程师、甚至是律师就要博奕了。

红方：基于数据统计、机器学习的方法，判断区别与常人浏览的途径很多。

蓝方：针对红方的可能手段，也有很多途径。所谓上有政策，下有对策。比如维护一个IP池自动切换。博奕，说白了就是斗争。没有永远胜利的一方。花费精力写一个专业爬虫，但这个爬虫可能也需要维护的。个人觉得不值得，应该想想其他方式。

专业爬虫，核心不会用python写的大前端的语言，js 抓包分析是更加胜任爬虫的语言。一是爬取的数据，大部份都是来自网站或APP。用原汁原味的js，再对口不过。同时，效率会更高。据我所知，很多竞争对手爬取对方的价格，基本都绕不开js。用python会适得其反。

说个反爬的损招通过nginx配置，能实现简单的反爬，这里说一个损招。

一般对方爬取我方数据时，我们都会设置路障，比如要求对方输入手机验证码、识别图片、或者告知，请24小时候再来访问。

不妨反其道而行之，如果能确认对方是爬虫，不要阻止对方来爬取，二是造随机数据给对方爬。数据伪装成什么样，可以灵活控制。可以80%假，20%真。或者比例反过来。甚至比例可以随机。这种方法可以捉弄对方的工程师。

最后友情提醒，爬虫有风险，码农要谨慎。