python 爬虫:python 爬虫快速入门 你是如何开始写python爬虫的？

因为研究生阶段主要的方向是数据挖掘方向，需要从网上获取大量的数据，如果一页一页的手动复制的化，不知道到何年何月了，所以慢慢开始接触到python爬虫，我大概介绍一下自己的学习历程吧python 爬虫：

1.首先要有一定的python基础，环境要熟悉，基本的语法和包也要会使用，至于python基础教程，网上很多，有视频也有pdf的，这个因人而异，我入门主要学习的是《python基础教程》这本书，对应的是python2，这本书写的比较全面，介绍的也比较详细，只要认认真真的跟着书学习，一边练习代码，很快就能熟悉python基础，掌握基本知识和常见包的使用python 爬虫。

2.对网页基本知识也要有一定了解，像html,css,javascript等，没必要精通它们，但是最起码得了解一二，要爬的数据都在网页中，你对网页一点都不了解，这根本就不行，至于这些入门的东西，你可以在网上搜搜，我推荐/，介绍的很全面python 爬虫：

3.然后就是一些爬虫基本包的使用python 爬虫，像urllib,urllib2,requests,bs4等，这些教程，网上都有，官方也有详细的文档说明，你可以试着爬取一些比较简单的网页，像糗百等。

4.在爬取有些网页的过程中，你会发现莫名的程序就中断，连接不上服务器，这就是反爬机制，许多网站都对爬虫做了限制，短时间内多次爬取，就会禁掉IP，所以你得设置IP代理池，来回切换IP，保证程序正常进行，在这过程中你得需要了解常见反爬机制，对症下药，做到尽可能不被服务器发现python 爬虫。

5.熟悉爬取基本网页后，就可以试着爬取比较大型网站的数据了，像某宝数据等，在这过程中你可能会发现有些数据不在网页中，这就是异步加载，你就需要抓包分析数据，获取真实的数据URL,才能进行爬取。

6.基本爬虫包了解后，你会发现每次爬数据都需要自己构建代码，组织结构，很麻烦，这时你就需要学习scrapy框架，专门为爬虫做的一个框架，做起爬虫来，速度快了不少。

7.爬得数据量多了，你会发现一个电脑太慢，一个线程不快，这时你就可能需要多个线程，多个电脑，你就需要了解多线程，分布式爬虫，像scrapy-redis等。

8.数据量大了，你就不可能存储到一个普通文件之中吧，就需要用到数据库，mysql,mongodb等，你就需要了解基本的数据库知识，增删改查，以及数据的涉及和搭建等。

9.数据已经有了，你就需要对它进行分析，不然爬下来，放在那，没有任何意义，数据统计处理，数据可视化，如何构建分析模型，挖掘有价值的信息，机器学习等都会用到，接下来就看你的处理了。

我感觉爬虫就是一个获取数据的过程，最重要的还是如何处理数据，挖掘有价值的信息才是重点，当然，没有数据，一切都是空谈，数据才是资源。

有没有前后端分离的python爬虫系统推荐？

您好(✪▽✪)！很高兴回答您的问题！

在传统的Web应用开发中，大多数的程序员会将浏览器作为前后端的分界线。将浏览器中为用户进行页面展示的部分称之为前端，而将运行在服务器，为前端提供业务逻辑和数据准备的所有代码统称为后端。所谓前后端分离的开发，就是前后端工程师约定好数据交互接口，并行的进行开发和测试，后端只提供数据，不负责将数据渲染到页面上，前端通过代码来完成。

使用前后端分离开发有诸多的好处，下面我们简要的说下这些好处：

提升开发效率。前后端分离以后，可以实现前后端代码的解耦，只要前后端沟通约定好应用所需接口以及接口参数，便可以开始并行开发，无需等待对方的开发工作结束。在这种情况下，前后端工程师都可以只专注于自己的开发工作，有助于打造出更好的团队。除此之外，在前后端分离的开发模式下，即使需求发生变更，只要接口与数据格式不变，后端开发人员就不需要修改代码，只要前端进行变动即可。

增强代码的可维护性。前后端分离后，应用的代码不再是前后端混合，只有在运行期才会有调用依赖关系，这样的话维护代码的工作将变得轻松愉快很多，再不会牵一发而动全身。当你的代码变得简明且整洁时，代码的可读性和可维护性都会有质的提升。

支持多终端和服务化架构。前后端分离后，同一套数据接口可以为不同的终端提供服务，更有助于打造多终端应用；此外，由于后端提供的接口之间可以通过)进行调用，有助于打造服务化架构（包括微服务）。

接下来我们就用前后端分离的方式来改写之前的投票应用。

返回JSON格式的数据

刚才说过，在前后端分离的开发模式下，后端需要为前端提供数据接口，这些接口通常返回JSON格式的数据。在Django项目中，我们可以先将对象处理成字典，然后就可以利用Django封装的JsonResponse向浏览器返回JSON格式的数据，具体的做法如下所示。

def show_subjects(request):

queryset = Subject.objects.all()

subjects = []

for subject in queryset:

subjects.append({

'no': subject.no,

'name': subject.name,

'intro': subject.intro,

'isHot': subject.is_hot

})

return JsonResponse(subjects, safe=False)

上面的代码中，我们通过循环遍历查询学科得到的QuerySet对象，将每个学科的数据处理成一个字典，在将字典保存在名为subjects的列表容器中，最后利用JsonResponse完成对列表的序列化，向浏览器返回JSON格式的数据。由于JsonResponse序列化的是一个列表而不是字典，所以需要指定safe参数的值为False才能完成对subjects的序列化，否则会产生TypeError异常。

可能大家已经发现了，自己写代码将一个对象转成字典是比较麻烦的，如果对象的属性很多而且某些属性又关联到一个比较复杂的对象时，情况会变得更加糟糕。为此我们可以使用一个名为bpmappers的三方库来简化将对象转成字典的操作，这个三方库本身也提供了对Django框架的支持。

安装三方库bpmappers。

pip install bpmappers

编写映射器（实现对象到字典转换）。

from bpmappers.djangomodel import ModelMapper

from poll2.models import Subject

class SubjectMapper(ModelMapper):

class Meta:

model = Subject

修改视图函数。

def show_subjects(request):

queryset = Subject.objects.all()

subjects = []

for subject in queryset:

subjects.append(SubjectMapper(subject).as_dict())

return JsonResponse(subjects, safe=False)

配置URL映射，然后访问该接口，可以得到如下所示的JSON格式数据。

[

{

"no": 101,

"name": "Python全栈 人工智能",

"intro": "Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。",

"create_date": "2017-08-01",

"is_hot": true

},

// 此处省略下面的内容

]

如果不希望在JSON数据中显示学科的成立时间，我们可以在映射器中排除create_date属性；如果希望将是否为热门学科对应的键取名为isHot（默认的名字是is_hot），也可以通过修改映射器来做到。具体的做法如下所示：

from bpmappers import RawField

from bpmappers.djangomodel import ModelMapper

from poll2.models import Subject

class SubjectMapper(ModelMapper):

isHot = RawField('is_hot')

class Meta:

model = Subject

exclude = ('create_date', 'is_hot')

再次查看学科接口返回的JSON数据。

[

{

"no": 101,

"name": "Python全栈 人工智能",

"intro": "Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。",

"isHot": true

},

// 此处省略下面的内容

]

关于bpmappers详细的使用指南，请参考它的官方文档，这个官方文档是用日语书写的，可以使用浏览器的翻译功能将它翻译成你熟悉的语言即可。

使用Vue.js渲染页面

关于Vue.js的知识，我们在第21天到第30天的内容中已经介绍过了，这里我们不再进行赘述。如果希望全面的了解和学习Vue.js，建议阅读它的官方教程或者在YouTube上搜索Vue.js的新手教程（Crash Course）进行学习。

重新改写subjects.html页面，使用Vue.js来渲染页面。

<!DOCTYPE html>

<html lang="en">

<head>

<meta charset="UTF-8">

<title>学科</title>

</head>

<body>

<h1>所有学科</h1>

<hr>

<div id="app">

<div v-for="subject in subjects">

<h3>

<a :href="getTeachersHref(subject.no)">{{ subject.name }}</a>

<img v-if="subject.isHot" src="/static/images/hot.png" width="32">

</h3>

<p>{{ subject.intro }}</p>

</div>

</div>

<script src="://cdn.bootcss.com/vue/2.6.10/vue.min.js"></script>

<script>

const app = new Vue({

el: '#app',

data: {

subjects: []

},

created() {

fetch('/subjects/')

.then(resp => resp.json())

.then(json => this.subjects = json)

},

methods: {

getTeachersHref(sno) {

return `/static/teachers.html/?sno=${sno}`

}

}

})

</script>

</body>

</html>

总之，前后端分离的开发需要将前端页面作为静态资源进行部署，项目实际上线的时候，我们会对整个Web应用进行动静分离，静态资源通过Nginx或Apache服务器进行部署，生成动态内容的Python程序部署在uWSGI或者Gunicorn服务器上，对动态内容的请求由Nginx或Apache路由到uWSGI或Gunicorn服务器上。