爬虫技术:懂网络爬虫技术，自主创业有哪些选择？

不知道你所说的学会了网络爬虫是说学到了什么程度。作为一名专业的爬虫工程师我斗胆将爬虫分为四级：入门级：稍微懂点原理爬虫技术，能爬没做反爬的网站，和一些简单反爬的网站。平民级别：能基本应付ip，验证码，前端混淆的工程师。商用级别：js加密接口快速破解，app逆向略懂，这个级别基本能应付大厂的数据爬虫，但是做灰厂还有点悬，（可能手机号都要被买贵）。第四级：宗师级，像什么微博热搜，很多明星超过一亿的粉丝都是他们的手笔。

一二级别爬虫技术，用来娱乐应该够了，但是创业或者自由职业，技术实力远远不够。第三四级的可以从自动化手机游戏，刷榜，僵尸粉等入手（最好和熟人）

最后如果有想学爬虫的可以关注我爬虫技术。长期更新爬虫教程。贴上一个爬虫账号（很多通过模拟用户行为来逃避用户画像的审查，但是又不像）

python爬虫和黑客本质有什么区别？可以理解为黑客吗？

技术层面，爬虫核心是前端技术，黑客是为信息安全；数据层面，一个是公开，一个是私有爬虫技术。爬虫是黑客的一个小小技能。

数据公私之分爬虫是获取公开的数据爬虫技术，黑客是获取私有的数据。一个是将用户浏览的数据用程序自动化的方式收集起来，一个是寻找漏洞获取私密数据，又可分为白帽黑客和黑帽黑客。

比如用户评论的数据，商品价格的信息，比如用户的视频，这些通过浏览器大众可以公开访问到的数据，可以通过爬虫技术获取，爬和反爬永远存在着斗争，因为爬虫是机器，非真正的用户。

而黑客如果获取用户银行账号，密码，公司私有数据等等，即使用到爬虫技术，但本质上是黑客，如果用于非法目的去获利，则是黑帽黑客。

技术领域不同爬虫主要涉及前端和数据存储之分，比如通过模拟浏览器来将数据存储起来，对于一些反爬技术做的好的站点，你要模拟登录，cookie信息维护，有时还要翻看js代码，核心技术是前端。

而黑客核心技术是是信息安全，涉及领域众多，比如操作系统、网络技术、编程技术、硬件技术等，技术上黑客目的是寻找漏洞，一切达到目的技术都要为我所用。

道德之眼如果要写爬虫，频率要放缓，否则会对服务器造成压力，影响真实用户体验。有些数据涉及版权，爬取和使用上要留心。

如果做黑客，做白帽黑客，不要为了短期内的私人利益把自己送进铁房子，不值得。

精准大数据营销用的是什么技术手段获取意向客户的联系方式？

精准大数据营销其事实上是运用网络爬虫,从淘宝网、京东商城等网址上爬得到商家手机号码后，用以营销推广。除此之外，依靠此软件，根据微信附近的人，客户可随意设置虚拟位置后大批量申请办理朋友，还能“站街”垂钓营销推广。

有安全专家表示，当用户发生上网行为时会发送数据包，内含行为痕迹、手机号等信息。一旦涉及某一方发生泄露，通过抓取这个数据包便可以解析出来用户的敏感信息。爬虫技术则分成合理合法网络爬虫和故意网络爬虫二种。某些说白了的大数据公司自身沒有统计数据来源于，只是根据网络爬虫方式获得别人的统计数据。

在网络空间，数据战争已进入白热化。2019年5月份，国家互联网信息办公室发布的《数据安全管理办法》征求意见稿第十五条也规定了，“网络运营者以经营为目的收集重要数据或个人敏感信息的，应向所在地网信部门备案。”除此之外，大部分网址早就对故意网络爬虫搭建反爬对策并做出申明严格严禁，有刑事辩护律师直言不讳，“攻克、避开网络平台的反网络爬虫对策、协议书时，或因涉嫌不法获得互联网系统软件统计数据罪、入侵不法操纵互联网系统软件程序流程专用工具罪。”

望采纳！

51信用卡被查引发"爬虫技术"争议，是否侵犯个人信息？

“爬虫技术是一项工具，但被居心不良的人使用，就可能出现大问题。

尽管近日51信用卡被查主要源自其委托的催收公司存在冒用国家工作人员暴力催收行为，但在多位业内人士看来，这种暴力催收行为离不开爬虫技术的“配合”。

“比如有些互联网消费金融平台通过爬虫技术能时时掌握借款人行踪与地址定位（未必获得用户允许），然后将此信息转交给催收公司，由后者上门轮番暴力催收，无论借款人跑到哪里，暴力催收就如影随影，如此部分借款人心态崩溃，容易走上不归路。此外有些平台在未获得用户授权的情况下，通过爬虫技术掌握借款人与亲朋好友的通话记录，由此向这些亲朋好友施压督促他还款，导致借款人感到脸面丢失，也容易走上不归路。

多数情况下，借款人看到的授权协议仅仅显示平台将通过后者授权的账号，只能登陆相关网站邮箱与手机桌面查看所下载的APP。但事实上，这些平台的爬虫技术早已突破授权协议使用范畴，开始抓取借款人在网站邮箱与手机桌面的大量各类数据，其中不少涉及用户极其隐私的个人信息“另有他用”。比如他们会将借款人地址定位信息“交给”催收公司进行催收回款，或将借款人其他隐私信息卖给其他平台作为信贷风控决策依据等。

“在2017年《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》出台后，相关部门曾抓了一些利用爬虫技术过度收集滥用个人隐私数据的P2P平台技术人员，但由于当时处罚力度不够重，并未引发很多大数据风控机构与P2P平台高层重视，如今多家爬虫技术公司被查与相关高层被抓，足以凸显相关部门正采取雷霆手段整治爬虫技术过度收集滥用个人隐私数据行为，从而净化个人隐私信息保护领域。经此一番行业动荡，利用爬虫技术过度收集个人隐私信息牟利的公司未来生存空间也被大幅压缩，目前很多银行与持牌金融机构已经暂停与这类机构的各类大数据风控技术合作。