实际上什么语言都可以爬虫,我试过用C 、Java和Python写过爬虫去爬取各大门户的网站,复杂程度python 爬虫:C >Java>Python。
nodeJS当然也可以写爬虫,但我更推荐用Python写爬虫,最主要的原因是库多,requests,xml,beautifulsoup,selenium,scrapy等都是爬虫利器,只要几行代码就可以实现大部分功能python 爬虫。
实际上爬虫写到后面关注的是效率和防爬攻防的问题,如随机headers处理python 爬虫、IP代理池,验证码识别等,需要在这些细节上去考量。
如果对学习人工智能和深度学习感兴趣,你可以订阅我的头条号,我会在这里发布所有与算法python 爬虫、机器学习以及深度学习有关的有趣文章。
其实Python做爬虫的开源项目还挺多的,列举几个供你参考python 爬虫。
Crawlab技术:Golang Vue
有点:不局限于 scrapy,可以运行任何语言和框架的爬虫,精美的 UI 界面,天然支持分布式爬虫,支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计、消息通知、可配置爬虫、在线编辑代码等功能
缺点:暂时不支持爬虫版本管理
评分:14.2K
Scrapydweb技术:Python Flask Vue
优点:精美的 UI 界面,内置了 scrapy 日志解析器,有较多任务运行统计图表,支持节点管理、定时任务、邮件提醒、移动界面,算是 scrapy-based 中功能完善的爬虫管理平台
缺点:不支持 scrapy 以外的爬虫,Python Flask 为后端,性能上有一定局限性
评分:1.2K
Gerapy技术:Python Django Vue
优点:Gerapy 是崔庆才大神开发的爬虫管理平台,安装部署非常简单,同样基于 scrapyd,有精美的 UI 界面,支持节点管理、代码编辑、可配置规则等功能
缺点:同样不支持 scrapy 以外的爬虫,而且据使用者反馈,1.0 版本有很多 bug,期待 2.0 版本会有一定程度的改进
评分:1.9K
SpiderKeeper
技术:Python Flask
优点:基于 scrapyd,开源版 Scrapyhub,非常简洁的 UI 界面,支持定时任务
缺点:可能有些过于简洁了,不支持分页,不支持节点管理,不支持 scrapy 以外的爬虫
评分:2.9K
Awesome-Spider这里面收集了很多现成的爬虫。最后请良性的使用爬虫技术,技术是无辜的,它没有辨别能力的。斟酌使用!
如果你觉得对你有帮助,或还有其它想了解,欢迎留言关注@杰森梦想家。
阅读:
瑞派宠物医院“上海市宠物医生志愿者”以“微光”汇聚大爱!
4月本应是拥抱春天的好时机可是突如其来的疫情让上海这座城市遇上了“倒春寒” 面对突如其来的疫情,无数医务工作者、警务人员等积极响应号召,包括自觉隔离的普通民
共度时艰,为爱逆行。瑞派华南响应政府号召建立宠物驿站收治被隔离的宠物
一、2个小时,我们火速集结 3月22日下午,对于瑞派的很多员工来说,是深圳大规模疫情防控后稀松平常的一个工作日。但是,一个突如其来的动员令,打破了所有人的宁静。 由于上沙塘晏村
瑞派宠医——陆德来 | 24年坚守科学养宠理念
“我的生活,伴随着一个病例接着一个病例的到来而变得丰富充实。我是乐在其中的,热爱这个可以带给我快乐的职业,也希望通过自己的努力帮助宠物减轻病痛,让更多宠主懂得科学
瑞派宠医——田超 | 行则将至,将精准诊疗进行到底
随着技术发展,宠物医疗也逐步进入专科发展方向,高标准的宠物医疗也需要专科医师精准诊治才能实现。—— 瑞派昱奕动物医院 田超院长 成为优秀专科医生,道阻且长 宠
上海凯利蓝梗俱乐部:安徽合肥拟禁养中华田园犬等38种烈性犬,对此你有什么看法?
合肥市人大网站公布《合肥市养犬管理条例》全文上海凯利蓝梗俱乐部,该条例将于今年6月1日起施行。然而最近很多人了解到《合肥市禁养犬名录(征求意见稿)》向社会征求意见,其中包含中华田园犬上海凯利蓝梗俱乐部、德国牧羊犬、秋田犬、松狮犬等犬种。禁养名录中,包括的犬种分别是:比利时牧羊犬上海凯利蓝梗俱乐部、弗兰德牧羊犬、荷兰牧羊犬、苏俄牧羊犬、中亚牧羊犬、德国牧羊犬、高加索牧羊犬、安纳托利亚牧羊犬、拳师犬、标准牛头梗、美国恶霸犬、斯塔福斗牛梗、土
日本狂犬病发病率:被没有狂犬病的狗狗咬了会不会得狂犬病? 上海狂犬病发病率
新年好日本狂犬病发病率。如果你确定狗狗没有狂犬病,那么恭喜你,你不会感染上狂犬病。狂犬病的传染源主要是病犬、病猫、病狼等,但不一定被他们咬伤就一定会被感染,其发病因素与咬伤部位、创伤程度、伤口处理情况及注射疫苗相关。动物体内有狂犬病毒不一定代表它具有传染性日本狂犬病发病率,如果狗、猫等温血动物在狂犬病发作后的3~5天内100%会死亡,有文献提及有罕见的是8天死亡,而有医学证明只有它死亡前3~5天内才是传染期,这时被咬感染病毒的危险较高。
小博美犬的寿命有多长:饲养博美犬时,有哪些禁忌不能碰? 博美犬寿命有多长时间
你好,博美是非常容易饲养的,要想养出健康的狗狗,只要注意以下几点就可以啦小博美犬的寿命有多长、1.刚抱回来的小博美,身体抵抗力非常弱,领养回来以后不能在15天之内带出门小博美犬的寿命有多长。不要抱回家后,觉得太脏,就给它洗澡,其实这对狗狗不好,最好让她好好睡觉。2.每份食物量的大小取决于狗狗每天所需能量和食物中所含的热量,为避免产生肥胖症,而且还应该随博美犬体重的变化而调整小博美犬的寿命有多长。一定要注意适量,千万不要过量的喂食宠物狗这