爬虫工具:爬虫都有什么必须用的技能呀？

网络爬虫，这个东西，当然是有好有坏爬虫工具。

试想，如果没有谷歌，百度，必应，雅虎等等搜索引擎（他们本质上就是爬虫），我们想要获取网络信息和资源，是不是大海捞针爬虫工具。

随便搜个词爬虫工具，都是百万千万的搜索结果，没有他们，我们整个人类的知识传播起来，效率低很多。

太多好处就不一一列举了爬虫工具。

另外的一种爬虫爬虫工具，就是爬取，采集数据信息的了。目前，国内各式各样的爬虫平台（工具），如八爪鱼，集搜客，后羿采集器，火车采集器，造数等等，给用户使用的时候，虽然都会声明说，用户爬取数据的时候需要经得网站同意，否则，产生的纠纷，个人需要承担责任。

但有哪个人真正做到这样？

为了爬几百条新闻，爬虫几分钟的事情，却先要去联系管理员，让公司老大签字，过个把月等到同意通知再搞？

是不是有点开玩笑？

绝大部分人直接搞起了。

所以这些工具和平台也是处于有点带灰色的地带，客服当然不会明确告诉你，你直接搞起来吧，万一被钓鱼呢？

看淘宝如何屏蔽百度爬虫而允许谷歌爬虫？

  周末看的消息，搜狐博客和淘宝相继封了百度的爬虫，搜狐还封了google的蜘蛛，搜狐的目的，搜狐编辑博客已经说清了，就是要向facebook学习，不为别人做嫁衣，当然也是不让别人哪天封了自己，先下手为强，到时候让百度google被别人笑话，至于到时候是谁被笑话，现在还说不清楚，暂时不说这个。
  

昨天在新浪看到洪波先生的文章：淘宝封百度爬虫赌什么，洪波先生一向是我敬重的前辈，因此相当仔细看完了整篇文章，有一些想法想和洪波先生商榷。

我个人的看法，淘宝这次之所以屏蔽百度的爬虫，原因恐怕最主要的不见得是因为业务冲突。如果真的是因为业务冲突的话，那么要屏蔽百度的恐怕就不只是淘宝一家了，按照这个思路，几乎所有的知名网站都有屏蔽百度的可能，比如腾讯会因为百度hi，新浪会因为百度新闻，呵呵。
  

这里面有这样几个好玩的事情可以说说。

淘宝为啥只屏蔽百度的爬虫，而不是像搜狐一样把google一起屏蔽了？当然可能是洪波先生所说的原因，但更可能是因为百度的搜索竞价排名的原因。大家在网上购物都知道，最怕的是网络欺诈，最担心的是网络诚信问题，这几个c2c网站都相继搞了自己的诚信系统，比如淘宝就有支付宝的方式，有先行赔付等等，有过在淘宝购物经验的人都知道，一般我们在搜索到想要的商品之后，都会看看有这个店铺有没有参与消费者保障计划，有的话我们选择的可能大得多，这些类似的举措在易趣和拍拍也在实行。
  

但是百度的竞价排名却是只要花钱就可以做的广告推广模式，这样一来，任何一个厂家都可以花钱排在 搜索结果页面的前面，这给网络购物带来的风险可想而知，前段时间不久爆出了大众搬场的李鬼事件吗？想一下，如果在百度搜索某个品牌的衣服，而某些不法商贩利用竞价排名将自己的网站排在了前面，最终受害的还不是消费者。
  

竞价排名原本是百度创新的一种广告模式，但是由于审核制度的不健全，造成一直以来非议不断，也使得百度搜索结果的可信程度大打折扣，个人觉得，百度做竞价排名，实在是一件不划算的事情，因为搜索引擎的本质，就是要将最好的网站返回给搜索者，而百度的竞价排名明显违反了这一原则，给自己声誉造成的负面口碑影响，恐怕不是那些收入可以买回来的。
  

洪波先生说百度给淘宝带去了大量的流量和用户，说实话，我是不怎么相信的，因为我就是一个不怎么在网上购物的人，偶尔给老婆买件衣服，我都知道直接去淘宝，如果我要买书，我就会去当当看看，也就是说，这些网站已经在网民心中有了品牌的价值，而搜索引擎能做的，实际上是在网站还没有在其用户群中产生深刻和固定的品牌影响力之前，给用户引导，一旦真的形成了品牌，再使用搜索引擎去的人恐怕会少很多。
  举个比方，看新闻上新浪，还有多少人在搜索引擎搜索新浪或者新闻之类的词呢？

找点数据来证实自己的想法：

北京正望咨询分析师周洪美称。“目前多数网上购物者有特定的购物习惯，很少借助搜索引擎进行购物网站的选择。” 在其专门针对网购行为的调查显示：有近八成网购人群在网购中很少或从不使用搜索擎。
  仅有11。4%的网购人群表示“我几乎每次购物都会用到专业搜索引擎”。这个结果和我自己的使用习惯是吻合的。

洪波先生最后说，淘宝封掉百度的爬虫，会影响淘宝店主的顾客量，我觉得在一段时间可能会发生，这个要看淘宝怎么样宣传，因为搜索引擎不止是百度一家，如果网民们都知道淘宝封掉了百度的爬虫的话，想在网上购物又还不知道淘宝的这些潜在买家，会不会放弃使用百度，而使用google等其他搜索引擎呢？如果是这样，那么就是淘宝会损失一些来自与百度的流量，但是百度恐怕也会损失来自于网购人群的搜索。
  而且本质上，如果百度不改变其竞价排名的操作方式，恐怕慢慢地有很多搜索用户都会选择离开百度。这个对于百度而言，恐怕才是比关注被某某网站封掉爬虫更为重要的事情。

在百度没有改变自己的竞价排名规则之前，我看淘宝封掉百度爬虫倒不失一件明智之举，少一些流量和少很多诚信风险相比较，是我，也会选择后者。
  

现在我感兴趣的是，会不会有更多的成名网站跟风淘宝呢？、帮到你的话请给个好评~欢迎追问~不要轻易给差评哈~。