2010年11月28日星期日

Google是如何搜集互联网信息

  如果你问别人什么是力量。培根会说“知识就是力量”,Google会说“信息就是力量”,某人会说“隐私就是力量”。毋庸置疑,Google早已认识到信息(数据)的力量。相信其他公司,不管是互联网公司,还是其他类型公司,多多少少都应该意识到这一点了。否则,哪里会出现贩卖用户资料的案件?

  本文主要说Google如何搜集互联网信息、不计其数的趋势信息和Google用户(包括你我)的信息。

  那Google到底知道多少你的信息呢?还有你的在线习惯呢?请你坐下来,登录你的Google账号,看看你正在使用的Google服务列表,你就知道你正把多少信息交给了Google。

Google是如何搜集互联网信息

登录Google账号后的“我的产品”

(注:此图中产品因人而异,只要你在登录Google账号时使用过某服务,则自动会添加到此列表中。)

  这些服务已经引起了很多隐私问题。09年末时,Google CEO埃里克·施密特曾说过:“如果你有些东西不想让别人知道,或许你本该就别做那事。”(这话听起来颇似有点“切莫伸手,伸手必被抓”的韵味。)

  那我们现在就来看看Google是怎么搜集从你那收集你的信息。

  Google信息收集渠道

  Google的使命是:“整合全球信息,让人人可用,人人受益”。它也正在很好地兑现这个诺言。然而,Google正在收集的信息似乎比我们意识到的还要多。

  1. 搜索(网页、图片、新闻和博客等)- 众所周知,Google是全球最受欢迎的搜索引擎,其全球市场占有率几近70%(比如,美国本土占66%)。Google追踪所有的搜索,其现在的搜索方式也越加个性化,个性化势必将越来越细化。

  2. 搜索结果中的点击 - Google不仅能知道我们要找什么,它也知道我们点击了哪些搜索结果。(编者注:这个做SEO的朋友应该很清楚,可以从Google Analytics中知道。)

  3. 网页检索 - Google的网页爬虫Googlebot就是一只不知疲倦的小蜜蜂,一直不停地“品读”和收录数十亿的网页。

  4. 网站分析 - Google Analytics是目前最受欢迎的网站分析工具。因其免费并支持多种高级特性,全球大量网站正使用它。

  5. 广告服务 - Adwords和Adsense是Google财务成功的基石,但它们也给Google提供了大量的有价值的数据。网民点击了那些广告,广告主在竞争哪些关键字,哪些关键字最值钱等等。这些信息都是非常有用的。

  6. 电子邮件 - Gmail是全球三大电子邮件服务之一,面临着来自微软的Hotmail还有雅虎的Email的竞争。邮件内容,包括发送内容和接收内容,都是可以解析和分析的。即使是从安全角度来看,这也是Google的一项优秀服务。Google的邮件安全服务——Postini,要从海量Gmail用户中,接收超大量的数据,包括垃圾信息、恶意软件和邮件安全趋势数据。(编者注:2007年,Google以六亿二千五百万美元的价格收购网络安全服务商Postini,以此为Google的小型商务客户提供更好的电子邮件安全服务。)

  7. Twitter - “你说有的Twitter消息都是我们的”,这句话用来解释早期的网络快速传播现象(又称“网络爆红现象”)。在09年和Twitter达成交易后,Google可以直接访问Twitter上所有的消息。

  8. Google应用服务(文档、电子表单和日历等) - Google的办公套件有很多用户,它当然也是Google的一个数据收集来源。

  9. Google公开的个人资料 - Google鼓励你把你的个人资料在网络上公开,这些资料包括你活跃在哪些社交网站(Facebook或Linkedin),你的个人主页和在线图片等等。

  10. Orkut - 虽然Google的社交网络还并不是很成功,但Orkut在巴西和印度还是有很多成功。(编者注:为什么还没有成功?可参见伯乐在线此文:《Google的社交网络为什么还没有成功》。)

  11. Google Public DNS - Google2009年年末推出的DNS服务并不只是帮助网民获得更快的DNS解析,也同时帮助Google自己。因为从这项服务中,Google可以获得大量的统计数据,比如网民访问了哪些网站。

  12. Chrome浏览器 - Chrome可以收集你的浏览器行为,还有访问哪些网站。

  13. Google财经 - 除了财经数据之外,用户在Google财经上搜索的信息和使用的信息都是Google的重要数据。

  14. YouTube - 这个目前是全球最大最受欢迎的视频网站,为Google所有。它也向Google提供了大量的用户观看习惯方面的数据。

  15. Google翻译 - 帮助Google完善其自然语言解析和翻译。

  16. Google Books - 虽然现在不是很庞大,但有潜力帮助Google知道网民阅读习惯和他们想阅读什么东西。

  17. Google阅读器 - 目前为止是全球最受欢迎的Feed阅读器。你订阅了哪些RSS种子?你在看哪些博文?Google会知道的。

  18. Feedburner - 很多博客都使用Feedburner来公开其RSS种子。Google追踪Feedburner的每一条链接。

  19. Google地图和 Google Earth - 你对哪些地方感兴趣?(Google也会知道的)

  20. 你的联系人网络 - 你在Gtalk和Gmail等上的联系,组成了一张错综复杂的用户网。如果他们都使用Google,网络映射更为深刻。虽然我们不知道Google是否做了这个,但这上面的数据是可以收集的。

  21. 即将推出的 - Chrome OS等Google更多可能成功的产品。

  22. 刚推出不久的 - 即时搜索和Goo.gl等服务

  23. 已经消亡的 - Google Wave等(虽然消亡了,应该死前收集了一些数据吧。)

  因为Google的产品数不胜数,上面的列表还会扩大。到现在为止,你应该已经知道要点了。

Google是如何搜集互联网信息

Google服务列表

  (Google收集的)这些数据中,很多都是匿名化的,所以并非总是正确。日志可以保存9个月,服务相关的cookies可以保留18个月。即便如此,对大多数公司而言,Google手中所拥有的通用用户数据仍是有很大竞争优势,是一座名副其实的金山。

  Google - 一台无法停止的数据收集机器

  Google数据收集的方式有很多种。登录站点时生成的IP地址请求,用来设定和追踪目标的cookie。如果你登录了Google账户,你在Google下属网站上的一举一动,通常都可以和你个人账户联系起来,而不用和你的计算机对应起来。

  简而言之,如果你使用Google的服务,Google将知道你在搜索什么,你访问了什么网站,你看了哪些新闻和博客,等等。随着Google增加更多的服务,其曝光率将更加广泛,几乎一切东西都将所谓的“Google化”。

  编者注:Googlization即“Google化”,2003年由ohn Batelle和Alex Salkever共同创造这个字。

  你使用任何单一的Google服务所贡献的数据,你无需对此过多恼火。当你使用多个Google服务是,真正有趣的窘境才出现了。这个年头,谁不是呢?

  可以试着一个星期上网不用Google的任何一个服务。这也就是说,没有YouTube、没有Gmail、没有Google文档、不点击Feedburner的链接、不用Google搜索引擎等等。严格来说,你甚至必须避开和Google有合作的服务,所以,非常抱歉,Twitter也不能用、(编者注:不管你用不用梯子,YouTube和Twitter都别用)

  这个不断增长中的Google化可能就是为什么有些人不想用Google Chrome OS的缘故。因为Chrome OS可以强有力地整合Google的多种服务,并且很可能向Google提供关于你习惯的空前绝后数量级数据。

  Google为什么这么做呢?

  就像在本文一开始所提到,信息就是力量!

  拥有这些信息,Google可以用非常有效的方式来整合数据。除了每个用户或访客,Google也能为整个城市或国家检测趋势和行为。

  Google收集的信息用途广泛。在Google所有活跃的领域,那些收集的数据可以用来制定市场决策、研究、完善产品等。

  比如,如果你能提前发现特定的市场趋势,你就可以对市场做出有效反应。如果你能发现人们所寻和所需,你就可以基于这些发现做出决策。当然了,这对像Google这样的大公司是极为有用的。

  而且我们也别忘了,Google的大部分收入来自广告。Google越了解你,其广告能更加有效地服务你,这也对Google的底线有着直接影响。

  不只是(谷)哥这么做

  必须要说的是,并非只有Google一家公司在做这样的数据收集。请放心,微软也在用Bing和Hotmail做相似的事,这只是一个例子。

  Google的问题(如果你想称之为“问题”)是,它像一只大章鱼,其触须正伸向各个角落。Google已变成如此混杂,囊括我们在线生活的方方面面,我们(网上的操作)动作、行为和关系等数量空前的信息都汇聚到Google手中。

Google是如何搜集互联网信息

Google是章鱼?

  造访Google数据库

  值得称道的是,Google正通过各种服务来利用其收集的数据,进一步为你提供服务。

  1、Google趋势

  2、Google网站趋势

  3、Google搜索解析

  4、Google广告计划

  5、其他诸如Wonder Wheel这样的搜索工具

  如果Google能公布如此之多的数据,可以想象一下数据量有多大,还有Google所知道的细节程度有多深。而且这些服务也能向Google提供更多的数据,比如我们对哪些趋势感兴趣,我们在找哪些网站等。

  在使用Google趋势等这些工具的时候,发现一个有趣的现象:我们几乎可以知道一切,但就是无法知道Google自身的产品。比如,“Goolge广告计划”和“Google网站趋势”并不显示Google自身站点的信息,但你可以找到其他站点的信息。

  这个比较有讽刺意味!昨天“Goolge广告计划”更新2010年9月份的“全球Top1000网站”数据,你可以看到Facebook等网站的每月独立访客数量和PV数量,但你看不到Google旗下网站的数据。

  没有免费的午餐

  不知你有没有想过,为什么几乎Google所有服务都是免费的?好了,你现在知道答案了吧。还是那就老话:天下没有免费的午餐。你或许是没有给Google掏钱(点击Google广告除外),但你已经付出信息了。虽然这并不一定是坏事,但你应该对此有所了解并加以注意。

  来源:伯乐在线投稿,原文链接