DoNews.com
当前位置: IT写作社区刘威麟互联网
"强刮"(scraping),继"盗连"以后的下一个网络大富贵?
刘威麟 | 互联网 | 出处:原创-IT| 2008年01月11日 12:32 | 阅读
        

我们已经看到,反其道而行去鼓励「盗连」,曾经让YouTube瞬间爆红、成为全美国成长速度最快的网站。但,反其道而行去鼓励「强刮」(scraping),又会带来什么?「强刮盗连」的商机,至今只被矿采了50%而已。

2001年,刚刚被WebVan解雇的一位网络工程师,摇摇晃晃的来到Palo Alto一间破破烂烂的算命铺,沮丧的问长发女巫:

「2000年代(2000~2010年),我要什么才能在网络上大富大贵?请赐给我四个字吧!」

神秘深紫色的绒布上,滚出一颗大水晶球,里面幽幽的出现四个字:「强刮盗连」

「什么?强刮、盗连,这些不都是不好的事吗?」

他带着满腔不解走出去,转投履历到微软,搬到西雅图去了。从此不见踪影。

「盗连」(deeplinking),就是在自己的网站中,连到别人家的图片,每次有人来你这个站,不必到别人的站点就可以看到这张图片,而别人的主机却要繁忙的服务这张图片,在频宽不高的年代是很吃资源的事。而「强刮」(scraping),则是让自己网站放出爬虫到别人网站,把别人的资料搬过来,整理一下改以另种方式服务自己的使用者;它和「盗连」的做法不同,但影响是一样的──使用者不必到母站,直接在子站就「看到了」他想看的东西。而子站完全像强盗一样,没有和母站知会、亦没有签约,就直接「拿人家东西来用」。有时候母站还查不出这种行为,拿子站完全没办法!

不过,YouTube首创「嵌」,以「让人光明正大的盗连」,创造更多影片上载的需求,反而绕过来今天市占直逼75%。而「强刮」的商机,也早有许多网站看到,今天Google、 Yahoo、Amazon都是强刮的热情支持者,提供了一些「资料」及简单不过的data API,让工程师可以写程序去挖资料。但,他们真的是完全的、充满诚意的在提供「强刮」吗?

这期的Wired杂志的文章《Should Web Giants Let Startups Use the Information They Have About You?》,就是在检讨大网站对所谓的「scraping」的灰色支持。

文章提了一个实例。一个叫做Listpic的网站,由29岁年轻华裔创业家独自写成,将线上分类广告网站Craigslist的所有「求售」的「对象照片」,全部「强刮」集中在自己的网站中,一页全览,使用者就再也不必麻烦的一则一则点进去看照片,ListPic也一天成功引来4 万名不重覆使用者,AdSense广告月入好几千美元。但有一天,他突然收到Craigslist寄来的律师存证信函,要求马上移除该服务;其实他也不必移,因为两小时后,Listpic一片空白,再也抓不到Craigslist的图了,现在Listpic只能改抓另一家分类广告Oodle的图,原本的使用者也全都流失殆尽。另外还有一间Statsaholic,原本叫Alexaholic,专门「强刮」Alexa的信息,后来也是被对方律师告到终于收手,不过Statsaholic运气不错,现在它从其他地方挖,流量不减反增,是原本的三倍

文章的重点在,许多网络公司,表面上不会太反对类似「强刮」的事情。文章举例像美国银行、Fidelity Investments都让一个叫Yodlee的抓服务来抓。而eBay也乖乖让Google抓到它的Google Product Search去。但,「强刮」毕竟还是一家公司得利于另一家公司,当两边的业务生成冲突时,就很难说了!有些网站只在「你小」的时候让你随便「强刮」,等你大了,就会以「影响它的流量」而找理由挡住你。文章指出,譬如Yelp曾经就破了Google Maps的使用上限,结果在毫无预警下被停掉,还好之前有拿到资金,不然就「锉起来」了。连LinkedIn原本做「email萃取」萃得好好的,却在微软投资了同样是社群网站的Facebook后风云变色,再也进不了微软的Hotmail萃取信件。文章指出,现在有很多小公司譬如Zillow从Navteq、GlobeXplorer、Proxix抓来地图信息,微软的实验产品Photosynth则从Flickr抓图。之前也写过一家DailyCaption也从Flickr抓素材,万一有一天他们所仰赖的寄主突然「收手」,不让他们「强刮」,怎么办?

这篇文章显然是认为大公司不要禁止「强刮」,至少,也不要「突然间禁止」,让网站措手不及,文末也八股的说Scraping最后还是让使用者快乐,而使用者才是这些资料的主人云云。但「强刮」这种东西本来就是一体两面,谁辩谁有理,到最后就是「资源」的问题而已。不如来想想,有没有可能和「盗连」一样?

Google、Yahoo、Amazon、Facebook这些大公司,表面上提供资料服务让人「强刮」,但其实仍然带着「保留」。而且,「强刮」所需要的技术难度相对仍比「盗连」高,再精心设计的程序界面与再大量的实例,仍然需要懂程序语言才可以做「强刮」。真正让YouTube起飞的,最后还是得仰赖全民,而全民除了写程序以外,其实他们的「兴趣」、「创意」都不比程序设计师差,可以千奇百怪的去使用Google、Yahoo、Amazon、 Facebook的资料。这个商业机会我想是相当明显,假如可以做出一个让任何人都能强刮资料、放到自己首页的服务,而该母站本身的资料已经充足(或是本身也从合法的「强刮」去充足自己的资料),将会是个很大的机会。而且,此第一个「100%拥抱强刮」的网站,和第一个「100%拥抱盗连」的 YouTube不同,它会是一个和「全民作生意」有关的网站。这个关于「强刮」站,我想,将有希望在今年明年后年,挑战下一个堪比YouTube的大成功。


发表评论| 收藏此页到365Key
相关讨论

    没有评论        

刘威麟介绍

刘威麟 笔名Mr.6,三十年前出生于台北,十五年前开始旅居异乡,十二年前以C语言自制图面软件,十年前推出个人第一个商业网站,六年前自美国史丹佛取得此生最高学位,五年前开始写商业专栏,四年前开始出书,三年前开始接触创投(VC),两年前回台湾定居,一年前结婚,着有《抢先布局十年后》、《别学北极熊》、《在C点布局》等八本作品。现任社区网站 Voofox.com 的CEO,带领一支国际创业团队投身互联网事业。

Voofox.com招聘贤才!(职位:市场助理1名;工作地点:上海漕河泾开发区。)
Voofox是一家初创的互联网公司,应聘者可以先Google搜索Mr.6 和 Voofox关键字了解我们的情况,然后再看职位要求:
1. 熟悉计算机文字处理软件操作,能处理公司日常文档工作
2. 负责协助经营媒体关系、公关项目执行及中、大型业界活动参展等
3. 工作生活态度积极、有较强的沟通能力
4. 对互联网有兴趣

有意者请发送简历至: moree@voofox.com;如有行业同仁可以推荐,我们将不胜感激。
刘威麟的栏目

刘威麟更新

本站更新

本站焦点

刘威麟归档

>>More
关于我们 [English] | 合作联系 | 版权信息 | 聚会相册 | 友情连接 | 使用指南
Copyright (C) 2000-2005 DoNews.COM ( IT社区&媒体平台 )
All Rights reserved.