成人网站对技术的要求到底有多高?-利来国际登录

转自:大数据文摘|bigdatadigest

上网之人,多少都会接触过成人网站。这是一个举世公认的事实。


不过这是一个难以洞察的领域,因为相关数据少之又少。我们知道成人网站都是那些在互联网上有着超高流量的网站。根据 google doubleclick 的 ad planner 服务(通过cookie跟踪网民)显示,全球 top 500 网站中,就有数十个成人网站。全球最大的色情网站 xvideos 每月网页浏览量(page views,pv)高达 44 亿,是 cnn 或 espn 新闻网站的 3 倍,是 reddit 的 2 倍。livejasmin 也不小。除了 google 和 facebook 等大站,其他网站在youporn、tube8 和 pornhub 面前都是小巫见大巫。


虽然网页浏览量是一个很好的起始点,但它们仅告诉我们某些色情网站比某些非色情网站要受欢迎。40亿的pv,听起来很多,但当我们把那些x站用户实际在做的事考虑进来,成人网站的大小和规模就有点明朗了。


色情网站和非色情网站的利来国际登录主页区别是访客的平均停留时间。诸如 engadget 等新闻网站的平均停留时间是 3 – 6 分钟,大约是是阅读 1 – 2 篇文章。然而色情网站的停留时间,大约是在 15 – 20 分钟。


大部分网站的内容主要是文本和图像,而成人大站则是视频。ext利来手机娱乐首页完全加载大约是几兆数据,打开一篇文章,大约是500kb数据。访问色情网站,假设是打开一个 480×200 低分辨率的视频,每秒传输 100 kb 数据。15 分钟的话,那就大约是 90 mb 数据了。


xvdo 每月有 3.5 亿访问次数,乘以 90 mb,那就每月传输大约 29 pb 数据,也就是每秒传送数据约 50 gb。做个对比,你家网络连接可能每秒传送两兆(2 mb),xvdo是你家的 25,000 倍。


简而言之,色情网站是在处理天文数字级别的数据。在原始带宽(raw bandwidth)方面,能与之匹敌的网站,也就只有 youtube 或 hulu,而 youporn 却又是 hulu 的 6 倍。


基础设施


就支持视频所需的资源,数据存储器、cpu 周期、i/o 和带宽,远超过文本和图像所需要的资源。


当然了,虽然每个网站的情况又不一样了,但大部分成人站点都有 50 至 200 tb 的成人资料。对一个网站来说,这是个大数目(google、facebook、blogger 和 youtube 之流存储的数据比这还要多),好在现在 2 tb 的硬盘便宜。


cpu 周期和 i/o 会影响视频流和 pv 数量。首先,色情网站要提供动态、可搜索的海量视频数据库,然后点播视频时,从硬盘读取文件,再网络上传输。如果你有过在局域网传送大量大文件的经历,你就会知道网络系统的压力有多大了。


硬件设备情况,实际上我们几乎无法知晓,因为色情网站也没公布过。虽然如此,但我们讨论的大型色情网站会有四核服务器、千兆交换机、负载均衡器。在软件方面,大部分大型色情网站都会使用超高吞吐量的数据库(比如 redis )来存储和提供视频,还有轻量级的 http 服务器(比如 nginx )。


最后说带宽。还是以 xvideos 为例(基于 ad planner 的数据估测),大型色情网站必须有足够的连通性(connectivity)来支撑每秒 50 gb(400gbps )。这还只是平均传输速率。在高峰期间,xvideos 或许要 1,000gbps  (1tbps) ,或更高 。在伦敦和纽约直接的连通性也才 15tbps。

有很多方法来处理高流量:自己搞个数据中心,或者去大数据中心租赁几排架的服务器,或者使用诸如 amazon aws 和 microsoft azure 之类的云服务。


真实案例


ypn是全球第二大的色情网站,足够提供研究数据。另外要说一下,doubleclick  的 ad planner 中的估测数据比实际数据要低很多的。


ypn有“超过 100 tb 的干货”,每天网页浏览量超过 1 亿。总而言,这相当于每天传送 950 tb 数据(大部分都是视频流),每月大约传送 29 pb。xvideos 肯定不止 28 pb 这个估测值了,它可能是每月 35 – 40 tb。


在高峰期,ypn每秒得响应 4000 个网页,相当于有每秒 100 gb 或(800 gbps )的突发流量。这相当月每秒传送 10 张双层 dvd。


在软件方面,ypn的主数据库是 redis,用 mysql 作为管理工具,用于管理和向 redis 簇中添加数据。后端是 perl 和 mysql,不过在 2011 年改成了 php redis。http 服务器是 nginx,同时用 haproxy  和 varnish  做负载均衡。redis 服务器可以每秒处理 30 万请求,每小时记录下 8 – 15 gb数据,包括访客日志、行为数据等。据说 redis 可以抗住 2 亿的日 pv。


(译注:2012年2月份,ypn的技术人员 eric pickup 在 google 群组宣告他们网站改用 redis db 后。扛住了每天1亿pv浏览量,每秒30万请求,已经坚持 2 周。eric 还将去加拿大一个技术大会分享经验。)


令人悲伤的是,ypn拒绝透露硬件设备信息。从 ypn的 cdn 的 ip 地址来看,它应该没有使用云服务,应该托管在某地的大型数据中心。


互联网每天大约处理 1/2 eb 数据,相当于每秒处理 50tb, ypn的 800gbps 这个数字,几乎就占了互联网中每秒流量的 2%。而全球有几十个和 youporn 规模相当的色情网站。互联网流量中色情内容占据了 30%,这个说法也就不是不现实的哦。

(译注:1 eb = 1024 pb = 1024 * 1024 tb = 1024 * 1024 * 1024 gb)






返回观点列表
本文标签:

相关专题

  • 品牌利来手机网址官网设计

    杭州派迪科技为高端客户提供品牌利来手机网址官网咨询策划,品牌利来手机网址官网设计,品牌利来手机网址官网建设开发服务,以国际化视野和标准为基础,为各行业领军品牌提供高端企业网站定制、策划、设计、互动与制作

    查看详情
  • 大策略营销门户网站

    杭州派迪科技有自己的营销型网站cms系统,适合白帽seo网站。特别对大策略的营销型门户网站制作有一定的经验,曾经为上海天擎外贸行业网站、浙江兆龙营销型门户、先临三维门户营销网站提供全程的利来手机娱乐的技术支持及seo优化指导

    查看详情
  • 集团/上市公司网站

    杭州派迪科技为杭州本地集团公司提供网页设计、制作、开发服务,为集团公司网站建设提供了响应式、营销型、品牌型、门户型网站建设需求,欢迎广大集团公司客户咨询

    查看详情
  • 外贸网站建设

    杭州派迪科技为高端客户提供外贸网站咨询策划,外贸利来手机网址官网设计,外贸利来手机网址官网建设开发服务,以谷歌搜索引起算法为基础,为各行业外贸公司提供高端企业外贸网站定制、策划、设计、互动与制作

    查看详情
  • 企业网站建设

    高端专业、令人印象深刻的用户界面、易于访问——企业网站必须反映一切,因为派迪科技在这里提供帮助,凭借精湛的技术、丰富的经验、与客户的持续沟通以及对每一个细节的关注,我们确保在快速的周期时间内提供优质的服务。

    查看详情
  • 杭州派迪科技模板网站建设专题_各行业方案专题栏目提供各行业产品适合的网站建设方案,帮助企业了解派迪科技建站效果等信息,您可以通过本站了解各行业网站建设方案,如需要获取本行业定制网站建设方案,可以联系在线客服或拨打电话咨询

体验从沟通开始,让我们聆听您的需求!

开始您的数字化品牌体验! 0571-85815193 期待您的来电!

[ 网站建设×品牌利来手机网址官网设计×大策略营销门户×微信小程序开发×微信公众号开发]

派迪业务总监微信号

了解最新项目报价

派迪产品经理钉钉号

免费获取项目方案

我们正使用 cookie 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookie 。

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

cookie 偏好

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

管理cookie偏好

基本 cookie

始终允许

这些 cookie 是网站运行所必需的,不能在我们的系统中关闭。它们通常仅针对您所做的相当于服务请求的操作而设置,例如设置您的隐私首选项、登录或填写表格。您可以将浏览器设置为阻止或提醒您有关这些 cookie 的信息,但网站的某些部分将无法运行。这些 cookie 不存储任何个人身份信息。

性能 cookie

始终允许
这些 cookie 使我们能够计算访问量和流量来源,以便我们可以衡量和改进我们网站的性能。它们帮助我们了解哪些页面最受欢迎和最不受欢迎,并了解访问者如何在网站上移动。这些 cookie 收集的所有信息都是汇总的,而且是匿名的。如果您不允许这些 cookie,我们将不知道您何时访问了我们的网站,也无法监控其性能。

功能性 cookie

这些 cookie 收集信息用于分析和个性化您的定向广告体验。您可以使用此拨动开关来行使选择不获取个人信息的权利。如果您选择关闭,我们将无法向您提供个性化广告,也不会将您的个人信息交给任何第三方。

定位 cookie

这些 cookie 可能由我们的广告利来国际登录的合作伙伴通过我们的网站设置。这些公司可能会使用它们来建立您的兴趣档案,并在其他网站上向您展示相关广告。它们不直接存储个人信息,而是基于唯一标识您的浏览器和互联网设备。如果您不允许使用这些 cookie,您将体验到较少针对性的广告。

我们正使用 cookie 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookie 。

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》