Fwd: [CPeX] 豆瓣的 Web 服务器

classic Classic list List threaded Threaded
12 messages Options
Reply | Threaded
Open this post in threaded view
|

Fwd: [CPeX] 豆瓣的 Web 服务器

Zoom.Quiet
已经有人持续关注成功的Py 网站了哪,
好看也可以協同豆瓣,PK 一下响应增长和系统结构的经验了哪,
BPyUG 的会课,豆瓣消失很久了,招唤哪^__^

---------- Forwarded message ----------
From: ? <[hidden email]>
Date: 2008/1/17
Subject: [CPeX] 豆瓣的 Web 服务器
To: Copy&Paste Exchange小组 <[hidden email]>




Sent to you by ? via Google Reader:



豆瓣的 Web 服务器
via DBA notes by Fenng on 1/16/08


作者:Fenng 发布在 dbanotes.net. 订阅 DBA notes

豆瓣最近发布新功能有些"疯狂",所以服务器也有新的部署。看到阿北同学在豆瓣广播里说: 豆瓣的第二台应用服务器终于投入了使用。Hongqn
忙了一晚上就完成了部署。第一台服务器支撑到 500 万动态PV/天,服务 On Demand 即时分布式部署......


500 万 PV , 还是动态 PV, 是个很惊人的数字。因为,如果都能达到一台机器支撑 500 万,那么国内稍有点规模的网站(就说动态
PV 上亿的吧),只需要 20 台 Web 服务器就够了。事实上,即使比较强调技术的网站怕也要上百台 Web 服务器的规模。

我们知道豆瓣用 Lighttpd 做 Web 服务器。 从侦测到的数据看,目前线上有两个版本。 $ curl -I http://www.douban.com
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.15


另外一个版本: $ curl -I http://www.douban.com/people/ahbei/
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.18


其实豆瓣服务器还有个更为惊人的性能数字。从这个 Powered by Lighttpd 的列表来看,豆瓣在一台 Gentoo
服务器上的记录是 1200 万/天的点击量。这应该是动、静态页面混合情况下的吧。

有同事对这个数据有些好奇,问我到底豆瓣是用啥做的服务器,其实这个问题我也问过阿北,他们就是自己攒的 PC
服务器,然后把性能发挥到极致。阿北也表示过,即使现在豆瓣流量激增个十倍啥的性能也不会是问题。这也是从起始就考虑扩展性的收益吧。

这里这位老兄用 七个 Mongrels 实例(也是一台Server)跑了 55 万 PV (thanks Robin 纠正)
就蛮自豪的,所以豆瓣的一台跑了"500 万动态 PV" 的确非常惊人。

Updated 2008-1-17 0:57:09

阿北留言了。主要是上面的有的数据还是旧的: Lighty
网站上的数字很久没有去更新了。现在豆瓣的web服务器(lighttpd)每天估计2500万 Hits, 高峰时间大约1000 req/s
(这里说的是主要输出HTML/CSS/JS和小图片的一台前端。大图片有另外的web服务器)。
我在广播里说500万PV/天的是应用服务器,就是lighty和mysql之间跑python的那台。现在豆瓣大多数PV来自注册用户,每个页面都需要几到十几种类的动态数据。
现在的服务器只是单片双核的opteron。换4核的话,应该能到一台1000万PV/ 天。


友情提醒,留言很精彩,敬请查看。不过在这个 Blog 上留言的确用户体验很糟糕(我也很烦),相信本周末能得到解决。 --EOF--

相关文章|Related Articles


AWStats 6.7 正式版发布
网站统计系统--中国雅虎新产品
图片防盗链应适可而止
Web 2.0 站点扩展性问题随感

评论数量(15)|Add Comments

本文网址:http://www.dbanotes.net/arch/douban_web_server.html
 最近作者还说了什么? Follow Twitter / Fenng






Things you can do from here:
Subscribe to DBA notes using Google Reader
Get started using Google Reader to easily keep up with all your favorite sites

  --~--~---------~--~----~------------~-------~--~----~
 "Copy&Paste Exchange" group.
 http://groups-beta.google.com/group/mindex?hl=zh-CN
 -~----------~----~----~----~------~----~------~--~---




--
'''Time is unimportant, only life important!
过程改进乃是开始催生可促生靠谱的人的组织!
'''http://zoomquiet.org
博 @ http://blog.zoomquiet.org/pyblosxom/
维 @ http://wiki.woodpecker.org.cn/moin/ZoomQuiet
豆 @ http://www.douban.com/people/zoomq/
看 @ http://zoomq.haokanbu.com/
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Pls. usage OOo to replace M$ Office. http://zh.openoffice.org
Pls. usage 7-zip to replace WinRAR/WinZip.  http://7-zip.org
You can get the truely Freedom 4 software.
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: Fwd: [CPeX] 豆瓣的 Web 服务器

Lich_Ray
非常非常的佩服,虽然已经猜到是lighttpd,但这个能量,不知道是不是使用了Python的轻量级线程库。

在08-1-17,Zoom. Quiet <[hidden email]> 写道:
已经有人持续关注成功的Py 网站了哪,
好看也可以�f同豆瓣,PK 一下响应增长和系统结构的经验了哪,
BPyUG 的会课,豆瓣消失很久了,招唤哪^__^

---------- Forwarded message ----------
From: ? <[hidden email]>
Date: 2008/1/17
Subject: [CPeX] 豆瓣的 Web 服务器
To: Copy&Paste Exchange小组 <[hidden email]>




Sent to you by ? via Google Reader:



豆瓣的 Web 服务器
via DBA notes by Fenng on 1/16/08


作者:Fenng 发布在 <a href="http://dbanotes.net" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">dbanotes.net. 订阅 DBA notes

豆瓣最近发布新功能有些"疯狂",所以服务器也有新的部署。看到阿北同学在豆瓣广播里说: 豆瓣的第二台应用服务器终于投入了使用。Hongqn
忙了一晚上就完成了部署。第一台服务器支撑到 500 万动态PV/天,服务 On Demand 即时分布式部署......


500 万 PV , 还是动态 PV, 是个很惊人的数字。因为,如果都能达到一台机器支撑 500 万,那么国内稍有点规模的网站(就说动态
PV 上亿的吧),只需要 20 台 Web 服务器就够了。事实上,即使比较强调技术的网站怕也要上百台 Web 服务器的规模。

我们知道豆瓣用 Lighttpd 做 Web 服务器。 从侦测到的数据看,目前线上有两个版本。 $ curl -I <a href="http://www.douban.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> http://www.douban.com
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.15


另外一个版本: $ curl -I <a href="http://www.douban.com/people/ahbei/" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> http://www.douban.com/people/ahbei/
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.18


其实豆瓣服务器还有个更为惊人的性能数字。从这个 Powered by Lighttpd 的列表来看,豆瓣在一台 Gentoo
服务器上的记录是 1200 万/天的点击量。这应该是动、静态页面混合情况下的吧。

有同事对这个数据有些好奇,问我到底豆瓣是用啥做的服务器,其实这个问题我也问过阿北,他们就是自己攒的 PC
服务器,然后把性能发挥到极致。阿北也表示过,即使现在豆瓣流量激增个十倍啥的性能也不会是问题。这也是从起始就考虑扩展性的收益吧。

这里这位老兄用 七个 Mongrels 实例(也是一台Server)跑了 55 万 PV (thanks Robin 纠正)
就蛮自豪的,所以豆瓣的一台跑了"500 万动态 PV" 的确非常惊人。

Updated 2008-1-17 0:57:09

阿北留言了。主要是上面的有的数据还是旧的: Lighty
网站上的数字很久没有去更新了。现在豆瓣的web服务器(lighttpd)每天估计2500万 Hits, 高峰时间大约1000 req/s
(这里说的是主要输出HTML/CSS/JS和小图片的一台前端。大图片有另外的web服务器)。
我在广播里说500万PV/天的是应用服务器,就是lighty和mysql之间跑python的那台。现在豆瓣大多数PV来自注册用户,每个页面都需要几到十几种类的动态数据。
现在的服务器只是单片双核的opteron。换4核的话,应该能到一台1000万PV/ 天。


友情提醒,留言很精彩,敬请查看。不过在这个 Blog 上留言的确用户体验很糟糕(我也很烦),相信本周末能得到解决。 --EOF--

相关文章|Related Articles


AWStats 6.7 正式版发布
网站统计系统--中国雅虎新产品
图片防盗链应适可而止
Web 2.0 站点扩展性问题随感

评论数量(15)|Add Comments

本文网址:<a href="http://www.dbanotes.net/arch/douban_web_server.html" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://www.dbanotes.net/arch/douban_web_server.html
最近作者还说了什么? Follow Twitter / Fenng






Things you can do from here:
Subscribe to DBA notes using Google Reader
Get started using Google Reader to easily keep up with all your favorite sites

  --~--~---------~--~----~------------~-------~--~----~
"Copy&Paste Exchange" group.
<a href="http://groups-beta.google.com/group/mindex?hl=zh-CN" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://groups-beta.google.com/group/mindex?hl=zh-CN
-~----------~----~----~----~------~----~------~--~---




--
'''Time is unimportant, only life important!
过程改进乃是开始催生可促生靠谱的人的组织!
'''<a href="http://zoomquiet.org" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> http://zoomquiet.org
博 @ <a href="http://blog.zoomquiet.org/pyblosxom/" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> http://blog.zoomquiet.org/pyblosxom/
维 @ <a href="http://wiki.woodpecker.org.cn/moin/ZoomQuiet" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://wiki.woodpecker.org.cn/moin/ZoomQuiet
豆 @ <a href="http://www.douban.com/people/zoomq/" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://www.douban.com/people/zoomq/
看 @ <a href="http://zoomq.haokanbu.com/" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://zoomq.haokanbu.com/
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Pls. usage OOo to replace M$ Office. <a href="http://zh.openoffice.org" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://zh.openoffice.org
Pls. usage 7-zip to replace WinRAR/WinZip.  <a href="http://7-zip.org" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://7-zip.org
You can get the truely Freedom 4 software.
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to   [hidden email]
Detail Info: <a href="http://python.cn/mailman/listinfo/python-chinese" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> http://python.cn/mailman/listinfo/python-chinese



--
Ray Stinger, nickname Lich_Ray
God is in his heaven, all's right with the world.
-------------------------------------------------
let focus = 'computing' in where:
<a href="http://lichray.javaeye.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">http://lichray.javaeye.com
let focus = 'computing' in here:
<a href="http://lichray.bokeland.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> http://lichray.bokeland.com
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: Fwd: [CPeX] 豆瓣的 Web 服务器

cougar cougar
apache现在被严重鄙视啊,难道真的老了?
 

cougar2008
2008-01-17

发件人: Lich_Ray
发送时间: 2008-01-17 21:03:36
收件人: [hidden email]
抄送: [hidden email]; Python.cn@google; [hidden email]
主题: Re: [python-chinese]Fwd: [CPeX] 豆瓣的 Web 服务器
 
非常非常的佩服,虽然已经猜到是lighttpd,但这个能量,不知道是不是使用了Python的轻量级线程库。

在08-1-17,Zoom. Quiet <[hidden email]> 写道:
已经有人持续关注成功的Py 网站了哪,
好看也可以�f同豆瓣,PK 一下响应增长和系统结构的经验了哪,
BPyUG 的会课,豆瓣消失很久了,招唤哪^__^

---------- Forwarded message ----------
From: ? <[hidden email]>
Date: 2008/1/17
Subject: [CPeX] 豆瓣的 Web 服务器
To: Copy&Paste Exchange小组 <[hidden email]>




Sent to you by ? via Google Reader:



豆瓣的 Web 服务器
via DBA notes by Fenng on 1/16/08


作者:Fenng 发布在 <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://dbanotes.net" target=_blank>dbanotes.net. 订阅 DBA notes

豆瓣最近发布新功能有些"疯狂",所以服务器也有新的部署。看到阿北同学在豆瓣广播里说: 豆瓣的第二台应用服务器终于投入了使用。Hongqn
忙了一晚上就完成了部署。第一台服务器支撑到 500 万动态PV/天,服务 On Demand 即时分布式部署......


500 万 PV , 还是动态 PV, 是个很惊人的数字。因为,如果都能达到一台机器支撑 500 万,那么国内稍有点规模的网站(就说动态
PV 上亿的吧),只需要 20 台 Web 服务器就够了。事实上,即使比较强调技术的网站怕也要上百台 Web 服务器的规模。

我们知道豆瓣用 Lighttpd 做 Web 服务器。 从侦测到的数据看,目前线上有两个版本。 $ curl -I <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.douban.com" target=_blank>http://www.douban.com
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.15


另外一个版本: $ curl -I <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.douban.com/people/ahbei/" target=_blank>http://www.douban.com/people/ahbei/
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.18


其实豆瓣服务器还有个更为惊人的性能数字。从这个 Powered by Lighttpd 的列表来看,豆瓣在一台 Gentoo
服务器上的记录是 1200 万/天的点击量。这应该是动、静态页面混合情况下的吧。

有同事对这个数据有些好奇,问我到底豆瓣是用啥做的服务器,其实这个问题我也问过阿北,他们就是自己攒的 PC
服务器,然后把性能发挥到极致。阿北也表示过,即使现在豆瓣流量激增个十倍啥的性能也不会是问题。这也是从起始就考虑扩展性的收益吧。

这里这位老兄用 七个 Mongrels 实例(也是一台Server)跑了 55 万 PV (thanks Robin 纠正)
就蛮自豪的,所以豆瓣的一台跑了"500 万动态 PV" 的确非常惊人。

Updated 2008-1-17 0:57:09

阿北留言了。主要是上面的有的数据还是旧的: Lighty
网站上的数字很久没有去更新了。现在豆瓣的web服务器(lighttpd)每天估计2500万 Hits, 高峰时间大约1000 req/s
(这里说的是主要输出HTML/CSS/JS和小图片的一台前端。大图片有另外的web服务器)。
我在广播里说500万PV/天的是应用服务器,就是lighty和mysql之间跑python的那台。现在豆瓣大多数PV来自注册用户,每个页面都需要几到十几种类的动态数据。
现在的服务器只是单片双核的opteron。换4核的话,应该能到一台1000万PV/ 天。


友情提醒,留言很精彩,敬请查看。不过在这个 Blog 上留言的确用户体验很糟糕(我也很烦),相信本周末能得到解决。 --EOF--

相关文章|Related Articles


AWStats 6.7 正式版发布
网站统计系统--中国雅虎新产品
图片防盗链应适可而止
Web 2.0 站点扩展性问题随感

评论数量(15)|Add Comments

本文网址:<A onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.dbanotes.net/arch/douban_web_server.html" target=_blank>http://www.dbanotes.net/arch/douban_web_server.html
最近作者还说了什么? Follow Twitter / Fenng






Things you can do from here:
Subscribe to DBA notes using Google Reader
Get started using Google Reader to easily keep up with all your favorite sites

  --~--~---------~--~----~------------~-------~--~----~
"Copy&Paste Exchange" group.
<A onclick="return top.js.OpenExtLink(window,event,this)" href="http://groups-beta.google.com/group/mindex?hl=zh-CN" target=_blank>http://groups-beta.google.com/group/mindex?hl=zh-CN
-~----------~----~----~----~------~----~------~--~---




--
'''Time is unimportant, only life important!
过程改进乃是开始催生可促生靠谱的人的组织!
'''<A onclick="return top.js.OpenExtLink(window,event,this)" href="http://zoomquiet.org" target=_blank> http://zoomquiet.org
博 @ <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://blog.zoomquiet.org/pyblosxom/" target=_blank>http://blog.zoomquiet.org/pyblosxom/
维 @ <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://wiki.woodpecker.org.cn/moin/ZoomQuiet" target=_blank>http://wiki.woodpecker.org.cn/moin/ZoomQuiet
豆 @ <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.douban.com/people/zoomq/" target=_blank>http://www.douban.com/people/zoomq/
看 @ <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://zoomq.haokanbu.com/" target=_blank>http://zoomq.haokanbu.com/
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Pls. usage OOo to replace M$ Office. <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://zh.openoffice.org" target=_blank>http://zh.openoffice.org
Pls. usage 7-zip to replace WinRAR/WinZip.  <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://7-zip.org" target=_blank>http://7-zip.org
You can get the truely Freedom 4 software.
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to   [hidden email]
Detail Info: <A onclick="return top.js.OpenExtLink(window,event,this)" href="http://python.cn/mailman/listinfo/python-chinese" target=_blank>http://python.cn/mailman/listinfo/python-chinese



--
Ray Stinger, nickname Lich_Ray
God is in his heaven, all's right with the world.
-------------------------------------------------
let focus = 'computing' in where:
<A onclick="return top.js.OpenExtLink(window,event,this)" href="http://lichray.javaeye.com" target=_blank>http://lichray.javaeye.com
let focus = 'computing' in here:
<A onclick="return top.js.OpenExtLink(window,event,this)" href="http://lichray.bokeland.com" target=_blank>http://lichray.bokeland.com

_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

RE: Fwd: [CPeX] 豆瓣的 Web 服务器

nathan.wu
不知道这里的动态pv只的是那些
每个request都要读db,然后generate html page吗?



Date: Thu, 17 Jan 2008 21:57:39 +0800
From: [hidden email]
To: [hidden email]
Subject: Re: [python-chinese] Fwd: [CPeX] 豆瓣的 Web 服务器

apache现在被严重鄙视啊,难道真的老了?
 

cougar2008
2008-01-17

发件人: Lich_Ray
发送时间: 2008-01-17 21:03:36
收件人: [hidden email]
抄送: [hidden email]; Python.cn@google; [hidden email]
主题: Re: [python-chinese]Fwd: [CPeX] 豆瓣的 Web 服务器
 
非常非常的佩服,虽然已经猜到是lighttpd,但这个能量,不知道是不是使用了Python的轻量级线程库。

在08-1-17,Zoom. Quiet <[hidden email]> 写道:
已经有人持续关注成功的Py 网站了哪,
好看也可以�f同豆瓣,PK 一下响应增长和系统结构的经验了哪,
BPyUG 的会课,豆瓣消失很久了,招唤哪^__^

---------- Forwarded message ----------
From: ? <[hidden email]>
Date: 2008/1/17
Subject: [CPeX] 豆瓣的 Web 服务器
To: Copy&Paste Exchange小组 <[hidden email]>




Sent to you by ? via Google Reader:



豆瓣的 Web 服务器
via DBA notes by Fenng on 1/16/08


作者:Fenng 发布在 dbanotes.net. 订阅 DBA notes

豆瓣最近发布新功能有些"疯狂",所以服务器也有新的部署。看到阿北同学在豆瓣广播里说: 豆瓣的第二台应用服务器终于投入了使用。Hongqn
忙了一晚上就完成了部署。第一台服务器支撑到 500 万动态PV/天,服务 On Demand 即时分布式部署......


500 万 PV , 还是动态 PV, 是个很惊人的数字。因为,如果都能达到一台机器支撑 500 万,那么国内稍有点规模的网站(就说动态
PV 上亿的吧),只需要 20 台 Web 服务器就够了。事实上,即使比较强调技术的网站怕也要上百台 Web 服务器的规模。

我们知道豆瓣用 Lighttpd 做 Web 服务器。 从侦测到的数据看,目前线上有两个版本。 $ curl -I http://www.douban.com
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.15


另外一个版本: $ curl -I http://www.douban.com/people/ahbei/
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.18


其实豆瓣服务器还有个更为惊人的性能数字。从这个 Powered by Lighttpd 的列表来看,豆瓣在一台 Gentoo
服务器上的记录是 1200 万/天的点击量。这应该是动、静态页面混合情况下的吧。

有同事对这个数据有些好奇,问我到底豆瓣是用啥做的服务器,其实这个问题我也问过阿北,他们就是自己攒的 PC
服务器,然后把性能发挥到极致。阿北也表示过,即使现在豆瓣流量激增个十倍啥的性能也不会是问题。这也是从起始就考虑扩展性的收益吧。

这里这位老兄用 七个 Mongrels 实例(也是一台Server)跑了 55 万 PV (thanks Robin 纠正)
就蛮自豪的,所以豆瓣的一台跑了"500 万动态 PV" 的确非常惊人。

Updated 2008-1-17 0:57:09

阿北留言了。主要是上面的有的数据还是旧的: Lighty
网站上的数字很久没有去更新了。现在豆瓣的web服务器(lighttpd)每天估计2500万 Hits, 高峰时间大约1000 req/s
(这里说的是主要输出HTML/CSS/JS和小图片的一台前端。大图片有另外的web服务器)。
我在广播里说500万PV/天的是应用服务器,就是lighty和mysql之间跑python的那台。现在豆瓣大多数PV来自注册用户,每个页面都需要几到十几种类的动态数据。
现在的服务器只是单片双核的opteron。换4核的话,应该能到一台1000万PV/ 天。


友情提醒,留言很精彩,敬请查看。不过在这个 Blog 上留言的确用户体验很糟糕(我也很烦),相信本周末能得到解决。 --EOF--

相关文章|Related Articles


AWStats 6.7 正式版发布
网站统计系统--中国雅虎新产品
图片防盗链应适可而止
Web 2.0 站点扩展性问题随感

评论数量(15)|Add Comments

本文网址:http://www.dbanotes.net/arch/douban_web_server.html
最近作者还说了什么? Follow Twitter / Fenng






Things you can do from here:
Subscribe to DBA notes using Google Reader
Get started using Google Reader to easily keep up with all your favorite sites

  --~--~---------~--~----~------------~-------~--~----~
"Copy&Paste Exchange" group.
http://groups-beta.google.com/group/mindex?hl=zh-CN
-~----------~----~----~----~------~----~------~--~---




--
'''Time is unimportant, only life important!
过程改进乃是开始催生可促生靠谱的人的组织!
''' http://zoomquiet.org
博 @ http://blog.zoomquiet.org/pyblosxom/
维 @ http://wiki.woodpecker.org.cn/moin/ZoomQuiet
豆 @ http://www.douban.com/people/zoomq/
看 @ http://zoomq.haokanbu.com/
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Pls. usage OOo to replace M$ Office. http://zh.openoffice.org
Pls. usage 7-zip to replace WinRAR/WinZip.  http://7-zip.org
You can get the truely Freedom 4 software.
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to   [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese



--
Ray Stinger, nickname Lich_Ray
God is in his heaven, all's right with the world.
-------------------------------------------------
let focus = 'computing' in where:
http://lichray.javaeye.com
let focus = 'computing' in here:
http://lichray.bokeland.com


轻松把Hotmail下载到本地,试试 Windows Live Mail。 立即尝试!
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: Fwd: [CPeX] 豆瓣的 Web 服务器

leopay
On 1/17/08, cunheise <[hidden email]> wrote:
不知道这里的动态pv只的是那些
每个request都要读db,然后generate html page吗?
 
阿北说过里面用了很多的cache
 
 


Date: Thu, 17 Jan 2008 21:57:39 +0800
From: [hidden email]
To: [hidden email]
Subject: Re: [python-chinese] Fwd: [CPeX] 豆瓣的 Web 服务器


apache现在被严重鄙视啊,难道真的老了?
 

cougar2008
2008-01-17

发件人: Lich_Ray
发送时间: 2008-01-17 21:03:36
收件人: [hidden email]
抄送: [hidden email]; Python.cn@google ; [hidden email]
主题: Re: [python-chinese]Fwd: [CPeX] 豆瓣的 Web 服务器
 
非常非常的佩服,虽然已经猜到是lighttpd,但这个能量,不知道是不是使用了Python的轻量级线程库。

在08-1-17,Zoom. Quiet <[hidden email]> 写道:
已经有人持续关注成功的Py 网站了哪,
好看也可以�f同豆瓣,PK 一下响应增长和系统结构的经验了哪,
BPyUG 的会课,豆瓣消失很久了,招唤哪^__^

---------- Forwarded message ----------
From: ? < [hidden email]>
Date: 2008/1/17
Subject: [CPeX] 豆瓣的 Web 服务器
To: Copy&Paste Exchange小组 < [hidden email]>




Sent to you by ? via Google Reader:



豆瓣的 Web 服务器
via DBA notes by Fenng on 1/16/08


作者:Fenng 发布在 <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://dbanotes.net/" target="_blank">dbanotes.net. 订阅 DBA notes

豆瓣最近发布新功能有些"疯狂",所以服务器也有新的部署。看到阿北同学在豆瓣广播里说: 豆瓣的第二台应用服务器终于投入了使用。Hongqn
忙了一晚上就完成了部署。第一台服务器支撑到 500 万动态PV/天,服务 On Demand 即时分布式部署......


500 万 PV , 还是动态 PV, 是个很惊人的数字。因为,如果都能达到一台机器支撑 500 万,那么国内稍有点规模的网站(就说动态
PV 上亿的吧),只需要 20 台 Web 服务器就够了。事实上,即使比较强调技术的网站怕也要上百台 Web 服务器的规模。

我们知道豆瓣用 Lighttpd 做 Web 服务器。 从侦测到的数据看,目前线上有两个版本。 $ curl -I <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.douban.com/" target="_blank">http://www.douban.com
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.15


另外一个版本: $ curl -I <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.douban.com/people/ahbei/" target="_blank">http://www.douban.com/people/ahbei/
HTTP/1.1 200 OK
.....(无关内容略)
Server: lighttpd/1.4.18


其实豆瓣服务器还有个更为惊人的性能数字。从这个 Powered by Lighttpd 的列表来看,豆瓣在一台 Gentoo
服务器上的记录是 1200 万/天的点击量。这应该是动、静态页面混合情况下的吧。

有同事对这个数据有些好奇,问我到底豆瓣是用啥做的服务器,其实这个问题我也问过阿北,他们就是自己攒的 PC
服务器,然后把性能发挥到极致。阿北也表示过,即使现在豆瓣流量激增个十倍啥的性能也不会是问题。这也是从起始就考虑扩展性的收益吧。

这里这位老兄用 七个 Mongrels 实例(也是一台Server)跑了 55 万 PV (thanks Robin 纠正)
就蛮自豪的,所以豆瓣的一台跑了"500 万动态 PV" 的确非常惊人。

Updated 2008-1-17 0:57:09

阿北留言了。主要是上面的有的数据还是旧的: Lighty
网站上的数字很久没有去更新了。现在豆瓣的web服务器(lighttpd)每天估计2500万 Hits, 高峰时间大约1000 req/s
(这里说的是主要输出HTML/CSS/JS和小图片的一台前端。大图片有另外的web服务器)。
我在广播里说500万PV/天的是应用服务器,就是lighty和mysql之间跑python的那台。现在豆瓣大多数PV来自注册用户,每个页面都需要几到十几种类的动态数据。
现在的服务器只是单片双核的opteron。换4核的话,应该能到一台1000万PV/ 天。


友情提醒,留言很精彩,敬请查看。不过在这个 Blog 上留言的确用户体验很糟糕(我也很烦),相信本周末能得到解决。 --EOF--

相关文章|Related Articles


AWStats 6.7 正式版发布
网站统计系统--中国雅虎新产品
图片防盗链应适可而止
Web 2.0 站点扩展性问题随感

评论数量(15)|Add Comments

本文网址:<a onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.dbanotes.net/arch/douban_web_server.html" target="_blank"> http://www.dbanotes.net/arch/douban_web_server.html
最近作者还说了什么? Follow Twitter / Fenng






Things you can do from here:
Subscribe to DBA notes using Google Reader
Get started using Google Reader to easily keep up with all your favorite sites

  --~--~---------~--~----~------------~-------~--~----~
"Copy&Paste Exchange" group.
<a onclick="return top.js.OpenExtLink(window,event,this)" href="http://groups-beta.google.com/group/mindex?hl=zh-CN" target="_blank"> http://groups-beta.google.com/group/mindex?hl=zh-CN
-~----------~----~----~----~------~----~------~--~---




--
'''Time is unimportant, only life important!
过程改进乃是开始催生可促生靠谱的人的组织!
'''<a onclick="return top.js.OpenExtLink(window,event,this)" href="http://zoomquiet.org/" target="_blank"> http://zoomquiet.org
博 @ <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://blog.zoomquiet.org/pyblosxom/" target="_blank"> http://blog.zoomquiet.org/pyblosxom/
维 @ <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://wiki.woodpecker.org.cn/moin/ZoomQuiet" target="_blank">http://wiki.woodpecker.org.cn/moin/ZoomQuiet
豆 @ <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://www.douban.com/people/zoomq/" target="_blank">http://www.douban.com/people/zoomq/
看 @ <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://zoomq.haokanbu.com/" target="_blank"> http://zoomq.haokanbu.com/
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Pls. usage OOo to replace M$ Office. <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://zh.openoffice.org/" target="_blank"> http://zh.openoffice.org
Pls. usage 7-zip to replace WinRAR/WinZip.  <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://7-zip.org/" target="_blank">http://7-zip.org
You can get the truely Freedom 4 software.
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to   [hidden email]
Detail Info: <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://python.cn/mailman/listinfo/python-chinese" target="_blank"> http://python.cn/mailman/listinfo/python-chinese



--
Ray Stinger, nickname Lich_Ray
God is in his heaven, all's right with the world.
-------------------------------------------------
let focus = 'computing' in where:
<a onclick="return top.js.OpenExtLink(window,event,this)" href="http://lichray.javaeye.com/" target="_blank">http://lichray.javaeye.com
let focus = 'computing' in here:
<a onclick="return top.js.OpenExtLink(window,event,this)" href="http://lichray.bokeland.com/" target="_blank">http://lichray.bokeland.com


轻松把Hotmail下载到本地,试试 Windows Live Mail。 <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://get.live.com/wl/all" target="_blank">立即尝试!

_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: <a onclick="return top.js.OpenExtLink(window,event,this)" href="http://python.cn/mailman/listinfo/python-chinese" target="_blank">http://python.cn/mailman/listinfo/python-chinese


_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG:38644] Re: Fwd: [CPeX] 豆瓣的 Web 服务器

Qiangning Hong
In reply to this post by Lich_Ray
2008/1/17 Lich_Ray <[hidden email]>:
> 非常非常的佩服,虽然已经猜到是lighttpd,但这个能量,不知道是不是使用了Python的轻量级线程库。

没有。就是用scgi fork出一批进程,每个都是单线程。用单线程可以不用在代码中考虑线程安全的事情,让代码简单点。

--
Qiangning Hong
http://www.douban.com/people/hongqn/
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: Fwd: [CPeX] 豆瓣的 Web 服务器

Qiangning Hong
In reply to this post by nathan.wu
2008/1/17 cunheise <[hidden email]>:
>  不知道这里的动态pv只的是那些

你访问一次首页,就是一个动态pv。

>  每个request都要读db,然后generate html page吗?

如果没有cache的话,是的。但绝大多数的数据库访问都已经在cache里了。

--
Qiangning Hong
http://www.douban.com/people/hongqn/
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

RE: Fwd: [CPeX] 豆瓣的 Web 服务器

nathan.wu
发一下server的配置吧

> Date: Fri, 18 Jan 2008 11:40:39 +0800
> From: [hidden email]
> To: [hidden email]
> Subject: Re: [python-chinese] Fwd: [CPeX] 豆瓣的 Web 服务器
>
> 2008/1/17 cunheise <[hidden email]>:
> > 不知道这里的动态pv只的是那些
>
> 你访问一次首页,就是一个动态pv。
>
> > 每个request都要读db,然后generate html page吗?
>
> 如果没有cache的话,是的。但绝大多数的数据库访问都已经在cache里了。
>
> --
> Qiangning Hong
> http://www.douban.com/people/hongqn/
> _______________________________________________
> python-chinese
> Post: send [hidden email]
> Subscribe: send subscribe to [hidden email]
> Unsubscribe: send unsubscribe to [hidden email]
> Detail Info: http://python.cn/mailman/listinfo/python-chinese


使用新一代 Windows Live Messenger 轻松交流和共享! 立即体验!
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

RE: RE: Fwd: [CPeX] 豆瓣的 Web 服务器

nathan.wu
我的意思是硬件配置


From: [hidden email]
To: [hidden email]
Date: Fri, 18 Jan 2008 03:43:26 +0000
Subject: [python-chinese] RE: Fwd: [CPeX] 豆瓣的 Web 服务器

发一下server的配置吧

> Date: Fri, 18 Jan 2008 11:40:39 +0800
> From: [hidden email]
> To: [hidden email]
> Subject: Re: [python-chinese] Fwd: [CPeX] 豆瓣的 Web 服务器
>
> 2008/1/17 cunheise <[hidden email]>:
> > 不知道这里的动态pv只的是那些
>
> 你访问一次首页,就是一个动态pv。
>
> > 每个request都要读db,然后generate html page吗?
>
> 如果没有cache的话,是的。但绝大多数的数据库访问都已经在cache里了。
>
> --
> Qiangning Hong
> http://www.douban.com/people/hongqn/
> _______________________________________________
> python-chinese
> Post: send [hidden email]
> Subscribe: send subscribe to [hidden email]
> Unsubscribe: send unsubscribe to [hidden email]
> Detail Info: http://python.cn/mailman/listinfo/python-chinese


使用新一代 Windows Live Messenger 轻松交流和共享! 立即体验!


轻松把Hotmail下载到本地,试试 Windows Live Mail。 立即尝试!
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: Fwd: [CPeX] 豆瓣的 Web 服务器

Qiangning Hong
2008/1/18 cunheise <[hidden email]>:
>  我的意思是硬件配置

跑python的应用服务器的配置:

单片双核 2.4G nocona / 8G DDR2 / 250G SATA * 3 / 1U机箱

--
Qiangning Hong
http://www.douban.com/people/hongqn/
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: Fwd: [CPeX] 豆瓣的 Web 服务器

Leo Jay
2008/1/18 Qiangning Hong <[hidden email]>:
> 2008/1/18 cunheise <[hidden email]>:
> >  我的意思是硬件配置
>
> 跑python的应用服务器的配置:
>
> 单片双核 2.4G nocona / 8G DDR2 / 250G SATA * 3 / 1U机箱
>


SATA*3 ? RAID5么?

--
Best Regards,
Leo Jay
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG:38719] Re: Fwd: [CPeX] 豆瓣的 Web 服务器

Qiangning Hong
2008/1/18 Leo Jay <[hidden email]>:
> SATA*3 ? RAID5么?

no.  2块做raid1,1块不做raid

--
Qiangning Hong
http://www.douban.com/people/hongqn/
_______________________________________________
python-chinese
Post: send [hidden email]
Subscribe: send subscribe to [hidden email]
Unsubscribe: send unsubscribe to  [hidden email]
Detail Info: http://python.cn/mailman/listinfo/python-chinese