[CPyUG] 分布式文件服务器的设计

classic Classic list List threaded Threaded
9 messages Options
Reply | Threaded
Open this post in threaded view
|

[CPyUG] 分布式文件服务器的设计

Shuge Lee
需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性――快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

CatPlus
关注
估计有多少个文件?

在 2010年6月10日 下午12:28,Shuge Lee <[hidden email]>写道:
需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性――快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp



--
人出没,猫注意

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

Wayne-39
In reply to this post by Shuge Lee
如果MogileFS满足你的需求,就不用自己实现了。python有接口可以调用 

2010/6/10 Shuge Lee <[hidden email]>
需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性——快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

CatPlus
传说MySQL是 MogileFS瓶颈
求见解

还有对比 MongoDB+GridFS

在 2010年6月10日 下午10:37,Wayne <[hidden email]>写道:
如果MogileFS满足你的需求,就不用自己实现了。python有接口可以调用 

2010/6/10 Shuge Lee <[hidden email]>

需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性——快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp



--
人出没,猫注意

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

lihui-2
moosefs试下

2010/6/10 CatPlus <[hidden email]>
传说MySQL是 MogileFS瓶颈
求见解

还有对比 MongoDB+GridFS

在 2010年6月10日 下午10:37,Wayne <[hidden email]>写道:

如果MogileFS满足你的需求,就不用自己实现了。python有接口可以调用 

2010/6/10 Shuge Lee <[hidden email]>

需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性——快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp



--
人出没,猫注意

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

jamiesun
我用的MongoDB+GridFS

2010/6/11 lihui <[hidden email]>
moosefs试下

2010/6/10 CatPlus <[hidden email]>

传说MySQL是 MogileFS瓶颈
求见解

还有对比 MongoDB+GridFS

在 2010年6月10日 下午10:37,Wayne <[hidden email]>写道:

如果MogileFS满足你的需求,就不用自己实现了。python有接口可以调用 

2010/6/10 Shuge Lee <[hidden email]>

需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性——快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp



--
人出没,猫注意

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

CatPlus
楼上能介绍一下吗,关于GridFS 如何做的分发 适合做多媒体文件吗 比如视频、音频?
或者推荐点资料

在 2010年6月12日 上午10:46,杰米 <jamiesun.net@gmail.com>写道:
我用的MongoDB+GridFS

2010/6/11 lihui <[hidden email]>

moosefs试下

2010/6/10 CatPlus <[hidden email]>

传说MySQL是 MogileFS瓶颈
求见解

还有对比 MongoDB+GridFS

在 2010年6月10日 下午10:37,Wayne <[hidden email]>写道:

如果MogileFS满足你的需求,就不用自己实现了。python有接口可以调用 

2010/6/10 Shuge Lee <[hidden email]>

需求:
处理10K~100M bz2/7z文件
具备类似于Apache Cassandra的特性——快,分布式去中心化,易于添加节点扩展。

问题一:应该如何实现捏?
问题二:非得Java实现么,Python如何?

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp



--
人出没,猫注意

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp



--
人出没,猫注意

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

heww0205
郁闷的是我在Archlinux下使用aur安装mongodb会出错~

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
Reply | Threaded
Open this post in threaded view
|

Re: [CPyUG] 分布式文件服务器的设计

童晓白
我想请教下,阿北说豆瓣没有选择ruby或java,而是使用python做的,我想请教下python主要是做的哪一块?


体味儿:IT技术交流与分享的微博平台
网址:http://tiweier.com



2010/6/13 何威威 <[hidden email]>
郁闷的是我在Archlinux下使用aur安装mongodb会出错~

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp

--
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp