[CPyUG:84628] 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

classic Classic list List threaded Threaded
11 messages Options
Reply | Threaded
Open this post in threaded view
|

[CPyUG:84628] 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

lu_zi_2000

如题

--
lu_zi


--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84647] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

xi heng-2
很早以前用过
不知要怎么个海量数据查询
其实里面的和其它数据库处理海量的方法大致都相同

2009/4/23 luzi <[hidden email]>

如题

--
lu_zi




--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84648] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

lu_zi_2000
就是想听听是怎么处理的呵呵
单表数据大约有几亿吧
在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:

> 很早以前用过
> 不知要怎么个海量数据查询
> 其实里面的和其它数据库处理海量的方法大致都相同
>
> 2009/4/23 luzi <[hidden email]>
>
>>
>> 如题
>>
>> --
>> lu_zi
>>
>> >
>>
>
> >



--
lu_zi


--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84650] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

刘鑫
最速成的路子就是抄袭Oracle的成功设计,网上设计很多。
单就功能而言,Oracle能做到的PG都能做到。

大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。

2009/4/23 luzi <[hidden email]>
就是想听听是怎么处理的呵呵
单表数据大约有几亿吧
在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:

> 很早以前用过
> 不知要怎么个海量数据查询
> 其实里面的和其它数据库处理海量的方法大致都相同
>
> 2009/4/23 luzi <[hidden email]>
>
>>
>> 如题
>>
>> --
>> lu_zi
>>
>> >
>>
>
> >



--
lu_zi






--
杀人放火金腰带,补路修桥无尸骸。

……

劉鑫
March.Liu

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84651] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

lu_zi_2000
好思路,我去研究一下oracle

在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:

> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>
> 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>
> 2009/4/23 luzi <[hidden email]>
>
>> 就是想听听是怎么处理的呵呵
>> 单表数据大约有几亿吧
>> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:
>>
>> > 很早以前用过
>> > 不知要怎么个海量数据查询
>> > 其实里面的和其它数据库处理海量的方法大致都相同
>> >
>> > 2009/4/23 luzi <[hidden email]>
>> >
>> >>
>> >> 如题
>> >>
>> >> --
>> >> lu_zi
>> >>
>> >> >
>> >>
>> >
>> > >
>>
>>
>>
>> --
>> lu_zi
>>
>>
>> >
>>
>
>



--
lu_zi


--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84659] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

xi heng-2
这个是要讲究策略的
再好的数据库你要让他死读几亿条
死撑一秒钟能读多少
关键看你是应用到什么地方
以前我那边是做gis
所以数据量比较大
要从数据库中读取数据再渲染成图是需要考虑这些问题的


2009/4/23 luzi <[hidden email]>
好思路,我去研究一下oracle

在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:

> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>
> 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>
> 2009/4/23 luzi <[hidden email]>
>
>> 就是想听听是怎么处理的呵呵
>> 单表数据大约有几亿吧
>> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:
>>
>> > 很早以前用过
>> > 不知要怎么个海量数据查询
>> > 其实里面的和其它数据库处理海量的方法大致都相同
>> >
>> > 2009/4/23 luzi <[hidden email]>
>> >
>> >>
>> >> 如题
>> >>
>> >> --
>> >> lu_zi
>> >>
>> >> >
>> >>
>> >
>> > >
>>
>>
>>
>> --
>> lu_zi
>>
>>
>> >
>>
>
>



--
lu_zi





--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84705] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

Mr Shore
有没有研究过按照字段加相关度排序的优化?

2009/4/23 iXh <[hidden email]>
这个是要讲究策略的
再好的数据库你要让他死读几亿条
死撑一秒钟能读多少
关键看你是应用到什么地方
以前我那边是做gis
所以数据量比较大
要从数据库中读取数据再渲染成图是需要考虑这些问题的



2009/4/23 luzi <[hidden email]>
好思路,我去研究一下oracle

在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:

> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>
> 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>
> 2009/4/23 luzi <[hidden email]>
>
>> 就是想听听是怎么处理的呵呵
>> 单表数据大约有几亿吧
>> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:
>>
>> > 很早以前用过
>> > 不知要怎么个海量数据查询
>> > 其实里面的和其它数据库处理海量的方法大致都相同
>> >
>> > 2009/4/23 luzi <[hidden email]>
>> >
>> >>
>> >> 如题
>> >>
>> >> --
>> >> lu_zi
>> >>
>> >> >
>> >>
>> >
>> > >
>>
>>
>>
>> --
>> lu_zi
>>
>>
>> >
>>
>
>



--
lu_zi








--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84719] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

hongqing lv
这个东西要用好合适的索引类型。PG支持众多的索引类型。效率提高个几十倍不是问题。
如果要速度快。把数据库分到几台计算机上比较好。

2009/4/23 Mr Shore <[hidden email]>
有没有研究过按照字段加相关度排序的优化?

2009/4/23 iXh <[hidden email]>

这个是要讲究策略的
再好的数据库你要让他死读几亿条
死撑一秒钟能读多少
关键看你是应用到什么地方
以前我那边是做gis
所以数据量比较大
要从数据库中读取数据再渲染成图是需要考虑这些问题的



2009/4/23 luzi <[hidden email]>
好思路,我去研究一下oracle

在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:

> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>
> 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>
> 2009/4/23 luzi <[hidden email]>
>
>> 就是想听听是怎么处理的呵呵
>> 单表数据大约有几亿吧
>> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:
>>
>> > 很早以前用过
>> > 不知要怎么个海量数据查询
>> > 其实里面的和其它数据库处理海量的方法大致都相同
>> >
>> > 2009/4/23 luzi <[hidden email]>
>> >
>> >>
>> >> 如题
>> >>
>> >> --
>> >> lu_zi
>> >>
>> >> >
>> >>
>> >
>> > >
>>
>>
>>
>> --
>> lu_zi
>>
>>
>> >
>>
>
>



--
lu_zi











--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84720] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

Mr Shore
因为相关度是全文索引,支持多种索引类型也不得一定就能解决我说的那种排序
master-slave已经做了

2009/4/23 hongqing lv <hongqing.lv@gmail.com>
这个东西要用好合适的索引类型。PG支持众多的索引类型。效率提高个几十倍不是问题。
如果要速度快。把数据库分到几台计算机上比较好。

2009/4/23 Mr Shore <[hidden email]>

有没有研究过按照字段加相关度排序的优化?

2009/4/23 iXh <[hidden email]>

这个是要讲究策略的
再好的数据库你要让他死读几亿条
死撑一秒钟能读多少
关键看你是应用到什么地方
以前我那边是做gis
所以数据量比较大
要从数据库中读取数据再渲染成图是需要考虑这些问题的



2009/4/23 luzi <[hidden email]>
好思路,我去研究一下oracle

在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:

> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>
> 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>
> 2009/4/23 luzi <[hidden email]>
>
>> 就是想听听是怎么处理的呵呵
>> 单表数据大约有几亿吧
>> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]> 写道:
>>
>> > 很早以前用过
>> > 不知要怎么个海量数据查询
>> > 其实里面的和其它数据库处理海量的方法大致都相同
>> >
>> > 2009/4/23 luzi <[hidden email]>
>> >
>> >>
>> >> 如题
>> >>
>> >> --
>> >> lu_zi
>> >>
>> >> >
>> >>
>> >
>> > >
>>
>>
>>
>> --
>> lu_zi
>>
>>
>> >
>>
>
>



--
lu_zi















--
http://qinjiu4u.com
找工作,找解决方案,找同行,找朋友,
您贴身的综合服务平台,关注您的关注.

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84736] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

lu_zi_2000
pg是支持全文检索的,用全文是不是好一些
在 Thu, 23 Apr 2009 22:44:03 +0800,Mr Shore <[hidden email]> 写道:

> 因为相关度是全文索引,支持多种索引类型也不得一定就能解决我说的那种排序
> master-slave已经做了
>
> 2009/4/23 hongqing lv <[hidden email]>
>
>> 这个东西要用好合适的索引类型。PG支持众多的索引类型。效率提高个几十倍不是问题。
>> 如果要速度快。把数据库分到几台计算机上比较好。
>>
>> 2009/4/23 Mr Shore <[hidden email]>
>>
>> 有没有研究过按照字段加相关度排序的优化?
>>>
>>> 2009/4/23 iXh <[hidden email]>
>>>
>>> 这个是要讲究策略的
>>>> 再好的数据库你要让他死读几亿条
>>>> 死撑一秒钟能读多少
>>>> 关键看你是应用到什么地方
>>>> 以前我那边是做gis
>>>> 所以数据量比较大
>>>> 要从数据库中读取数据再渲染成图是需要考虑这些问题的
>>>>
>>>>
>>>>
>>>> 2009/4/23 luzi <[hidden email]>
>>>>
>>>>> 好思路,我去研究一下oracle
>>>>>
>>>>> 在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:
>>>>>
>>>>> >  
>>>>> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>>>>> >
>>>>> > 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>>>>> >
>>>>> > 2009/4/23 luzi <[hidden email]>
>>>>> >
>>>>> >> 就是想听听是怎么处理的呵呵
>>>>> >> 单表数据大约有几亿吧
>>>>> >> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]>  
>>>>> 写道:
>>>>> >>
>>>>> >> > 很早以前用过
>>>>> >> > 不知要怎么个海量数据查询
>>>>> >> > 其实里面的和其它数据库处理海量的方法大致都相同
>>>>> >> >
>>>>> >> > 2009/4/23 luzi <[hidden email]>
>>>>> >> >
>>>>> >> >>
>>>>> >> >> 如题
>>>>> >> >>
>>>>> >> >> --
>>>>> >> >> lu_zi
>>>>> >> >>
>>>>> >> >> >
>>>>> >> >>
>>>>> >> >
>>>>> >> > >
>>>>> >>
>>>>> >>
>>>>> >>
>>>>> >> --
>>>>> >> lu_zi
>>>>> >>
>>>>> >>
>>>>> >> >
>>>>> >>
>>>>> >
>>>>> >
>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> lu_zi
>>>>>
>>>>>
>>>>>
>>>>>
>>>>
>>>>
>>>>
>>>
>>>
>>>
>>
>> >
>>
>
>



--
lu_zi


--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:84739] Re: 有没有搞过postgresql海量数据查询的,希望给些经验,谢谢

刘鑫
不是所有的东西都需要全文检索,如果本来就是精确查询,用传统技术是最好的。

2009/4/24 luzi <[hidden email]>
pg是支持全文检索的,用全文是不是好一些
在 Thu, 23 Apr 2009 22:44:03 +0800,Mr Shore <[hidden email]> 写道:

> 因为相关度是全文索引,支持多种索引类型也不得一定就能解决我说的那种排序
> master-slave已经做了
>
> 2009/4/23 hongqing lv <hongqing.lv@gmail.com>
>
>> 这个东西要用好合适的索引类型。PG支持众多的索引类型。效率提高个几十倍不是问题。
>> 如果要速度快。把数据库分到几台计算机上比较好。
>>
>> 2009/4/23 Mr Shore <[hidden email]>
>>
>> 有没有研究过按照字段加相关度排序的优化?
>>>
>>> 2009/4/23 iXh <[hidden email]>
>>>
>>> 这个是要讲究策略的
>>>> 再好的数据库你要让他死读几亿条
>>>> 死撑一秒钟能读多少
>>>> 关键看你是应用到什么地方
>>>> 以前我那边是做gis
>>>> 所以数据量比较大
>>>> 要从数据库中读取数据再渲染成图是需要考虑这些问题的
>>>>
>>>>
>>>>
>>>> 2009/4/23 luzi <[hidden email]>
>>>>
>>>>> 好思路,我去研究一下oracle
>>>>>
>>>>> 在 Thu, 23 Apr 2009 14:09:17 +0800,刘鑫 <[hidden email]> 写道:
>>>>>
>>>>> >
>>>>> 最速成的路子就是抄袭Oracle的成功设计,网上设计很多。单就功能而言,Oracle能做到的PG都能做到。
>>>>> >
>>>>> > 大表对于PG来说,同样可以从表空间,表分区,索引分割开始入手。
>>>>> >
>>>>> > 2009/4/23 luzi <[hidden email]>
>>>>> >
>>>>> >> 就是想听听是怎么处理的呵呵
>>>>> >> 单表数据大约有几亿吧
>>>>> >> 在 Thu, 23 Apr 2009 14:00:09 +0800,iXh <[hidden email]>
>>>>> 写道:
>>>>> >>
>>>>> >> > 很早以前用过
>>>>> >> > 不知要怎么个海量数据查询
>>>>> >> > 其实里面的和其它数据库处理海量的方法大致都相同
>>>>> >> >
>>>>> >> > 2009/4/23 luzi <[hidden email]>
>>>>> >> >
>>>>> >> >>
>>>>> >> >> 如题
>>>>> >> >>
>>>>> >> >> --
>>>>> >> >> lu_zi
>>>>> >> >>
>>>>> >> >> >
>>>>> >> >>
>>>>> >> >
>>>>> >> > >
>>>>> >>
>>>>> >>
>>>>> >>
>>>>> >> --
>>>>> >> lu_zi
>>>>> >>
>>>>> >>
>>>>> >> >
>>>>> >>
>>>>> >
>>>>> >
>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> lu_zi
>>>>>
>>>>>
>>>>>
>>>>>
>>>>
>>>>
>>>>
>>>
>>>
>>>
>>
>> >
>>
>
>



--
lu_zi






--
杀人放火金腰带,补路修桥无尸骸。

……

劉鑫
March.Liu

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb /针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---