[CPyUG:110402] 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

classic Classic list List threaded Threaded
70 messages Options
1234
Reply | Threaded
Open this post in threaded view
|

[CPyUG:110402] 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
MySQL数据库中有一个product表存储商品数据,现在有大概
16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110403] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

刘鑫


2009/11/26 Li Haijun <[hidden email]>
MySQL数据库中有一个product表存储商品数据,现在有大概
16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。

才9个G……按说把MySQL再调一下还是可以撑住的。
虽然我是PG党,不过我觉得MySQL还不至于9个G就搞不定了。





--
每一个成功都是不可复制的。
……

劉鑫
March.Liu

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110404] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

诚子
In reply to this post by rocklee
不要吓我〜

2009/11/26 Li Haijun <[hidden email]>
MySQL数据库中有一个product表存储商品数据,现在有大概
16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。





--
my.unix-center.net/~WeiZhicheng

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110414] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

junyi sun
In reply to this post by rocklee
按说应该没问题,以下内容摘自:http://dev.mysql.com/doc/refman/5.1/en/features.html
 
Scalability and Limits:

Support for large databases. We use MySQL Server with databases that contain 50 million records. We also know of users who use MySQL Server with 200,000 tables and about 5,000,000,000 rows.

Support for up to 64 indexes per table (32 before MySQL 4.1.2). Each index may consist of 1 to 16 columns or parts of columns. The maximum index width is 1000 bytes (767 for InnoDB); before MySQL 4.1.2, the limit is 500 bytes. An index may use a prefix of a column for CHAR, VARCHAR, BLOB, or TEXT column types.




 

2009/11/26 Li Haijun <[hidden email]>
MySQL数据库中有一个product表存储商品数据,现在有大概
16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110416] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

leopay
In reply to this post by 刘鑫
9个G真的不大的,优化下应该能撑住的

2009/11/26 刘鑫 <[hidden email]>


2009/11/26 Li Haijun <[hidden email]>

MySQL数据库中有一个product表存储商品数据,现在有大概
16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。

才9个G……按说把MySQL再调一下还是可以撑住的。
虽然我是PG党,不过我觉得MySQL还不至于9个G就搞不定了。





--
每一个成功都是不可复制的。
……

劉鑫
March.Liu





--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110417] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
In reply to this post by junyi sun
这个表用的是 InnoDB 引擎,分页的时候最明显,删除数据用了好几个小时,只是个简单的 delete from product where
category_id=xxx ,数据库装在 32位的ubuntu下。

2009/11/26 junyi sun <[hidden email]>:

> 按说应该没问题,以下内容摘自:http://dev.mysql.com/doc/refman/5.1/en/features.html
>
> Scalability and Limits:
>
> Support for large databases. We use MySQL Server with databases that contain
> 50 million records. We also know of users who use MySQL Server with 200,000
> tables and about 5,000,000,000 rows.
>
> Support for up to 64 indexes per table (32 before MySQL 4.1.2). Each index
> may consist of 1 to 16 columns or parts of columns. The maximum index width
> is 1000 bytes (767 for InnoDB); before MySQL 4.1.2, the limit is 500 bytes.
> An index may use a prefix of a column for CHAR, VARCHAR, BLOB, or TEXT
> column types.
>
>
>
>
> 2009/11/26 Li Haijun <[hidden email]>
>>
>> MySQL数据库中有一个product表存储商品数据,现在有大概
>> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>> >>
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110418] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
In reply to this post by leopay
好的,我再研究研究。

2009/11/26 leopay <[hidden email]>:

> 9个G真的不大的,优化下应该能撑住的
>
> 2009/11/26 刘鑫 <[hidden email]>
>>
>>
>> 2009/11/26 Li Haijun <[hidden email]>
>>>
>>> MySQL数据库中有一个product表存储商品数据,现在有大概
>>> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>>> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>>
>> 才9个G……按说把MySQL再调一下还是可以撑住的。
>> 虽然我是PG党,不过我觉得MySQL还不至于9个G就搞不定了。
>>>
>>>
>>
>>
>>
>> --
>> 每一个成功都是不可复制的。
>> ……
>>
>> 劉鑫
>> March.Liu
>>
>>
>
>
> >
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110419] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

诚子
In reply to this post by rocklee
如果结构不保密可以发过来大家看一下,我正好也学一学

2009/11/26 Li Haijun <[hidden email]>
这个表用的是 InnoDB 引擎,分页的时候最明显,删除数据用了好几个小时,只是个简单的 delete from product where
category_id=xxx ,数据库装在 32位的ubuntu下。

2009/11/26 junyi sun <[hidden email]>:
> 按说应该没问题,以下内容摘自:http://dev.mysql.com/doc/refman/5.1/en/features.html
>
> Scalability and Limits:
>
> Support for large databases. We use MySQL Server with databases that contain
> 50 million records. We also know of users who use MySQL Server with 200,000
> tables and about 5,000,000,000 rows.
>
> Support for up to 64 indexes per table (32 before MySQL 4.1.2). Each index
> may consist of 1 to 16 columns or parts of columns. The maximum index width
> is 1000 bytes (767 for InnoDB); before MySQL 4.1.2, the limit is 500 bytes.
> An index may use a prefix of a column for CHAR, VARCHAR, BLOB, or TEXT
> column types.
>
>
>
>
> 2009/11/26 Li Haijun <[hidden email]>
>>
>> MySQL数据库中有一个product表存储商品数据,现在有大概
>> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>> >>
>





--
my.unix-center.net/~WeiZhicheng

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110420] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

OnMyWay
In reply to this post by leopay
换台猛一点的机器,大一点的内存。

2009/11/26 leopay <[hidden email]>:

> 9个G真的不大的,优化下应该能撑住的
>
> 2009/11/26 刘鑫 <[hidden email]>
>>
>>
>> 2009/11/26 Li Haijun <[hidden email]>
>>>
>>> MySQL数据库中有一个product表存储商品数据,现在有大概
>>> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>>> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>>
>> 才9个G……按说把MySQL再调一下还是可以撑住的。
>> 虽然我是PG党,不过我觉得MySQL还不至于9个G就搞不定了。
>>>
>>>
>>
>>
>>
>> --
>> 每一个成功都是不可复制的。
>> ……
>>
>> 劉鑫
>> March.Liu
>>
>>
>
>
> >
>



--
提供定制Clearcase脚本服务。

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110421] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

刘鑫
In reply to this post by rocklee


2009/11/26 Li Haijun <[hidden email]>
这个表用的是 InnoDB 引擎,分页的时候最明显,删除数据用了好几个小时,只是个简单的 delete from product where
category_id=xxx ,数据库装在 32位的ubuntu下。

 大数据表性能调优最基本的办法就是分划存储。INNODB不是支持Tablespace么,把这个表划到几个不同的Tablespace上,应该会有改善。

2009/11/26 junyi sun <[hidden email]>:
> 按说应该没问题,以下内容摘自:http://dev.mysql.com/doc/refman/5.1/en/features.html
>
> Scalability and Limits:
>
> Support for large databases. We use MySQL Server with databases that contain
> 50 million records. We also know of users who use MySQL Server with 200,000
> tables and about 5,000,000,000 rows.
>
> Support for up to 64 indexes per table (32 before MySQL 4.1.2). Each index
> may consist of 1 to 16 columns or parts of columns. The maximum index width
> is 1000 bytes (767 for InnoDB); before MySQL 4.1.2, the limit is 500 bytes.
> An index may use a prefix of a column for CHAR, VARCHAR, BLOB, or TEXT
> column types.
>
>
>
>
> 2009/11/26 Li Haijun <[hidden email]>
>>
>> MySQL数据库中有一个product表存储商品数据,现在有大概
>> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>> >>
>





--
每一个成功都是不可复制的。
……

劉鑫
March.Liu

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110422] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
In reply to this post by 诚子

CREATE TABLE `product` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `title` varchar(255) DEFAULT NULL,
  `image` varchar(255) DEFAULT NULL,
  `price` decimal(10,2) DEFAULT NULL,
  `currency` varchar(10) DEFAULT NULL,
  `category_id` int(11) DEFAULT NULL,
  `merchant_id` int(11) DEFAULT NULL,
  `comments` int(11) NOT NULL DEFAULT '0',
  `views` int(11) NOT NULL DEFAULT '0',
  `hits` int(11) NOT NULL DEFAULT '0',
  `votes_up` int(11) NOT NULL DEFAULT '0',
  `votes_down` int(11) NOT NULL DEFAULT '0',
  `category_type_id` int(11) NOT NULL DEFAULT '2',
  `lastupdated` datetime DEFAULT NULL,
  `keywords` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `description` text,
  `sku` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `manufacturer` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `saleprice` decimal(10,2) DEFAULT NULL,
  `retailprice` decimal(10,2) DEFAULT NULL,
  `buyurl` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `impressionurl` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `special` enum('Y','N') DEFAULT 'Y',
  `gift` enum('Y','N') DEFAULT 'Y',
  `promotionaltext` varchar(2000) CHARACTER SET latin1 DEFAULT NULL,
  `offline` enum('Y','N') DEFAULT 'N',
  `online` enum('Y','N') DEFAULT 'Y',
  `instock` enum('Y','N') DEFAULT 'Y',
  `warranty` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `condition` varchar(100) CHARACTER SET latin1 DEFAULT NULL,
  `standardshippingcost` decimal(10,2) DEFAULT NULL,
  `catalogname` varchar(1000) CHARACTER SET latin1 DEFAULT NULL,
  `upc` varchar(100) CHARACTER SET latin1 DEFAULT NULL,
  `brand` varchar(100) DEFAULT NULL,
  `update_date` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE
CURRENT_TIMESTAMP,
  `asin` varchar(30) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_category_id` (`category_id`),
  KEY `idx_price` (`price`),
  KEY `idx_title_sku_merchant` (`title`,`sku`(10),`merchant_id`),
  KEY `idx_merchant_id` (`merchant_id`) USING BTREE,
  KEY `idx_update_date` (`update_date`),
  KEY `idx_asin` (`asin`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

表不复杂,只是数据不断在增长,是解析 cj 的 xml的文件存到这个表中的。

2009/11/26 诚子 <[hidden email]>:

> 如果结构不保密可以发过来大家看一下,我正好也学一学
>
> 2009/11/26 Li Haijun <[hidden email]>
>>
>> 这个表用的是 InnoDB 引擎,分页的时候最明显,删除数据用了好几个小时,只是个简单的 delete from product where
>> category_id=xxx ,数据库装在 32位的ubuntu下。
>>
>> 2009/11/26 junyi sun <[hidden email]>:
>> > 按说应该没问题,以下内容摘自:http://dev.mysql.com/doc/refman/5.1/en/features.html
>> >
>> > Scalability and Limits:
>> >
>> > Support for large databases. We use MySQL Server with databases that
>> > contain
>> > 50 million records. We also know of users who use MySQL Server with
>> > 200,000
>> > tables and about 5,000,000,000 rows.
>> >
>> > Support for up to 64 indexes per table (32 before MySQL 4.1.2). Each
>> > index
>> > may consist of 1 to 16 columns or parts of columns. The maximum index
>> > width
>> > is 1000 bytes (767 for InnoDB); before MySQL 4.1.2, the limit is 500
>> > bytes.
>> > An index may use a prefix of a column for CHAR, VARCHAR, BLOB, or TEXT
>> > column types.
>> >
>> >
>> >
>> >
>> > 2009/11/26 Li Haijun <[hidden email]>
>> >>
>> >> MySQL数据库中有一个product表存储商品数据,现在有大概
>> >> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>> >> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>> >> >>
>> >
>>
>>
>
>
>
> --
> my.unix-center.net/~WeiZhicheng
>
> >
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110423] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
In reply to this post by 刘鑫
多谢赐教,我找台服务器试试。

2009/11/26 刘鑫 <[hidden email]>:

>
>
> 2009/11/26 Li Haijun <[hidden email]>
>>
>> 这个表用的是 InnoDB 引擎,分页的时候最明显,删除数据用了好几个小时,只是个简单的 delete from product where
>> category_id=xxx ,数据库装在 32位的ubuntu下。
>
>  大数据表性能调优最基本的办法就是分划存储。INNODB不是支持Tablespace么,把这个表划到几个不同的Tablespace上,应该会有改善。
>>
>> 2009/11/26 junyi sun <[hidden email]>:
>> > 按说应该没问题,以下内容摘自:http://dev.mysql.com/doc/refman/5.1/en/features.html
>> >
>> > Scalability and Limits:
>> >
>> > Support for large databases. We use MySQL Server with databases that
>> > contain
>> > 50 million records. We also know of users who use MySQL Server with
>> > 200,000
>> > tables and about 5,000,000,000 rows.
>> >
>> > Support for up to 64 indexes per table (32 before MySQL 4.1.2). Each
>> > index
>> > may consist of 1 to 16 columns or parts of columns. The maximum index
>> > width
>> > is 1000 bytes (767 for InnoDB); before MySQL 4.1.2, the limit is 500
>> > bytes.
>> > An index may use a prefix of a column for CHAR, VARCHAR, BLOB, or TEXT
>> > column types.
>> >
>> >
>> >
>> >
>> > 2009/11/26 Li Haijun <[hidden email]>
>> >>
>> >> MySQL数据库中有一个product表存储商品数据,现在有大概
>> >> 16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
>> >> db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。
>> >> >>
>> >
>>
>>
>
>
>
> --
> 每一个成功都是不可复制的。
> ......
>
> 劉鑫
> March.Liu
>
> >
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110424] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

beck917
In reply to this post by rocklee
话说16,000,000条数据都不分表的??

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110426] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
运行mysqltuner,按照建议调整 innodb_buffer_pool_size
参数,但是跳到>2G的时候,mysql就不能启动了,应该和32位OS有关系。

2009/11/26 beck917 <[hidden email]>:
> 话说16,000,000条数据都不分表的??
>
> >
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110429] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

beck917
2009/11/26 Li Haijun <[hidden email]>:
> 运行mysqltuner,按照建议调整 innodb_buffer_pool_size
> 参数,但是跳到>2G的时候,mysql就不能启动了,应该和32位OS有关系。
>
服务器的话操作系统还是建议换到64位吧,要不像ttserver这样的kv数据库也有容量限制

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110431] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

junyi sun
能否做一下partition呢?
 
mysql> ALTER TABLE `product`
    -> PARTITION BY KEY(`id`)(
    -> PARTITION p0 DATA DIRECTORY='/data/mydb/big_table_p0/',
    -> PARTITION p1 DATA DIRECTORY='/data/mydb/big_table_p1/');

 
2009/11/26 beck917 <[hidden email]>
2009/11/26 Li Haijun <[hidden email]>:
> 运行mysqltuner,按照建议调整 innodb_buffer_pool_size
> 参数,但是跳到>2G的时候,mysql就不能启动了,应该和32位OS有关系。
>
服务器的话操作系统还是建议换到64位吧,要不像ttserver这样的kv数据库也有容量限制
--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110434] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

rocklee
现在的数据库没有分区,将OS换成64位的,我再分区试试,性能应该提升不少,谢谢。

2009/11/26 junyi sun <[hidden email]>:

> 能否做一下partition呢?
>
> mysql> ALTER TABLE `product`
>     -> PARTITION BY KEY(`id`)(
>     -> PARTITION p0 DATA DIRECTORY='/data/mydb/big_table_p0/',
>     -> PARTITION p1 DATA DIRECTORY='/data/mydb/big_table_p1/');
>
>
> 2009/11/26 beck917 <[hidden email]>
>>
>> 2009/11/26 Li Haijun <[hidden email]>:
>> > 运行mysqltuner,按照建议调整 innodb_buffer_pool_size
>> > 参数,但是跳到>2G的时候,mysql就不能启动了,应该和32位OS有关系。
>> >
>> 服务器的话操作系统还是建议换到64位吧,要不像ttserver这样的kv数据库也有容量限制
>> >>
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110435] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

amingsc
In reply to this post by rocklee
对mysql不大懂,但我觉得数据库之间这种问题应该是通用的。千万级的数据是挺大的,但是查询速度除了服务器、存储性能因素之外跟索引以及语句本身合理性有很大关系,这么大的表如果你查询语句写的不够好,或者索引设计不合理,那么每次都做一个全表扫描的话那真的挺恐怖的。。。而且这种问题不管哪种数据库都会遇到的。key-value数据库与关系数据库差别挺大的,还不一定就适用,还是看你应用特点了~~

2009/11/26 Li Haijun <[hidden email]>
MySQL数据库中有一个product表存储商品数据,现在有大概
16,000,000条数据,表的大小有9G多。查询和删除数据特别慢。请教各位大妈,是换postgresql还是key-value
db,现在的顾虑是postgresql数据量大了是否也会出现性能瓶颈,还有key-value db的查询,比如按价格区间查询。请赐教。


--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110436] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

amingsc
In reply to this post by rocklee
分区主要解决的是管理的方便性问题,对性能影响没那么可观哦~
不知道你的数据有没过期的,如果很多数据查询的时候都用不上可以考虑抽出来放到专门的表中去。

2009/11/26 Li Haijun <[hidden email]>
现在的数据库没有分区,将OS换成64位的,我再分区试试,性能应该提升不少,谢谢。

2009/11/26 junyi sun <[hidden email]>:
> 能否做一下partition呢?
>
> mysql> ALTER TABLE `product`
>     -> PARTITION BY KEY(`id`)(
>     -> PARTITION p0 DATA DIRECTORY='/data/mydb/big_table_p0/',
>     -> PARTITION p1 DATA DIRECTORY='/data/mydb/big_table_p1/');
>

--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

Reply | Threaded
Open this post in threaded view
|

[CPyUG:110437] Re: 求教:MySQL数据库出现性能瓶颈,换PostgreSQL还是Key-Value DB?

王虎-3
千万还是撑的住的阿。
把 my.cnf 贴出来看看。

2009/11/26 amingsc <[hidden email]>
分区主要解决的是管理的方便性问题,对性能影响没那么可观哦~
不知道你的数据有没过期的,如果很多数据查询的时候都用不上可以考虑抽出来放到专门的表中去。

2009/11/26 Li Haijun <[hidden email]>
现在的数据库没有分区,将OS换成64位的,我再分区试试,性能应该提升不少,谢谢。


2009/11/26 junyi sun <[hidden email]>:
> 能否做一下partition呢?
>
> mysql> ALTER TABLE `product`
>     -> PARTITION BY KEY(`id`)(
>     -> PARTITION p0 DATA DIRECTORY='/data/mydb/big_table_p0/',
>     -> PARTITION p1 DATA DIRECTORY='/data/mydb/big_table_p1/');
>




--~--~---------~--~----~------------~-------~--~----~
来自: `python-cn`:CPyUG ~ 华蟒用户组 | 发言:[hidden email]
退订: http://tinyurl.com/45a9tb //针对163/qq邮箱:http://tinyurl.com/4dg6hc
详情: https://groups.google.com/group/python-cn
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
-~----------~----~----~----~------~----~------~--~---

1234