关于世界上的超大数据库

手边有一份 2005 Winter TopTen Award Winners的报告,包含了一些关于世界上排名前几位的 VLDB 的信息。VLDB,超大数据库,其实叫做"狂大数据库"倒是也很贴切。

如果不区分操作系统环境,Yahoo! 力拔数据仓库一项的头筹,单个数据库数据大小接近 100T 。采用的是 Oracle 数据库,部署在 Unix 上, 存储是 EMC 的设备。这是 2005年的数据,雅虎现在每日接近 40 亿 PV,这个数据仓库现在应该远超 100T 了吧。 电信巨头 AT&T 的数据仓库屈居亚军。Amazon 的两个数据仓库也不小,数据量多达 24773 GB,是用 Oracle RAC 实现的,部署在 Linux 操作系统上。

OLTP Top 10

我比较关心 OLTP 数据库的情况。下面这个图表是包括所有操作系统环境的 OLTP 数据库情况。前 10 名中只有两个采用了集群,而且都是集中式集群(Centralized/Cluster)。其余8个席位都采用了 SMP 架构,而且大多是集中式(Centralized)。分布式超大 OLTP 的成功案例看来并不多(只有 1 例,另外有一例是Federated)。让 Fenng 稍微有些惊讶的是 SQL Server 占了三个席位,数据量最大接近 8T 。整个表看来,数据库类别、所用的软件平台还真的比较平均。并非我想象的完全是 DB2/Oracle+Unix 的格局。

世界上 Top 10 OLTP 数据库

Unix 上 OLTP TOP 10


下表是使用 Unix 操作系统 OLTP TOP 10。好家伙,几乎清一色的 Oracle。DB2 不见踪影,只有 Sybase ASE 还算争气,占了一个席位。 9 个 Unix 平台上的 Oracle OLTP DB,只有两个使用了 RAC ,其他都是 Centralized/SMP。

到现在为止,都还没有看到互联网站点的身影。

世界上 Top 10 OLTP 数据库(Unix平台)

Linux 上 OLTP Top

终于有互联网公司出现了。

仍然全部是 Oracle 数据库。而且, 四个中的三个都是通过 RAC 来实现的。

Linux 上的 Top OLTP

从上面的数据可以作如下总结:

1) Linux 上 Oracle 通过 RAC 可以提高扩展能力;
2) 但是,Oracle RAC 的扩展性并非那么好;

如果从峰值处理能力(Peak Workload)的角度上看,Oracle 就不那么风光了。DB2 与 CA 的 CA-Datacom 瓜分了 10个 席位。操作系统平台都是 z/OS。 排在第一的是 UPS 的数据库系统,每个小时处理 1,134,034,718 条 SQL 语句。很强悍。

或许有个的朋友看过我介绍的 eBay 的数据量,可能比较纳闷,为何整个报告中没有 eBay 数据库上榜? Fenng 猜测是 eBay SOA 化之后,单个的数据库就并不大了,这样也避免了风险。


(这份报告的 PDF 下载)

| | TrackBacks (0) | | Edit

Generator | Trampoline



自定义搜索

本文相关评论|Comments(27)

sopher 的评论:

学习了!

俺们的库估计也不小,不过都是在DCN网内部的:)

Fenng Author Profile Page 的评论:

估计国内 OLTP 也会有不少上 T 的数据库

virushuo 的评论:

恕我孤陋寡闻,但是我真是没办法想像为什么一个库会有那么大容量。。除了电话公司的帐单历史。

但是就算帐单历史,其实也可以拆开存放啊。

难道就是为了满足OLTP?

sopher 的评论:

拆开的,比如销帐库、计费库、查询库等等

tosimple 的评论:

为什么要这么大?不明白,谁能介绍一下?

blue_stone 的评论:

个人感觉,
rac提供了扩展性, 但和单实例数据库相比, 并不如大家所认为的那么大.
linux平台RAC比较多的原因一是因为Linux本身比较烂, 可扩展性不强, 二是oracle市场做的好.

Fenng Author Profile Page 的评论:

那些传统行业的数据库,处于个中原因,修改一点点都会有很多麻烦,所以就把盘子不停放多放高

网站建设 的评论:

路过这里,做的不错,顶一下!

blue_prince 的评论:

这个评选很多公司出于商业保密的需要没有参加,另外可能更多厂商压根都不知道有这么一个评选活动,要不绝对不止现有榜单上的这些。AT&T的那两个数据仓库连续2次入选,用的那个数据库是他们自己内部开发的。2003年Teradata还在十大DW里面占有4席,到了2005年则无一入选,说明封闭的技术和昂贵的成本还是限制了其发展。Oracle在近几年发展尤为迅速,无论是在OLTP还是在DW领域,几乎是完胜。随着近几年RAC的成熟,Linux+Oracle RAC的平台很受欢迎,几乎是LINUX上的典型配置了。另外03榜单上有意思的是HP的两个入选数据库用的OS平台居然是Windows,而不是自己的HP-UX。

blue_prince 的评论:

如果按05年的评选结果,我们的数据仓库也有希望入选UNIX上的十大,哈哈

托马斯张 的评论:

我这里(aix 5l)随便一个oltp的db,都在4T以上,怎么没上榜呢.

Fenng Author Profile Page 的评论:

你这 OLTP 几个人用啊?

chineseren 的评论:

同事, 我也顶你一次哈

托马斯张 的评论:

呵呵,用户数就不能和你说的这些比了.目前平均的并发用户数在800左右.

blue_prince 的评论:

托马斯张:这个评比要求你自己报名参加的啊,你们有没报名啊?这是主要的,还要通过人家的审核才行.这个评选本身就没多大名气,很多公司出于商业保密的需要没有参加,因此这个结果仅供参考而已.你们有兴趣的话也可以去参加,呵呵.

bazooka 的评论:

这些数据不准确,数据量都偏小了

kava_java 的评论:

呵呵,超出想象了

delphidoc 的评论:

按这个排行榜,我们客户的数据库也可以进前10名了。

Fenng Author Profile Page 的评论:

只不过是一个参考值而已

冰山下面的大块头有很多的

Joey 的评论:

看了半天,没发现号称最牛数据仓库的Teradata,它到底怎么样呀?

foreverlee 的评论:

hehe 国外数据库似乎受基数(客户数)影响 都不是很大嘛
国内似乎这方面有优势

foreverlee 的评论:

补充一句 很好的文章

runescape 的评论:

数据库这么大啊?
可惜没有中国的

AnySQL Author Profile Page 的评论:

中国总有最大情结.

无 的评论:

与美国DIALOG系统相比怎么样?

zhaolinjnu 的评论:

数据库大了,有什么好?

添加评论

关于这篇文章

这篇文章由 Fenng 于 November 24, 2006 8:20 PM 发布

上一篇:本周言论 之 布什妙语

下一篇: eBay 的应用服务器规模

回到首页查看最近的文章或者是查看所有归档文章

DBA notes 的订阅数量,点击则可进行订阅
Feed 订阅数量,点击即可订阅最新内容