关于世界上的超大数据库

手边有一份 2005 Winter TopTen Award Winners的报告,包含了一些关于世界上排名前几位的 VLDB 的信息。VLDB,超大数据库,其实叫做”狂大数据库“倒是也很贴切。
如果不区分操作系统环境,Yahoo! 力拔数据仓库一项的头筹,单个数据库数据大小接近 100T 。采用的是 Oracle 数据库,部署在 Unix 上, 存储是 EMC 的设备。这是 2005年的数据,雅虎现在每日接近 40 亿 PV,这个数据仓库现在应该远超 100T 了吧。 电信巨头 AT&T 的数据仓库屈居亚军。Amazon 的两个数据仓库也不小,数据量多达 24773 GB,是用 Oracle RAC 实现的,部署在 Linux 操作系统上。

OLTP Top 10

我比较关心 OLTP 数据库的情况。下面这个图表是包括所有操作系统环境的 OLTP 数据库情况。前 10 名中只有两个采用了集群,而且都是集中式集群(Centralized/Cluster)。其余8个席位都采用了 SMP 架构,而且大多是集中式(Centralized)。分布式超大 OLTP 的成功案例看来并不多(只有 1 例,另外有一例是Federated)。让 Fenng 稍微有些惊讶的是 SQL Server 占了三个席位,数据量最大接近 8T 。整个表看来,数据库类别、所用的软件平台还真的比较平均。并非我想象的完全是 DB2/Oracle+Unix 的格局。
世界上 Top 10 OLTP 数据库

Unix 上 OLTP TOP 10

下表是使用 Unix 操作系统 OLTP TOP 10。好家伙,几乎清一色的 Oracle。DB2 不见踪影,只有 Sybase ASE 还算争气,占了一个席位。 9 个 Unix 平台上的 Oracle OLTP DB,只有两个使用了 RAC ,其他都是 Centralized/SMP。
到现在为止,都还没有看到互联网站点的身影。


世界上 Top 10 OLTP 数据库(Unix平台)

Linux 上 OLTP Top

终于有互联网公司出现了。
仍然全部是 Oracle 数据库。而且, 四个中的三个都是通过 RAC 来实现的。
Linux 上的 Top OLTP
从上面的数据可以作如下总结:
1) Linux 上 Oracle 通过 RAC 可以提高扩展能力;
2) 但是,Oracle RAC 的扩展性并非那么好;
如果从峰值处理能力(Peak Workload)的角度上看,Oracle 就不那么风光了。DB2 与 CA 的 CA-Datacom 瓜分了 10个 席位。操作系统平台都是 z/OS。 排在第一的是 UPS 的数据库系统,每个小时处理 1,134,034,718 条 SQL 语句。很强悍。
或许有个的朋友看过我介绍的 eBay 的数据量,可能比较纳闷,为何整个报告中没有 eBay 数据库上榜? Fenng 猜测是 eBay SOA 化之后,单个的数据库就并不大了,这样也避免了风险。
(这份报告的 PDF 下载)


27 thoughts on “关于世界上的超大数据库

  1. virushuo

    恕我孤陋寡闻,但是我真是没办法想像为什么一个库会有那么大容量。。除了电话公司的帐单历史。
    但是就算帐单历史,其实也可以拆开存放啊。
    难道就是为了满足OLTP?

    Reply
  2. blue_stone

    个人感觉,
    rac提供了扩展性, 但和单实例数据库相比, 并不如大家所认为的那么大.
    linux平台RAC比较多的原因一是因为Linux本身比较烂, 可扩展性不强, 二是oracle市场做的好.

    Reply
  3. Fenng

    那些传统行业的数据库,处于个中原因,修改一点点都会有很多麻烦,所以就把盘子不停放多放高

    Reply
  4. blue_prince

    这个评选很多公司出于商业保密的需要没有参加,另外可能更多厂商压根都不知道有这么一个评选活动,要不绝对不止现有榜单上的这些。AT&T的那两个数据仓库连续2次入选,用的那个数据库是他们自己内部开发的。2003年Teradata还在十大DW里面占有4席,到了2005年则无一入选,说明封闭的技术和昂贵的成本还是限制了其发展。Oracle在近几年发展尤为迅速,无论是在OLTP还是在DW领域,几乎是完胜。随着近几年RAC的成熟,Linux+Oracle RAC的平台很受欢迎,几乎是LINUX上的典型配置了。另外03榜单上有意思的是HP的两个入选数据库用的OS平台居然是Windows,而不是自己的HP-UX。

    Reply
  5. blue_prince

    如果按05年的评选结果,我们的数据仓库也有希望入选UNIX上的十大,哈哈

    Reply
  6. 托马斯张

    呵呵,用户数就不能和你说的这些比了.目前平均的并发用户数在800左右.

    Reply
  7. blue_prince

    托马斯张:这个评比要求你自己报名参加的啊,你们有没报名啊?这是主要的,还要通过人家的审核才行.这个评选本身就没多大名气,很多公司出于商业保密的需要没有参加,因此这个结果仅供参考而已.你们有兴趣的话也可以去参加,呵呵.

    Reply

Leave a Reply

Your email address will not be published. Required fields are marked *