Entries tagged with “DBA” from DBA notes
昨天刚胡扯完 DBA 的薪水,今天就看到 CSDN 登了对我的采访《DBA薪酬挺高 盲目从之不可取》,其实这只是时间上的巧合,这个采访在春节前就做完了。我昨天写 Blog 的时候也因为不知道 CSDN 什么时候能发布而根本没提这回事儿。
就那个”起薪最高的为 DBA“ 我上篇帖子说过了,按照各自的理解吧。其实这样的采访肯定要挨骂的,不被大骂可能就是好事情了。下面有个留言的朋友挺有意思,"这人长得像长臂猿",汗,事实是,我的胳膊的确不长,谢谢!不过真的觉得自己好像正在上树的猴子,就知道编辑要照片没好事情 :)
附一下采访的全文:
记者:由于国内的分工不够细而且你也知道中国的开发人员要求博学广用,大部分的企业不会请专门的DBA,重视度也不够高。能否结合你的经历谈一谈我国DBA近几年的境况?
Fenng:我在2005 年3月加入阿里巴巴,这几年来一直负责维护支付宝的数据库。阿里集团的DBA团队相对比较专业,也比较成熟,这几年来,也不断有新的同事加入。团队对于成员的技术要求,我个人认为在关系数据库这一块还是要尽可能的专业,然后在专业的前提上尽可能的掌握一些相关度比较高的技术,比如存储技术、数据安全等。
最近几年来,国内DBA群体发展还是比较迅速的,在国内比较大数据库技术论坛(比如ITPUB)上参与讨论的DBA从数量上看是越来越多(当然技术的深度也可能被摊薄了一些) 。近期国内也有一些DBA独立顾问涌现出来,这在几年前是不太现实的事情。这也多少说明了,数据库技术服务市场需求逐渐大了起来。
至于国内 DBA 的薪酬,我想应该比一般开发人员高一点,毕竟数据是企业的命脉,那些过去对数据不够重视的企业多少都可能受到点教训。当然,DBA的压力也相对大一些,也算是个有点风险的“工种”。对比国外的薪酬比例,国内DBA的薪酬相比国外同行还是偏低一些。
记者:你怎么看待中国DBA未来的需求?
Fenng:个人浅见,在国内未来几年,对于DBA 的需求尤其对高级DBA的需求会越来越大。目前国内经济形势大热,企业成长的速度也比较惊人,对数据的重视程度也会越来越高,从这个角度上看,是会需要比较多的专业DBA的。
另外一方面,DBA的技术级别分布基本也是呈“金字塔型”,初级的永远最多,中级次之,高级永远都是少数(注:这几句话的确挺"废")。而且,随着一部分高级DBA的职业发展规划的变化,或者是随着年龄变化,可能会转向其他岗位,空出来的岗位需求永远需要有人顶上。
记者:很多IT专业技术的入门者说想从事DBA,但不知道怎样让自己更“专业”、不知道该获得什么认证,又不知道该选择哪种数据库专攻,能否请你结合这些问题给他们些建议?
Fenng:也有朋友问我类似的问题,说“想从事 DBA”,但我觉得很多人还是隔河观景的心态,总觉得DBA这个职位是不错的,其实任何一个职位做好了都一样的,最适合自己的才是最好的。
现在在国内,证书其实没有多大用处,尤其是没有任何经验背景的情况下去考证书。很多在校的学生,找一份 Braindump ,背几天,也能考过,这样的情形下,证书基本上就贬值了,当然我不否认证书在某些时候的确是个敲门砖。
至于专攻哪种数据库,肯定还是要“物以稀为贵”,同时要考虑市场的需求程度。几年前,Oracle 领域的DBA还是比较欠缺的,所以会有一批技术人员涌入这个市场,而 Oracle 的市场也的确做的不错。但从现在的业界发展趋势看,成熟的MySQL DBA 是比较欠缺的。就我所知,很多 Web 2.0 公司都在招聘 MySQL 相关的人才。但是 MySQL 的一个最大的问题是上手太容易了,很多人就以为没有什么技术含量转而进攻其他技术领域了,但实际上,一直走下去,才会发现该技术领域其实挺宽的。我的建议是,MySQL 也是大有文章可为。
记者:Sun收购了MySQL,主流数据库背后都有了IT大牛们的支持,这是否反应了某种趋势?你认为这种趋势对DBA人员有什么影响?
Fenng:MySQL 在这一波 Web 2.0 的大潮中是个赢家,但这不保证 Sun 买来 MySQL也能成为一个赢家,至于主流与否, 还要看用户接下来的接受程度。如果 Sun 把 MySQL 束之高阁,或是奇货自居,广大用户转而拥抱 PostgreSQL 也说不定。IT 界我感觉也和历史差不多,分分合合, 没有什么是一成不变的。所以,DBA 人员也不能总抱住一家数据库吃老本,即使现在某个数据库厂家如日中天,谁知道他过几年会怎样? 对DBA来说,也要作一点技术储备才好过冬。
以上只是一家之言,贻笑方家。
有未能说透的地方欢迎大家和我邮件探讨: dbanotes@gmail.com ,或是在我的 Blog 上留言。
--EOF--
年后了,正是员工跳槽、企业招聘最活跃的时候,据说某些招聘网站的系统压力都比平时增长了几倍。无论是求职还是招聘,可能都会遇到比较郁闷的事情,求职的人有怀才不遇之想,招聘的人也为不能找到性价比高的员工而发愁。
一直以来的一个误解是,DBA 薪水比较高,所以导致不少人涌进来。其实到底高不高呢? 薪水这个东西,可能比中国的漫游费还让人搞不清楚。不过这里有一份 美国 2007 年度薪水分析报告,可供参考,还有信息周刊的一份调查。看下来啊其实也就是个中等水平。而在国内可能是因为 DBA 供需比的关系吧,DBA 这薪水被喊的越来越高(物价也高啊,也有其他各种原因吧),以致于我看到某些培训网站居然广告是“做 DBA,拿高薪”,怎不叫人笑掉牙? 以前戈尔还说过 “获得高技术高薪水的头等舱船票”呢? 这年头广告语就别信了。可能的确有些 DBA 的薪水很高,但也不要忘了任何事情做好了,都能拿到高薪,销售做好了一样拿高提成,产品设计做好了一样有很好的回报。汉堡包卖好了你不也能开店和 KFC 竞争了?
今天看了一位朋友招聘 DBA 的感慨,引发了不少朋友的留言讨论。另一位朋友看了帖子,问到 “今年求职该要多少工资?" 我承认,求职者也有苦衷啊,本来跳槽就有个隐性损失在里面的,加上国内这居高不下的狗日的房价,还有持续上涨的物价,不多要点工资,让人怎么活? 这两位老兄自己也是很出色的 DBA,一个事情不同的角度,还是引发了不同的观点。
这里要对一些 DBA 新手朋友说几句,如果只是为了赚钱,不如考虑作一下销售的岗位。如果真的要走技术这条路,而又恰恰基础很好,技术功底不错,的确很难给自己定位,薪水要低了感觉对不起自己,要高了企业还未必愿意。我经常喜欢说的一句话是“薪水改变不了你生活本质”,每个月多一千少一千能改变你多少呢? 尤其是当前国内这个房价,光靠薪水买房子谈何容易? 所以,选择工作,重要的还是选这个职位在公司的位置和潜力。再者,DBA 还是要拼经验和项目背景的,多年的媳妇才能熬成婆,有些清闲的 DBA 职位,对于老 DBA 是能够养老,对于年轻的 DBA,恰恰会害了自己。
推荐看一下信息周刊的那篇文章,尤其是那些图表,很有参考价值。比如,Salary by Age:

--EOF--
承蒙朋友们的支持,前一段时间的拉票效果立杆见影,最后获得了ITPub 的 2007 最佳版主奖。说也惭愧,自打来杭州后并且沉迷写 Blog 后在 ITpub 上参与的技术讨论真的不如以前那么多了,好在自己现在多少也还写点 Oracle 相关的技术帖子。
原来参会行程都计划好了。不巧的是准备赴北京参加会议(2008 中国 IT 技术精英年会 ) 前夕,因为公司项目发布,结果没去成。看到老杨都在 Blog 上念叨我了,以前同事登峰和 Quest 于大姐也电话来问我为啥没去,感谢这么多朋友记得我。
会议地点在九华山庄,参加的朋友都在那里泡了温泉。这大冬天的,泡泡温泉倒也的确是一大乐事。ITPub 这么多年人气渐长,看朋友们写的一些会议感受,也能觉察得出举办的挺成功的。一个技术论坛能最终运营成有这么大的声势,除了 IT168 在后面的支持,也和 Tigerfish 的苦心经营分不开吧。想想自己这几年也在论坛上获益量多,认识了很多朋友,真的要感谢一下。
今天在家里昏睡了一天,下午起来后去了一趟淘宝办公室,把 ITpub 颁发的奖品拿回来了。一个奖杯和一台三星的打印机。帅哥小薛千里迢迢从北京把这些东西背了回来(打印机很沉),很辛苦,看来这顿饭是定要请他吃了。
也抢了一本 Piner 的新书,第一感觉印刷质量很出色,已经答应了要给他写篇书评 :)
--EOF--
连续二十几个小时的加班,挺消耗体力的。除了吃了一顿比较饱的晚餐外,还喝了三罐红牛、两杯咖啡、一壶茶、半瓶可乐、吃了若干个小饺子/小包子、两块巧克力、一个苹果、若干块牛扎糖...现在还是饿
这一年算下来大约至少十几个通宵,真是一场艰辛的旅程。
--EOF--
到了年末,招人。支付宝(Alipay.com)和阿里妈妈(Alimama.com)都在招聘 DBA。公司在高速发展,个人也会有足够的发展空间,正所谓:钱多、人少、速来。
我们这里的 DBA 有两个发展方向:产品 DBA 与开发 DBA 。产品 DBA 负责维护线上生产环境,开发 DBA 面向开发人员,控制应用程序 DB 质量。
至于职位要求,以前的这份似乎已经不太适合。我暂时重定义了一下非官方的需求。
产品 DBA 要求:
- 比较深厚的 Unix 技术背景
- Oracle Tuning Sense、Data Guard
- 足够的沟通技能,团队合作能力,足够的责任心
开发 DBA 要求:
- Oracle Tuning 技能
- 足够的沟通技能,善于和不同的人打交道,足够的责任心
- 扎实的数据库理论知识
另外,阿里妈妈招聘系统管理员(SA)。
DBA 朋友们,如果你有意在杭州或者上海发展,那么不妨给我发一份简历。我的邮件和Gtalk :dbanotes@gmail.com 。如果你在网络上有 Blog 或者是技术文章能体现您的功底,那么,把相关信息告诉我,如果您在互联网上很低调,那么简历还是要多写点内容上去,因为起码要能打动 HR。千万不要给我类似这样的简历。
招聘截止到明年第一季度。怎么也要给留出来拿年度奖金的机会吧?
一起来改写互联网的历史。此时此刻,非你莫属!If Not You, Then Who ? If Not Now, Then When?
--EOF--
这个标题其实是说我今天早晨路上的感受。
忙活完了,八点钟,下楼回家。因为从没有那么早上班(当然我这是下班),万塘路和华星路的十字路口,红绿灯一个切换的功夫,大约几百辆自行车一起冲过来,我刚好在路中间,晕,那几十秒钟,我好像刘姥姥进了大观园。我一直以为这条路上的人很少的。同在一个城市中,谁知道谁的生活呢?
还好,这一天总算要过去了,真他妈操蛋的一天。
--EOF--
一晚失眠,好不容易要睡着,报警短信狂响,爬起来,登录上去,检查半天,暂时不能定位到问题。兄弟们住的都比较远,干脆我自己跑到公司吧...
这半年来,我还真的很少这么早走在马路上,街上好像刚洒过水,真冷。公司楼下的 KTV 那边走过来一群人,估计刚唱完歌,年轻人真有精力...
到公司仔细检查了一下,还算顺利。定位到问题,基本上能控制住影响。又等了一会儿,厂商工程师赶到(大家都不容易),对坏的模块重新换了一个端口。我这头检查主机,状态也正常了,才算放下心来。
这就回家睡觉去,这日子过的!
--EOF--
随着国内游戏公司不断上市,相关从业人员也是水涨船高。钱多、人傻、速来,以此为诱饵,猎头公司估计也大赚一票。作为控制用户数据的 DBA 肯定是颇为短缺的。
长夜漫漫,闲极无聊,收集了一下当前游戏公司都在招聘什么数据库的 DBA。未必完全准确,权做参考。
| 公司- | 数据库 |
| 盛大- | Oracle/MySQL/SQL Server |
| 金山- | Oracle/MySQL/SQL Server |
| 网龙- | MySQL |
| 九城- | Oracle |
| 网易- | Oracle |
基本能看出来,Oracle DBA 还是比较多,多数公司还是会把核心的数据或应用跑在 Oracle 上。而排在第二的就是 MySQL了。至于 SQL Server 排在最后的原因,可能还是因为有些小游戏跑在 SQL Server 上,而维护基本是开发人员搞定,专门的 DBA 就不需要了。至于 DB2 ,还真不知道哪家游戏公司用。
至于核心的技能,MySQL 在 Replication 与 Cluster 架构两个方面是必须的。而针对 Oracle 来说,优化、 Data Guard / 备份恢复则是必须要求的技能。
--EOF--
看到一篇十分有趣的关于 DBA 的帖子。10 种迹象表明你的 DBA 该退休了. 作者是 Chris Muir. 这 10 条越看越好玩,翻译并注释一下。
1. Complains about these "new fangled stored procedures".
对"存储过程这新玩意儿"抱怨不停。 (暗示这个人还停留在 Oracle 古老版本的使用经验中。)
2. Rants about the good old days of Oracle PE (Punchcard Edition).
嚷嚷着 Oracle 卡片机版本(暗指非常古老的版本)美好时光.
3. Thinks Thomas Kyte is a whipper-snapper (even with the beard).
认为 Thomas Kyte 是个傲慢自大的年轻人(即使他有胡子). Kyte 现在已经是几个孩子的父亲了。而且,近年来 Kyte 在 Oracle 领域已经成为无可争议的大师级别的人物。 (暗示有这样想法的人可能 N 年前见过 Thomas Kyte, 近年来没关心 Oracle 社区的发展)
4. Still demands all Oracle manuals in hardcopy.
仍旧靠着所有打印的 Oracle 手册过日子. (现在的手册足有 几万页, 说明还是用的老手册, 而且守旧)
5. Has a service request with Oracle Support to forward port the RBO to 11g.
对 Oracle 支持人员提出一个 把 RBO 移植到 10g 的服务请求。(RBO--基于规则的优化器, 局限性非常大,已经不适合现现在复杂的数据环境了,如果还死抱着RBO大腿不放...)
6. Knows about Edgar's secret 13th rule.
知道 Edgar 的第十三条规则的秘密。(Edgar Codd,就是大名鼎鼎的关系数据库理论之父,他提出的基本准则只有 12 条。如果有 DBA 知道第十三条规则的秘密...)
7. Thinks Oracle Support went downhill when they moved the HQ to Redwood Shores in 1989.
认为 Oracle 支持自从1989年总部搬到 Redwood Shores 后每况愈下。(看看 Oracle 各个版本的 Bug 众多,以及 Oracle 服务费的昂贵,从哪个角度来看,Oracle 支持都是不差的,当然服务质量除外)
8. Has larry@rsi.com in his address book.
邮件地址簿里有 larry@rsi.com 。(RSI 是Oracle公司前身,larry@rsi.com 是 Oracle CEO 拉里-艾里森的邮件地址。还有这个邮件地址,估计至少有 20 年没更新过地址簿了。这个人有些"火星")
9. Still replaces blank lines in PL/SQL with single line comments.
仍旧在 PL/SQL 用单行注释替换空行.(这个需要解释一下,用手册上的话就不用绕了: You cannot use single-line comments in a PL/SQL block that will be processed by an Oracle Precompiler program because end-of-line characters are ignored. As a result, single-line comments extend to the end of the block, not just to the end of a line. In this case, use the /* */ notation instead)
10. Has an open 10 year old Oracle Support "TAR" to fix a bug in version 7 which he/she wont close because of the "principal of the thing."
在 Oracle 支持上开了一个长达10年之久的 "TAR",要修复某个 Oracle 7 的Bug,并且坚持认为此乃"首要之事"而不肯关闭该 Tar。(刻舟求剑)
等有时间再写写那些该下课的 IT 经理人
--EOF--
嫦娥上天了。为了庆祝这个活动,咱也搞项目,这不又熬了一夜。接近中午的时候才回家,倒头便睡,刚才起床的时候看到枕头边的手机居然有两个未接电话,可能是睡的太死。累,如果要在这个字前面加上形容词,那就是:他妈的,真他妈的累。
前几天还有人问我,咋能成为一个 DBA? (真不知道这活有什么好羡慕的),昨天熬夜的时候想到一句话:痛饮咖啡,熟读手册,方可为DBA。(套用闻一多的“痛饮酒,熟读离骚,方可为名士",嘿)"痛饮咖啡"是指要能熬夜,要有足够的体力和耐心,数据库维护是个高风险的事情,一步小心就可铸成大错,所以可能连续数个小时精神都是高度紧张状态,对我来说,凌晨六七点钟是比较容易迷糊的时候,脑袋轰鸣作响,头重脚轻,晚上熬夜不喝点提神的一般人怕是挺不过去。“熟读手册”就是要对基本的知识点烂熟于心,其实决大多数的维护用到的知识点 99.99% 都在技术手册里面,灵活运用也就是了。而深层次的技术积累则要靠平时多看多问多琢磨,有些可意会不可言传的意思。
光看我写的这些,可能觉得 DBA 是个挺恐怖的"工种",其实也有钱多人傻速来的时候,不过我是从来碰不上这样的好事罢了。
头脑还有些迷糊,刚才看今天股市跌的一塌糊涂。对了,DBA 不能炒股,否则,遇到事情干完活,那边厢早就跌停了
--EOF--
有感而发。从 ITToolBox 上一则 Blog 看到这个文章:一位 DBA 涉嫌盗取了 230 万客户资料。其中 220 万是银行账户资料,9.9 万条是信用卡记录。不知道这位一时想不开的 DBA 最后是否获罪。如果在国内,可能问题不大,教育教育罚点款就差不多无事了,在美国可不好说了,弄不好要关个几年,个人信用估计也将受到影响。
做个 DBA 可不容易,不但要技术好,还要人品好,能顶得住不义之财的诱惑(有没有什么公司提供高薪养廉的机制?)。莫伸手,伸手必被捉。
这种来自公司内部的威胁其实挺多的,最近《二十一世纪经济报道》上也有文章说的是类似的事情:危险的后门:内部"黑手"探囊安全网络
--EOF--
原谅我最近的更新频率吧。上回说的基本是 19 日上午的事情,再来说说下午的情况
吃过午饭,赶回人民大会堂。下午的技术演讲已经开始了。我参加的是操作系统的部分。进入会场,第一场章文嵩博士关于 LVS 的讲座已经接近尾声。我胡乱拍了几张照片后发现了阿北。到了提问时间,阿北问了一个关于 LVS 一般会遇到 IO 瓶颈还是 CPU 瓶颈(大意如此)。这个问题提问过后,有个自称是在电信做手机视频工作的朋友走过来和阿北聊了几句,我在旁边介绍说,这就是豆瓣的阿北啊,那个兄弟似乎没听说过,坐在阿北旁边的一个兄弟这时候也转过头来聊了几句,他是 51.com 的,我听说 51.com 买了几十台 EMC 的存储设备用来存储会员上传的视频,一问,这位仁兄很自豪的确认,没错,一天数据量就达到 1T 了。可惜互联网不是单靠数据量取胜,否则这位仁兄更该骄傲了。
第二场是雷鸣的《Linux平台下的高性能系统设计》,演讲内容和 Linux 其实关系不大,如果说成 "Web 高性能系统设计" 也很切题。一场讲座听下来,感觉雷鸣经验的确非常丰富。可能别人觉得挺空洞,不过他举的几个例子倒是对我挺有启发。
下一场则是关于 .net 的了,阿北说没意思,于是走到会议室外面聊天。博文视点的方舟还有 InfoQ 的泰稳也在外面,方舟对 Python 非常着迷,几乎是见人就推荐 Python 的好,刚好豆瓣堪称是国内最成功最大的 Python Web 应用...
最后我和阿北聊起了豆瓣,其实聊的内容有些类似于采访的形式了,基本上是我问,阿北在答。如果能把整个聊天的内容都记录下来,我相信肯定比那些外行的记者采访要精彩一些。豆瓣的经营理念可以说绝对是特立独行的,而且,不功利,从这一点上看,与国内所有的互联网公司经营理念都不同。开始和阿北接触,感觉他是个不善言谈的人,但是围绕豆瓣说开来后,简直是滔滔不绝,到了最后,我只得心里感叹我对豆瓣了解的还太少了。这次和阿北一起来的是 hongqn,他在豆瓣上的 Logo 很容易让人记住:带口罩的。
4 点多,各自准备回去休息一下。我在路边打车,足足等了有 30 分钟,晚上约阿北和 Hongqn 吃饭,结果...我又迟到了,在杭州两年多了,还不如刚来杭州的人熟悉地形呢,丢人。
吃过饭后,和他们两位一起去参加晚上在卡萨布兰卡酒吧的"大侠风尚"网络工程师沙龙,听信了一个出租车司机的话,"没多远", 沿着湖滨路走了整整半个小时,才算看到了湖边的酒吧招牌,我这个带路的,又丢人一次,我路过多少次,都没有注意到这里有个酒吧。
看到了 Rasmus Lerdorf 和 Jeremy Zawodny ,在里面悠闲的喝着啤酒。过了一会儿, Lerdorf 拿着个相机,这拍拍,那拍拍的,这个时候终于没人打扰他了。
其实工程师到酒吧,谈的也都是技术。几位平时就相互很了解的做 DBA 的朋友,见了面还是谈数据库 :) .这次总算见到了高春辉,上次在北京住的地方离他很近,不过时间不凑巧。其实我俩还算半个同乡,他是沈阳人,我是吉林的。老高给我免费培训了一下他的 ECSHOP,现在回想起来,我还是觉得这个产品很有市场,一定会被某个 C2C 大站点看上。
酒吧还看到了不少新老同事,好几位前同事辞职创业,在搞一个很有趣的项目,暂时替他们保密一下。本来和王皓说好这个礼拜天去上海看胡德夫的演唱会,又食言了,他至少给我推荐过二十场我感兴趣的演唱会,可是我...一场都没去过,尤其是上次 Roger Waters 的,我那个后悔啊,谁让我总加班呢??
Yupoo 也来了两位朋友,小橘子,还有他们的内容总监。小橘子送我一个 Yupoo 的 小纪念品,挺好玩的。对了,已经和他们约好,过一段时间参加他们举办的摄影活动去。
--EOF--
距离网络工程师侠客行大会成功举行已经有好几天了,总算有点空,也简单的写一下我的参会感受。
周五晚上加完班刚到家,接到刚下飞机的阿北的电话,问我下午技术研讨的场次是否可以调整,我也不知道公司同事对票是怎么控制的,赶紧在 IM 上找在线的同事联系了一下关于场次以及晚上酒吧活动的事情。之前比较忙,也顺便看了一下会场信息什么的。
周六正在洗脸,接到张磊的电话,我答应给他要一张票的。收拾停当,赶紧出门,要知道在杭州作出租车有的时候要靠运气,紧赶慢赶,总算正式开始之前赶到了人民大会堂。把票给了张磊后遇见了几位同事,会场里只有最后一两排还有座位了。
前面的嘉宾致辞都很短,不愧是技术性的会议。接下来的第一个主题演讲就是 PHP 之父 Rasmus Lerdorf 的《激情下的 PHP》,Lerdorf 是典型的 Nerd 形象,为了练练英语听力,我特地跑到最前排,坐在地上听完了演讲。Lerdorf 看来在美国也是到处走穴,演讲的经验很丰富,刚开始明显感觉他也有些紧张,到了后半段就非常放松了。可能这是我在最前面能感觉到的一点吧。在自由提问的时候有人问到下一个版本的 PHP 会有哪些特性,Lerdorf 不加思索的说 "Unicode",最后的一句话很有意思,大意是"如果要问我再下一个版本是怎样的,我也不知道".
上午的第二个主题演讲者是 Yahoo! 著名 Blogger Jeremy Zawodny, Jeremy 的 Blog 是业界比较知名的,他在 MySQL 方面的经验非常丰富(如果他做这个主题可能更受欢迎),"将 MySQL 成功的大规模部署在 Yahoo! 上", 他这次的演讲主题确是关于 Web Service 方面的。 Jeremy 在此行之前做了不少功课,包括对中国的了解,以及 How I write a Presentation,车东说他是个 Geek ,诚如所言。
中场休息的时候认识来自博文视点的周筠老师以及 CSDN 的龙如俊,还有霍泰稳
, 他现在在负责InfoQ 中文,还有其他几位编辑,以前在网上多有联系,这次总算见到这几位真人了。
周筠老师非常有亲和力,其他几位编辑也都非常热情,盛情邀请几位 DBA 一起吃午饭,吃饭的细节汪海已经有所描述(就是他来的比较晚 :)),需要补充的是,我临走还获赠了两本图书,一本是著名的《代码大全》,一本是 《Effective C++》第三版,的确是好书,不能独享,已经转赠给公司开发团队的图书室了。
这是 19 号周六上午的流水账,有空我再继续写。
--EOF--
昨天 23 点的时候从家里出来到公司,外面风好大。到公司电梯里,惊奇的遇到两个打完羽毛球到公司上班(?)的同事,惊讶。
其实昨天身体很不舒服,头疼欲裂,可没办法,这不,硬挺着,又熬了一夜。
--EOF--
昨天9点半一直到现在,一直奋战到现在。几乎每个小时都有新情况。总算坚持过去了,暂且告一段落。
劳动节,就要劳动嘛。
从4月上旬一直忙到现在,这段时间工作强度可真的让身体有些吃不消。每次感觉坚持不住的时候再熬熬其实也就过去了。
--EOF--
凌晨一点 40 分,洗了一把脸,继续工作。
这一天过的,和反恐 24 小时差不多,唯一和 Jack 有点差别的是我吃了晚饭。
还有 10 天,工作强度都会是这样。
--EOF--
这两天没有更新 Blog。借口当然是我太"忙"了,忙得好像一只小蚂蚁。
一旦忙碌起来,情绪也容易波动,失眠、多梦(腰酸背痛腿抽筋?); 忙碌过后很容易陷入盲目状态,眉毛胡子一把抓,企图把所有的东西都搞定,可实际上往往事与愿违,每一个细微的地方都有可能导致大麻烦。盲目之后,所有的事情都告一段落了,可能又会有点茫然,不知道接下来干什么好。
这周一共熬了四个晚上,准备好好的睡一觉再说。
--EOF--
前面我在《eBay 的数据量》中介绍了一些道听途说来的关于互联网巨头 eBay 服务器架构的信息,不过还缺了一点关键数据。
在 Oracle 站点上的一篇题为 The eBay Global Platform and Oracle 10g JDBC 的白皮书,有能看到一些数据。
在 2004 年的时候,eBay 的应用服务器采用了 IBM WebSphere,部署在 WinNT 上,硬件是 Intel 双 CPU 奔腾服务器。服务器数量是 2400 台。在《eBay 的数据量》中我们知道,eBay 的是集中式处理 Log 的,每天会有 2T 的 Log 数据产生,现在只会更多。这些应用服务器分成不同的组,通过一个统一的 DAL(database access layer) 逻辑层访问 135 个数据库节点。
这篇白皮书已经发布了两年,相信在这两年的时间里,服务器规模又会扩大了许多。
eBay 的 SOA 架构 V3 示意图如下:
上帝说,每个网站都要有个工具条,于是,我们看到了 Google Toolbar、Yahoo! Toolbar、Windows Live Toolbar、Alexa Toolbar ...... 谁知道当前互联网有多少个工具条产品? 如果工具条安装多了一点,浏览器"宽"屏就没有用啦,必须"高"屏才可以。要把这些工具条都安装上,那长度怕是要耷拉到脚面。
现在 Oracle 也来凑热闹,发布了一个 Oracle DBA Toolbar。通过这个工具条能够和 Oracle 官方站点做更好的内容交互,对于数据库工程师来说倒是不错的。DBA Toolbar 也有一个 RSS Manager 功能,并且订阅的 RSS 内容可以动态在工具条上显示(News Ticker 选项,可惜不支持中文)。当前只有针对 IE 版本的,Firefox 版本估计会在不久发布。

通过查看该产品介绍得知,Oracle DBA Toolbar 是通过 Dynamic Toolbar 5 定制的。Dynamic Toolbar 这个产品很有意思,把工具条的生产变成了流水线作业,目前已经有不少站点是使用他们的服务,其中就包括 Yahoo! 。
这是一个工具条泛滥的年代。
--EOF--
作为电子商务领头羊的 eBay 公司,数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇
Web 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中,eBay 的存储主管 Paul Strong 对数据量做了一些介绍,管中窥豹,这些数据也给我们一个参考。
站点处理能力
- 平均每天的 PV 超过 10 亿 ;
- 每秒钟交易大约 1700 美元的商品 ;
- 每分钟卖出一辆车A ;
- 每秒钟卖出一件汽车饰品或者配件 ;
- 每两分钟卖出一件钻石首饰 ;
- 6 亿商品,2 亿多注册用户; 超过 130 万人把在 eBay 上做生意看作是生活的一部分。
在这样高的压力下,可靠性达到了 99.94%,也就是说每年 5 个小时多一点的服务不可用。从业界消息来看,核心业务的可用性要比这个高。
数据存储工程组控制着 eBay 的 2PB (1Petabyte=1000Terabytes) 可用空间。这是一个什么概念,对比一下 Google 的存储就知道了。每周就要分配 10T 数据出去,稍微算一下,一分钟大约使用 1G 的数据空间。
计算能力
eBay 使用一套传统的网格计算系统。该系统的一些特征数据:- 170 台 Win2000/Win2003 服务器;
- 170 台 Linux (RHES3) 服务器;
- 三个 Solaris 服务器: 为 QA 构建与部署 eBay.com; 编译优化 Java / C++ 以及其他 Web 元素 ;
- Build 整个站点的时间:过去是 10 个小时,现在是 30 分钟;
- 在过去的2年半, 有 200 万次 Build,很可怕的数字。
存储硬件
每个供货商都必须通过严格的测试才有被选中的可能,这些厂家或产品如下:- 交换机: Brocade
- 网管软件:IBM Tivoli
- NAS: Netapp (占总数据量的 5%,2P*0.05, 大约 100 T)
- 阵列存储:HDS (95%,这一份投资可不小,HDS 不便宜, EMC 在 eBay 是出局者) 负载均衡与 Failover: Resonate ;
搜索功能: Thunderstone indexing system ;
数据库软件:Oracle 。大多数 DB 都有 4 份拷贝。数据库使用的服务器 Sun E10000。另外据我所知, eBay 购买了 Quest SharePlex 全球 Licence 用于数据复制.
应用服务器
应用服务器有哪些特点呢?
非常有意思,根据eWeek 的该篇文档,昨天还有上面这段划掉的内容,今天上去发现已经修改了:
架构
- 高分布式
- 拍卖站点是基于 Java 的,搜索的架构是用 C++ 写的
- 数百名工程师进行开发,所有的工作都在同样的代码环境下进行
可能是被采访者看到 eWeek 这篇报道,联系了采访者进行了更正。我还有点奇怪原来"两层"架构的说法。
其他信息
- 集中化存储应用程序日志;
- 全局计费:实时的与第三方应用集成(就是eBay 自己的 PayPal 吧?)
- 业务事件流:使用统一的高效可靠消息队列. 并且使用 Cookie-cutter 模式用于优化用户体验(这似乎是大型电子商务站点普遍使用的用于提高用户体验的手法)。
后记
零散作了一点流水帐。作为一个 DBA, 或许有一天也有机会面对这样的数据量。到那一天,再回头看这一篇电子垃圾。更新:更详细信息请参考:Web 2.0: How High-Volume eBay Manages Its Storage。可能处于 Cache 的问题,好几个人看到的原文内容有差异
--EOF--

