数据库一体机简史:从DEC到HP,硬件公司能做好数据库吗?
在之前的《从Teradata到Neoview,硬件公司逆流而上能成功吗?》一文中,我们讨论过NonStop SQL。有朋友提示,这个产品还有后续,本篇我就再展开一下。但是让我们先思考一个问题:硬件公司能做好数据库吗?
从硬件到数据库,这是一个绝佳的扩展和联动。硬件公司做数据库,IBM是最佳的成功案例,但是IBM作为计算机时代的开创者有其独特性。从IMS到DB2,IBM成功地迭代了数据库产品,但在市场竞争中也已不再占据领先地位。
那么,硬件公司做数据库的核心挑战是什么呢?我们来看一看康柏走过的历程。
01.
天腾的诞生:从惠普的拒绝到硅谷的成功
天腾的故事,起始于一次“拒绝”。
詹姆斯·特雷比格(James G. Treybig)曾是一位在惠普工作的年轻工程师。1970年代初期,他开始思考一个问题:为什么会有银行、电信公司和证券交易所愿意为同一份数据同时配置两套完全独立的计算机系统?答案很简单:它们不能承受哪怕一分钟的系统宕机。在那个大型计算机宕机后动辄需要数天才能恢复的年代,单点故障意味着灾难性的业务中断。
特雷比格向惠普管理层提议开发一种能够“永不宕机”的容错计算机,却被婉言拒绝,他旋即辞职。1974年11月,特雷比格在库比蒂诺(Cupertino)开始创业,他招募了同为惠普出身的詹姆斯·卡茨曼(James A. Katzman)负责硬件设计,以及迈克尔·格林(Michael D. Green)负责软件开发。
天腾的早期创业资金来自传奇风险投资公司Kleiner Perkins——这是一家由前惠普高管汤姆·珀金斯(Thomas J. Perkins)联合创立的风投机构。
"Tandem"在英语中原指“双座自行车”或“前后串联”——两个部分一起工作,任何一个出了问题,另一个仍能继续前行。这正是NonStop架构的精髓——所有关键组件都有冗余备份,任何单一组件的故障都不会导致系统停止服务。
1976年,天腾向花旗银行交付了第一台NonStop计算机。此后销售额在最初六年每年翻一番,公司于1977年在纳斯达克上市。到1982年,销售额已从1979年的5600万美元猛增至3.12亿美元,增长了近六倍。天腾几乎垄断了当时的容错计算机市场,主要客户遍布银行、证券交易所、电信公司和大型制造企业。值得一提的是,天腾的非结构化容错系统在1980年代成为纽约证券交易所(NYSE)的核心基础设施。1987年10月19日“黑色星期一”股市大崩盘当天的一个注脚常常被人引用:尽管当天NYSE交易量创下历史纪录,系统压力达到极限,但运行在天腾系统上的交易处理平台全程未发生任何宕机事故——这是容错系统价值的终极证明。
天腾的企业文化同样是当时硅谷的一道独特风景线:弹性工作时间、全员股票期权、每四年一次的带薪休假、内部晋升优先,以及标志性的每周五下午“啤酒聚会”(Beer Busts)。这种文化使天腾保持了极低的员工流失率和极高的生产效率,成为后来无数硅谷公司争相模仿的对象。
02.
NonStop SQL:打破“关系型数据库天生就慢”的偏见
数据库是天腾的技术皇冠,而NonStop SQL则是皇冠上的宝石。NonStop SQL是天腾于1987年推出的旗舰级关系型数据库管理系统,它是业界首个专为在线事务处理(OLTP)环境设计的高性能、分布式、高可用SQL数据库。在此之前,业界流传着一个根深蒂固的偏见:“关系型数据库天生就慢。”面向批处理的传统大型机数据库,似乎永远无法胜任高并发、低延迟的在线事务处理场景。NonStop SQL用实际表现打破了这种偏见,证明了关系型数据库可用于生产级OLTP,为日后整个互联网时代的关系型数据库繁荣奠定了重要基础。
NonStop SQL的技术创新体现在三个维度:
-
开创分布式SQL先河:在分布式数据、分布式执行、分布式事务方面树立了行业标杆,让SQL语义在多节点集群中无缝流转,这一思路直接影响了后续数十年的分布式数据库设计。
-
高可用(HA)设计:通过将SQL语义与Tandem的消息式分布式操作系统Guardian深度结合,实现了在数据库层面的高可用性——任何节点故障都不会导致正在进行的事务中断,这是当时其他数据库产品无法做到的。
-
线性横向扩展:1989年,天腾推出了NonStop SQL/MP,它是一个MPP分布式数据库,可实现海量并发SQL执行。在当时的历史条件下,NonStop SQL/MP开创性地提供了线性横向扩展能力——增加节点,性能线性提升,没有天花板。这种能力直到大数据时代才被真正普及。
在数据库产品的助攻下,1988年,天腾获得了加州机动车管理局一份为期四年、价值5000万美元的合同,击败了IBM。1989年秋,天腾赢得了一系列重要客户,如美国最大的两家健康维护组织Humana和Kaiser Permanente,以及药品分销商McKesson。显然,大家都有的共识是,数据库和硬件可以紧密结合,从而带来商业价值。事实上,天腾NonStop系统在金融行业的影响更为深远——Visa和MasterCard的全球交易处理核心系统长期运行在天腾的NonStop平台上。世界各地的ATM机在你刷卡那一刻,大概率有某个环节的授权请求穿越了天腾系统的处理节点。这种“24/7永不宕机”的特性,让天腾在金融和电信领域赢得了无可替代的地位,也使得这些行业的技术老兵们对NonStop技术有着一种近乎宗教式的信仰——即便多年后NonStop系统已经迁移到x86平台,仍有一批铁杆用户坚持认为没有什么能比NonStop更可靠。
03.
Windows集群的"2-Ton"实验
天腾与微软组装了一个名为"2-Ton"的演示系统。这指的是一个2TB的数据库,分布在64台Windows服务器上。1997年5月14日的新闻稿称:
"微软与天腾演示了当今世界上最大的基于Windows NT的系统,该系统使用天腾的ServerNet互连技术将64个英特尔奔腾Pro处理器连接成集群。该系统管理着一个2TB的数据库,其中包含一个300亿行的表。”
这个数字在今天看来已经毫不起眼,但在1997年,能够在PC服务器集群上管理2TB数据和300亿行记录,几乎是一件令整个业界瞠目结舌的壮举。这次演示的深远意义不只是技术上的,它向整个企业IT界发出了一个信号——昂贵的专有容错系统,正在被基于标准PC硬件的集群方案所追赶。
微软的Wolfpack项目最终演化为Windows Server集群服务(MSCS),成为企业级Windows高可用性基础设施的标准组件,间接推动了整个行业向“标准化硬件+软件高可用”模式的迁移。这种趋势,正是后来专用数据库一体机硬件市场逐渐被通用服务器所取代的前兆。
与此同时,微软对天腾最重要的“挖角”悄然完成。天腾的技术传奇人物吉姆·格雷(Jim Gray)——这位后来获得图灵奖的数据库科学家——于1995年加入了微软研究院。格雷不喜欢西雅图多雨的气候,微软为此在旧金山湾区特地设立了微软研究院湾区研究中心(Microsoft Research Bay Area),专门为他量身定制。
吉姆·格雷的人生本身就是一部计算机科学的传奇。1944年出生于旧金山的他,在加州大学伯克利分校分别获得了数学与工程学士学位(1966年)和计算机科学博士学位(1969年)。在IBM圣何塞研究实验室工作期间,他参与了划时代的System R项目,并在那里正式定义了“事务”(Transaction)的概念,确立了ACID(原子性、一致性、隔离性、持久性)准则——这四个字母,至今仍是每一位数据库工程师入行的第一课。1980年,他加入天腾公司,领导开发了NonStop SQL数据库系统,将高可用性与关系型数据库融为一体。之后他还推动建立了国际事务处理性能委员会(TPC),制定了数据库行业通用的性能基准测试标准,填补了数据库性能评估领域的重大空白。1998年,吉姆·格雷荣获ACM图灵奖——计算机科学领域的最高荣誉。
然而,这位计算机界的传奇人物,以一种令所有认识他的人都难以释怀的方式离开了世界。2007年1月28日,格雷独自驾驶他那艘40英尺长的帆船"Tenacious"号出发,前往旧金山附近的法拉隆群岛(Farallon Islands)撒散母亲的骨灰,此后再未归来。美国海岸警卫队展开了大规模搜救行动,他在微软的同事和朋友们甚至发动了当时最大规模的众包搜索行动,调用公众卫星图像,召集了亚马逊Mechanical Turk平台上成千上万名志愿者逐帧分析海面卫星照片——这也成为“众包”与“云计算”应用于现实紧急情况的早期案例之一。但一切都是徒劳,格雷的帆船和遗体始终未被找到。2012年1月28日,法院正式认定格雷死亡。微软研究院以他的名字设立了“吉姆·格雷电子科学奖”,以纪念这位为数据处理和科学数据共享倾尽一生的伟大科学家。
04.
康柏的悲剧:数据库业务的“四天梦”
格拉菲是数据库优化领域公认的顶级专家,他在威斯康星大学麦迪逊分校(University of Wisconsin-Madison)获得硕士(1984年)和博士学位(1987年),导师正是著名数据库专家戴维·德维特(David DeWitt)。在校期间,格拉菲参与了德维特的Gamma数据库机项目,并做出了重要贡献,因而与该项目其他参与者共同获得了2008年ACM软件系统奖。
格拉菲最广为人知的学术成就,是他在1993年提出的Volcano Optimizer和1995年提出的Cascades框架。在System R的优化器框架之后,Cascades被认为是查询优化器领域最具突破性的贡献之一。它提供了一个灵活、可扩展的优化器生成框架,影响了此后几乎所有主流数据库系统的优化器设计,包括Microsoft SQL Server的优化器重写、IBM DB2的查询优化器改进,以及后来的Greenplum、CockroachDB等众多系统。特别值得一提的是,格拉菲本人后来也在微软工作多年,深度参与了SQL Server优化器的重写;之后又加入HP Labs成为HP Fellow,在那里与NonStop SQL/MX团队再度合作,参与了NonStop SQL/MX查询优化器(采用了格拉菲的Cascades框架)的设计。这使得格拉菲成为少数几位对多个主流数据库优化器产生直接影响的计算机科学家之一。格拉菲因其“在数据库查询优化器架构和实现方面的基础性贡献”获得了2017年SIGMOD Edgar F. Codd创新奖。他是该奖项的第27位获得者。
NonStop SQL/MX的口碑极佳。《NT杂志》曾评测过NonStop SQL/MX产品,称其在规模和可靠性方面比SQL Server领先五年,比Oracle领先至少18个月。这是一个令人叹为观止的评价——如果没有后续的意外,NonStop SQL/MX完全有潜力成为企业级数据库市场的重要玩家。
然而,戏剧性的一幕发生了。康柏收购天腾后,尝试将NonStop SQL/MX推向Windows平台。这款数据库产品在市场上仅存在了四天,康柏就意识到,它突然与自己的两个最大合作伙伴——微软(SQL Server)和Oracle——形成了正面竞争。这就是硬件公司做数据库所面临的巨大挑战,合作伙伴一夜之间变成了竞争对手。康柏急忙从震惊的市场上撤下了该数据库软件。
这四天的“数据库梦”,成为数据库行业史上最短命的商业产品发布之一,也是硬件厂商进入数据库领域所面临的结构性矛盾的最生动注脚——当你的硬件平台上运行着合作伙伴的数据库软件,一旦你自己也进入数据库市场,合作伙伴立刻变成对手,原有的生态平衡随之崩溃。如果没有做好充分的准备工作,内外部的矛盾与挑战都会成为阿喀琉斯之踵。
值得记录的还有天腾文化史上另一个令人忍俊不禁的小故事——“周五啤酒聚会”(Beer Bust Friday)的诞生。1976年,天腾的第一个重要商业客户Tandy的安装项目出现了严重的技术问题,整个项目眼看就要延期。CEO詹姆斯·特雷比格意识到,作为老板,员工们通常只向他汇报好消息,坏消息往往被过滤掉了。于是某个周五,他买了一箱啤酒,带着一套“吹牛骰子”(Liar's Dice)走进了开发部门,和工程师们一起喝酒玩游戏。几杯啤酒下肚,工程师们在轻松的气氛中开始坦诚讨论项目面临的真实困难。特雷比格当即调配资源,解决了问题。这次意外之举大获成功,“周五啤酒聚会”就此成为天腾的固定传统,也成为硅谷企业文化史上最有名的轶事之一。2024年,正值天腾成立50周年,当年的员工们聚首回忆,许多人仍将在天腾工作的岁月称为自己职业生涯中“最幸福的时光”。
05.
ServerNet:被低估的技术遗产
天腾留给计算机科学界的遗产,远不止于数据库技术。
ServerNet是天腾开发的一种高性能、低延迟的服务器互连网络技术,在天腾被康柏收购后,曾短暂作为适用于Windows服务器的网卡推出。但ServerNet真正的历史价值,在于它是现代高性能计算领域两大核心技术的“祖师爷”:
-
InfiniBand的前身:现在被广泛应用于高性能计算(HPC)、数据中心、AI训练集群和大型数据库系统的工业标准InfiniBand,在很大程度上吸收了ServerNet的设计思想。今天,英伟达(NVIDIA)的GPU集群和超算系统中随处可见InfiniBand的身影,这其中有一条隐秘的技术传承线索延伸至天腾的实验室。
-
RDMA技术的物理基础:ServerNet也是虚拟接口架构(Virtual Interface Architecture, VIA)的物理基础,后来演变成了当今计算存储网络领域熟知的RDMA(Remote Direct Memory Access,远程直接内存访问)技术。RDMA现在是分布式存储、高性能网络和云计算基础设施中不可或缺的技术。
一家1974年在库比蒂诺起步的容错计算机公司,竟在无意间为今天AI时代最关键的互连技术埋下了种子——历史的传承方式有时确实令人惊叹。如今,在英伟达H100 GPU集群中连接数百块GPU进行大模型训练的InfiniBand网络,在阿里云、AWS的分布式存储系统中加速I/O的RDMA技术,其技术血脉可以追溯到1990年代天腾工程师们在那台ServerNet原型机前的日夜奋斗。这种技术传承的路径,提醒我们:很多时候,一家公司最深远的遗产,不是它的品牌或市场份额,而是那些悄悄流淌进下一代基础设施的技术基因。
06.
从康柏到惠普:Neoview的起落
2002年,康柏被惠普(HP)以约250亿美元收购,两家公司正式完成合并。之前已被康柏收购的天腾随之成为了惠普的一部分。天腾的技术基因,就此融入了这家来自惠普车库的百年老店。
2006年,基于NonStop SQL/MX的OLAP分支——Neoview正式诞生。Neoview是惠普在数据仓库市场发起的一次重量级赌注,时任CEO马克·赫德(Mark Hurd)将其视为惠普挺进企业数据仓库市场、与Teradata正面竞争的战略武器。赫德本人曾在NCR(即曾经拥有Teradata的公司)工作,对数据仓库市场有着深刻的理解和强烈的执念。Neoview的底层是NonStop SQL/MX,这套经过数十年实战磨砺的数据库系统,曾是世界上最可靠的数据库之一。
然而,Neoview在市场上遭遇了惨败。2011年1月24日,就在马克·赫德因个人丑闻离开惠普的数月后,继任者就宣布停止销售Neoview平台,彻底退出数据仓库硬件市场。一个承载着数十年技术积累的产品线,就此黯然退场。
07.
DEC Rdb:另一个硬件巨人的数据库命运
在天腾的故事之外,DEC(Digital Equipment Corporation,数字设备公司)也走过一段相似的硬件厂商做数据库的坎坷之路。
DEC是1970至80年代全球第二大计算机制造商,仅次于IBM。其VAX系列小型机和VMS操作系统曾是无数大学实验室和政府机构的核心计算基础设施。肯尼斯·奥尔森(Kenneth Olsen)于1957年与哈兰·安德森(Harlan Anderson)共同创立了DEC,两人在波士顿郊区梅纳德(Maynard)的一栋旧毛纺厂起家,以小型化、相对低廉的PDP系列计算机打破了IBM对“计算机必须是昂贵大型机”的垄断认知。DEC在全盛时期拥有超过12万名员工,市值数百亿美元,堪称硬件时代的科技巨头。
然而,DEC在时代转折中做出了一系列错误判断——包括对个人电脑市场的轻视和对RISC架构的迟疑反应。到了1990年代,DEC在激烈的市场竞争中节节败退,不得不开始变卖资产以求自保。Rdb的出售,正是这一溃退的缩影。
DEC于1984年推出了Rdb/VMS,这是一款专为VMS操作系统和VAX系列服务器设计的关系型数据库,是DEC在数据库领域的旗舰产品。Rdb以其在VAX硬件上的高度优化和出色的可靠性而广受用户好评,在制造业、政府和科研领域积累了大量忠实用户。
然而到了1990年代初,随着DEC经营困难,公司不得不开始出售资产。1994年,Oracle以1.08亿美元收购了DEC的Rdb数据库业务——这一收购金额约等于Rdb业务一年的收入。Oracle保留了约250名原DEC工程师,在新英格兰开发中心(Oracle的首座位于加州以外的数据库研发基地)继续开发和支持这个产品,并将其更名为"Oracle Rdb",延续至今。
值得一提的是,收购之后,DEC在接下来15个月内仍继续负责现有维护合同的执行,之后才正式移交给Oracle。这种平稳过渡,保护了现有用户的利益,也体现了Oracle在商业策略上一贯的务实风格。Oracle Rdb至今仍作为一款小众但可靠的数据库产品活跃在某些特定行业。
08.
Trafodion:从专有到开源的浴火重生
Neoview停产之后,其核心技术并未就此消亡。2012年,一个名为SeaQuest的项目完成了一项具有历史意义的迁移:将Neoview从专有的NonStop硬件和专有操作系统,移植到了x86服务器和Linux操作系统上。这再一次验证了一个反复上演的历史规律:专用硬件终将让位于通用硬件。
2014年,乘着大数据的东风,SeaQuest项目将底层的数据存储和访问引擎移植到HBase/Hadoop之上,并开发出了HBase分布式事务处理等新技术,从而推出了全新的开源项目Trafodion,并将全部代码贡献给了Apache软件基金会。图4是NonStop SQL的历史演进路线图。

图4 NonStop SQL演进路线图
Trafodion项目试图将NonStop SQL的高可用性和事务处理能力带入Hadoop生态,让大数据平台也能支持严格的ACID事务。这个思路很有前瞻性,但最终因为缺乏足够的商业支持和社区活跃度,Trafodion在开源社区已被归档,成为了一款技术理想主义者的未竟之作。
这一故事的中国版演绎,就是基于Trafodion的易鲸捷数据库。易鲸捷曾尝试基于Trafodion打造国产分布式数据库产品,但随着Trafodion社区活跃度的衰退,这条路也愈走愈窄。
从天腾到DEC,从惠普Neoview到Trafodion,硬件公司做数据库的这段历史,为我们留下了一些值得深思的规律:其一,数据库是一个需要长期积累软件生态的产业,硬件公司往往低估了建立数据库周边工具链、培训体系和应用生态所需要的时间与投入;其二,进入数据库市场往往意味着与现有软件合作伙伴形成直接竞争,这种战略性代价在短期内极难弥补;其三,专用硬件的性能优势终将被通用硬件的规模经济所侵蚀——这几乎是不可阻挡的历史趋势,天腾的NonStop、惠普的Itanium和Neoview,莫不如此。唯一的例外,是那些能够在软件层面实现足够深厚积累、能够跨越硬件变迁生存下来的数据库内核——就像NonStop SQL的技术基因,在经历了Trafodion的移植之后,仍然以某种形式在分布式数据库世界里延续着生命。


