Exchange 2003 设计与体系结构 （1）

　　概述

　　Microsoft 的运营技术组(OTG)最近部署了 Microsoft Exchange Server 2003 - 该公司行业领先的企业通信应用程序的最新版本。OTG 不仅通过运行 IT 应用程序为公司内的无数员工和单位服务，而且作为 Microsoft 内各种企业产品开发组的第一个、也是最好的一个客户，在 Microsoft 软件提供给外部客户之前首先在公司内进行部署。

　　从 Microsoft Exchange 2000 Server 到 Microsoft Exchange Server 2003 的移植给 Microsoft 的通信体系结构带来了许多重大变化。OTG 已经转移到完全集群的邮箱服务器环境之中。这些服务器集群都连接一个或多个对其数据存储封闭的存储区域网络(SAN)。使用集群技术显著增强了可靠性、提高了可用性、并改善了执行滚动升级的过程。

　　部署 Exchange 2003 的优点，特别是结合部署 Microsoft Windows Server 2003 和 Microsoft Office 2003 所带来的优点，使得 Microsoft 能够整合其通信基础结构。OTG 已经开始实施这一计划，将全球 75 个位置的 113 台邮箱服务器整合为 7 个位置的 38 台邮箱服务器。Exchange 2003 还能够在同一台服务器上支持所有的移动通信服务，如 Outlook Web Access(OWA)、Outlook Mobile Access(OMA)和 Exchange ActiveSync(EAS)，从而使 OTG 能够进一步整合其全球前端服务器基础结构。

　　通信数据存储基础结构也进行了更新。数据存储从原来位于远程位置、直接连接的小型计算机系统接口(SCSI)存储阵列和位于华盛顿州雷德蒙(Redmond，Washington)总部数据中心的 SAN 解决方案组结合的方式替换为位于所有位置的 SAN 。这些变化使得 OTG 能够增加每台服务器的邮箱数量，同时显著增强备份和恢复解决方案的性能和能力。

　　到撰写本文时为止，OTG 已经极大地减少了 Exchange 的管理开销，提高了系统性能和服务可用性，并增强了自己履行服务等级协议(SLA)责任的能力。随着 Microsoft 逐步实现其整合目标，这些优点将更加显著。

　　注：因为安全方面的原因，本文中所使用的森林、域、内部资源和组织的名称不代表 Microsoft 内部使用的真实的资源名称，仅用于说明目的。

　　介绍

　　Microsoft Exchange Server 2003 代表了 Microsoft 在企业技术领域的一项重要的持续性投资。Exchange 2003 提供了企业通信和协作客户需要的改进特性。全球许多最大型公司都使用 Microsoft Exchange 运行其消息系统，其中包括 Microsoft。

　　本文旨在概括介绍 Microsoft 在升级到 Exchange Server 2003 的过程中所作出的体系结构和设计决策。本文重点说明项目中的硬件选择和配置问题，同时还讨论了通过升级获得的关键技术进步和最佳实践。因为 OTG 是 Microsoft 技术和产品的领先实施者，该组织引入了一套独特的要求和创新方法来满足客户的需求。本文描述了这些要求和方法，以及它们对部署设计决策的影响方式。本白皮书的计划读者包括技术决策者、系统设计师、IT 实施人员和消息系统管理人员。

　　OTG 以下面这些目标为基础，实施从 Exchange 2000 到 Exchange 2003 的移植：

　　•在 Microsoft 将该产品提供给客户之前进行测试和改进。

　　•整合全球的 Exchange 服务器站点，以减少服务器维护和管理的成本和工作量。

　　•通过使用标准化服务器和存储硬件来简化通信基础结构。

　　•增强 OTG 履行其数据备份和恢复服务等级协议(SLA)责任的能力。

　　•显著改善终端用户使用 Microsoft 通信服务的体验。

　　OTG 在部署 Exchange 2003 时达到了所有这些目标。

　　当前网络基础结构概述

　　Microsoft corporate 的企业网是世界上最大的试验性计算机网络，在它的生产环境中使用了各种 beta 级和测试版的软件。该网络是众多功能主干的联合，其范围覆盖全球。每个主干根据区域边界进行定义，集中连接到位于 Puget Sound 大都市区(Puget Sound Metropolitan Area)中的主企业园区。

　　该网络按照多域路由模型设计。它分为四个区域网络，每个网络都是一个单一的开放最短路径优先(Open Shortest Path First，OSPF)路由和寻址域。这四个区域覆盖了以下地区：1. 西华盛顿州的 Puget Sound 大都市区;2. 欧洲、非洲和中东;3. 日本、环太平洋地区、南太平洋地区;以及 4. 北美洲和南美洲的其它地区。

　　每个区域网络由一个主干区域(Area 0)和多个区域组成，以确保每个区域网络的可伸缩性。外部边界网关协议(EBGP)被用来交换区域网络之间的路由以确保网络作为一个整体的可伸缩性。

　　Puget Sound 城域网(MAN)支持全局企业网络上的大量数据通信，在该地区内的建筑和主要的数据中心之间提供了千兆位的连接。当前的园区由 70 个单独的建筑和两个数据中心组成，其网络基础结构为园区内的任何位置提供了对企业资源、开发人员实验室网络和 Internet 连接的访问。

　　该网络依赖千兆以太网和同步光纤网络(SONET)分组报文，使用私有的或租借的裸光纤作为传输介质。在大都市区内，有效的利用有限的光纤资源是通过使用波分多路复用(WDM)技术实现的，它能够在一条物理链路上提供多条通信回路。

　　可用的网络带宽对于 Exchange Server 2003 这样的应用程序和站点到站点的连接是非常重要的。到 2003 年 6 月为止，该网络已经增长到包含：

　　•3 个企业数据中心，19 个分布全球的区域数据中心

　　•在 77 个国家的约 230 个城市中有 310 个站点

　　•世界上最大的无线局域网(802.1x EAP-TLS)

　　•超过 24,000 部无线设备

　　•超过 4,000 个无线接入点

　　•超过 250 个广域网(WAN)电路

　　•在 70 多个国家中有超过 200 个 WAN 站点

　　•超过 3,300 个 IP 子网

　　•超过 2,000 台路由器

　　•超过 2,600 台第二层网络交换机

　　•超过 275 台 ATM 交换机

　　•超过 10,000 台全球服务器

　　•超过 350,000 个 LAN 端口

　　当前通信基础结构概述

　　管理 Microsoft 内复杂的通信基础结构是一项团队任务，涉及 OTG 内许多不同的小组。从组织结构上看，OTG 由超过 2,500 名工作人员组成，他们负责跨越全球 400 多个 IT 位置的操作。除了为公司提供 IT 工具之外，OTG 在帮助 Microsoft 满足软件开发和市场营销的主要商业目标方面也扮演着重要的角色。作为 Microsoft 的第一个也是最好的一个客户，OTG 是 Microsoft 新软件的早期采用者，例如 Windows Server 2003、Microsoft Office 2003 和 Exchange Server 2003。这个过程的结果就是业内广为人知的“eating your own dog food(吃你自己的狗食)。”

　　在 OTG 的 “dog food” 通信环境中，服务器经常接受软件补丁、操作系统测试版本和升级、Exchange 服务器测试版本和升级等等。每个月 OTG 平均要给每一台 Exchange 服务器进行两次这样的软件升级。对软件实施更改的目的是为了测试新方案，满足特殊要求，以及通过在实际环境中进行企业级测试来持续运行最新的应用程序概念。在 OTG 中，变化的速度是非常高的。

　　Microsoft 的员工给予通信基础结构极重的负载。Microsoft 的普通员工拥有 3 台计算机，通常全部都用于与 Exchange 同步。此外，还有相当一部分员工携有 Pocket PC 和 Smartphone 设备，这些设备也要与 Exchange 同步。在 Microsoft，平均每秒的远程过程调用(RPC)操作(一种对工作的测量方式)远高于 OTG 已知的任何其他公司。Microsoft 经常和客户以及合作伙伴一起测试他们的通信基础结构。在 Microsoft，Exchange 服务器所处理的工作负载通常比在这些公司所测量到的负载高出不止两倍。

　　在撰写此文时，Microsoft 的通信环境由全球 75 个位置的超过 200 台服务器组成，包括 190 台 Exchange 2003 服务器(其中 113 台是邮箱服务器)，包括在额外的交叉目录林测试环境中的服务器。此环境支持：

　　•全球邮件流每天有 6,000,000 份邮件，平均每天有 2,500,000 份 Internet 电子邮件，其中的 70% 都是惹人厌烦的垃圾邮件、被病毒感染的、或者是发给无效电子邮件地址的邮件。比较线路上的字节就会发现，在 Microsoft，被阻止的邮件内容与被接收邮件内容的大小比例是 40:1。典型的电子邮件平均大小为 44 KB。

　　•大约 85,000 个邮箱，每个从 100 MB 容量限制增长到 200 MB。普通的 100 MB 邮箱大小只有 44 MB。

　　•超过 85,500 个分布组。

　　•公用文件夹服务器管理超过 230,000 个唯一的公用文件夹。

　　OTG 服务器基础结构包括：

　　•企业标准客户端配置由 Windows XP Professional 和 Microsoft Office Outlook 2003 组成。

　　•旧式的、独立的邮箱服务器在独立服务器上配置有 500、1,000 或 1,500 个邮箱。在全球范围内，独立服务器正在被集群 SAN 解决方案替代，并且扩展为在区域位置每服务器支持 2,700 个用户邮箱、在总部数据中心每服务器支持 4,000 个用户邮箱。

　　•在总部内的一个中心支持组织支持全球所有的 Exchange 服务器。

　　•除了主企业 Exchange Active Directory 目录林之外，还有三个额外的目录林用于为 Microsoft 的 Exchange 邮箱服务器提供宿主服务：

　　•一个专用的 Level A Test 目录林运行 Exchange 的开发和测试代码，在一个经常变化的服务器软件环境中操作。

　　•一个专用的 Level B Test 目录林，作为一个有限使用的生产环境供一个产品分类使用，为有限数量的用户邮箱提供宿主服务。可以在此环境中运行特定的硬件配置和测试方案。Level B Test 使用一个二节点服务器集群连接到一个可支持 5,000 个用户邮箱的 SAN。

　　•一个旧式测试环境目录林，用于测试比当前发行版本旧一个版本的 Windows 服务器操作系统(特别是 Windows 2000 Service Pack 专用测试)与 Exchange。

　　注：OTG 同时使用 Level A Test 和 Level B Test 目录林来测试交叉目录林行为并支持主 Microsoft corporate 生产目录林。

　　OTG 服务水平包括：

　　•在主企业目录林中的全局服务可用性服务水平协议(SLA)目标，按每分钟邮箱数据库的可用性(包括计划和非计划停机)计算，对于独立服务器设计是 99.9%。使用 Exchange 2003 的新集群服务器设计将其提高到 99.99%。

　　•在 95% 的时间中，全球电子邮件能够在 90 秒内交付。

　　•备份与恢复操作 SLA 少于每数据库 1 小时。

　　注：因为安全方面的原因，本白皮书中使用的目录林、域、内部资源和组织的名称是虚构的。它们不代表 Microsoft 内部使用的真实资源名称，并且它们在本文档中只用于演示目的。

　　站点与位置

　　跟随 Exchange 2000 部署的引导，OTG 继续执行按专用角色部署 Exchange 服务器的策略。表 1 根据服务器角色显示了 Exchange 2003 服务器的分布。OTG 将 Exchange 2003 服务器分组为 37 个 Exchange 路由组，它们与 79 个站点连接器互连。

　　表 1 Microsoft 内根据服务器角色的 Exchange 2003 Server 分布

　　服务器角色Exchange 2000Exchange 2003(整合后的目标*)

　　邮箱11338

　　公用文件夹2011

　　通信集线器127 **

　　即时消息40 ***

　　Internet 网关2218

　　专用忙/闲服务器60 ****

　　前端*****1412

　　防病毒97

　　* 邮箱服务器整合项目定于 2003 年末之前完成。

　　** OTG 将建立 7 个通信集线器和 4 个额外的双用途服务器，后者也将提供通信集线器服务。

　　*** Exchange Instant Messaging 服务器将被移除，因为消息服务被移植到 Windows Real Time Communications(WinRTC)服务器中。

　　**** 所有的忙/闲服务器服务将由现有的公用文件夹服务器提供。OTG 将不会在 Microsoft 建立任何专用的忙/闲服务器。

　　***** 前端服务器被整合到 Exchange 2003 的部署中，因为从前包含在 Mobile Information Server(MIS)2002 产品中的技术被添加到 Exchange 2003 中。为了提高系统可用性，每个 Exchange 2003 前端服务器部署站点都配置了一对负载平衡服务器。

　　路由组和管理组结构

　　在 Exchange 2000 之前的所有 Exchange 部署中(包括版本 4.0、5.0 和 5.5)，OTG 根据网络拓扑将 Exchange 服务器分组到站点中。对于 Exchange 5.5，由于目录和公用文件夹复制和消息路由流量，OTG 设计了环境以在对大型站点的需求和这些站点间的网络带宽限制之间获取平衡。

　　自从 Windows 2000 平台上的 Exchange 2000 发布以来，Exchange 5.5 模型带来的限制和局限不复存在。无需管理组员身份就可以在路由组中放置服务器的能力使得 OTG 能够在不失去大型管理组优势的前提下优化路由拓扑。

　　目录复制现在是 Active Directory 的一个功能，并且是一个操作系统级的问题，而不再是 Exchange 部署的一个关键问题。因为路由组和管理组不必相同(像 Exchange 5.5 和更早版本中的情况)，OTG 消息操作员工能够自由地将 Exchange 2003 服务器放置到与它们的管理和操作结构相匹配的组中，以及放置到与 WAN 拓扑相匹配的组中。这就将目录复制问题交给了另一个专注于该领域的 OTG 团队。到撰写本文时为止，OTG 维护着 31 个 Exchange Server 2003 路由组和 11 个管理组。

　　Exchange 2000 旧式体系结构

　　在 Exchange 2003 仍然处于早期 beta 版本时，OTG 就开始进行部署了。为了完全掌握本项目的范畴，让我们回顾一下早期 Exchange 2000 的通信基础结构、OTG 必须升级到 Exchange 2003 的最根本原因、以及 OTG 是如何做到成功升级的。文中还包括了 OTG 在这次经验中所遇到的各种挑战和发现，以便为您计划自己的 Exchange 2003 部署提供一些指导和注意事项。

　　Exchange 2000 基础结构概述

　　Microsoft Exchange Server 平台是历史上销售最快的 Microsoft 服务器产品。自从 1996 年发布 Exchange 4.0 以来，已经售出了超过 5,000 万套 Exchange Server。表 2 提供了自 1996 年 Microsoft 首次发布 Exchange Server 以来 Microsoft 内部的 Exchange Server 部署发展概况。

　　表 2 Microsoft 的 Exchange Server 部署发展

　　Exchange 4.0Exchange 5.0Exchange 5.5Exchange 2000Exchange 2003

　　邮箱/服务器3053051,0243,0004,000

　　邮箱大小/用户50 MB50 MB50 MB100 MB200 MB

　　恢复时间/数据库~12 小时~12 小时~8 小时~1 小时~25 分钟*

　　邮箱总数~32,000~40,000~50,000~71,000~85,000

　　* 从备份磁盘恢复一个数据库需要 25 分钟。

　　旧式服务器和存储设计

　　OTG 在总部数据中心和所有区域部署中都使用独立服务器。这些服务器被分类为四种基本邮箱服务器配置，如表 3 所示。

　　Table 3 Microsoft OTG Exchange 2000 服务器配置

　　Exchange 2000 服务器配置邮箱

　　小型配置区域邮箱服务器500

　　中型配置区域邮箱服务器1,000

　　大型配置区域邮箱服务器1,500

　　数据中心配置邮箱服务器3,000

　　根据每种服务器配置的需求，存储设计各不相同。所有 Exchange 2000 邮箱服务器都支持 100 MB 邮箱。区域服务器配置使用直接相连的 SCSI 存储磁盘阵列，通过 100 Mbps LAN 进行备份。数据中心配置服务器使用三个 SAN 阵列，每个包含一个 SG。它们通过千兆位 LAN 进行备份。

　　OTG 在设计其初始 Exchange 服务器时以最大化服务器和存储硬件两者的系统性能和可用性为宗旨，使用了最佳实践指导原则。为了优化磁盘的输入/输出(I/O)，SG 的每一卷都被指派了一个逻辑单元号(LUN)。因为每个 LUN 都分配了一个驱动器号，所以每个服务器(包含三个 SG，每个由三个 LUN 组成)使用九个驱动器号。

　　OTG 将每个 SG 配置为维护三个独立的 LUN。使用 24 个 18-GB 磁盘的邮箱数据 LUN 和使用 6 个 18-GB 磁盘的日志 LUN 都被设置为使用带状镜像配置，即通常所说的独立磁盘冗余阵列(RAID)-10。SAN 还维护一个使用 12 个 36-GB 磁盘的 RAID-5 配置的备份 LUN。此 LUN 用于支持两天的在线、磁盘到磁盘的备份保留时间。

　　每个 SG 支持五个数据库，每个数据库支持 200 个邮箱，这意味着它们最多能够支持每 SG 1,000 个邮箱和每服务器 3,000 个邮箱。

　　性能、可伸缩性和可支持性的挑战

　　Exchange 2000 是对前一版本的 Exchange 的一次重大升级。然而，即使 Exchange 2000 非常强大，OTG 仍必须解决某些限制。

　　需要管理的服务器数量太多

　　由于不具备有效地整合服务器和站点的能力，服务器站点数量的增长使得支持成本变得极高而且给消息环境增加了复杂性。一些与分布式环境相关的更常见的成本因素包括：

　　•更多系统需要备份

　　•额外维护大量站点上的备份系统

　　•向管理备份过程中添加更多员工

　　•额外站点需要更强劲的电力和冷却资源

　　•更多现场支持员工用于多个站点的硬件维护

　　从复杂性的角度来看，更大数量的系统意味着在一个复杂机器中有更多移动部件;即，即使只要求同样的成功率，也需要更多的备份任务，这意味着有更多数量的故障需要检查和解决。计划减少 90% 的服务器站点数量极大地降低了通信机器中移动部件的数量，从而减少了许多前端的故障率。

　　在服务等级协议(SLA)时间内恢复数据库的困难

　　即使是很小的整合工作也能够导致许多站点上的服务器获得的更高的可伸缩性。随着产品可伸缩性的提高，服务器上的邮箱数目也不断增加，而数据库大小也同样持续增长。更重要的是，由于倡导将最大邮箱容量从 100 MB 增加到 200 MB，数据库大小立即翻了一番。

　　因为 Exchange 2000 没有提供对新的恢复选项，如恢复存储组(RSG)功能或卷影复制服务(VSS)的支持，所以由 Exchange 2000 Server 的损坏所造成的数据库停机意味着数据库恢复过程将导致更长时间的停机。在许多站点中，备份是通过数据中心内的多台计算机处理的，这就导致备份和恢复需要通过 100 MB LAN 来进行，这种恢复的平均时间在最佳状态下也只有每小时 16 GB。初始的恢复 SLA 是在一小时内完全恢复数据库，这一目标很快就变得难以达到。

　　集群可伸缩性限制

　　Windows 2000 Advanced Server 支持两节点集群，而 Windows 2000 Datacenter Server 支持四节点集群。对于在 Windows 2000 Advanced Server 上运行的 Exchange 2000，在最佳配置下，OTG 需要有多个与每个 SG 相关联的驱动器号卷。还有其它的驱动器号用于服务器配置，例如简单邮件传输协议(SMTP)驱动器(一个专用的入站/出站队列设备)。结果，集群内的每个虚拟 Exchange server(在计算了全体SG 和 SMTP 驱动器后)使用十个扩展驱动器号。这其中没有将服务器节点自身使用的必需的、保留的驱动器号计算在内，例如用于软盘、操作系统卷、以及 CD 驱动器的驱动器号。在耗尽可以分配给磁盘卷的可用驱动器号之前，OTG 在一个集群内只能使用两个服务器。可用驱动器号的缺乏阻碍了 OTG 向集群环境中添加额外的 Exchange 服务器实例。