当前的互联网只限于信息共享,网络则被认为是互联网发展的第三阶段。网络可以构造地区性的网络、企事业内部网络、局域网网络,甚至家庭网络和个人网络。网络的根本特征并不一定是它的规模,而是资源共享,xx资源孤岛。 网络技术具有很大的应用潜力,能同时调动数百万台计算机完成某一个计算任务,能汇集数千科学家之力共同完成同一项科学试验,还可以让分布在各地的人们在虚拟环境中实现面对面交流。 网络技术的发展历程 网络研究起源于过去十年美国政府资助的高性能计算科研项目。这项研究的目标是将跨地域的多台高性能计算机、大型数据库、大型的科研设备、通信设备、可视化设备和各种传感器等整合成一个巨大的超级,以支持科学计算和科学研究。 微软公司把开发力量集中在数据网络上,关注使用网络共享信息,而不是网络的计算能力,这反映了学术和研究领域内的分歧。事实上,很多用于学术领域的网络技术都能够成为商业应用。 Globus是美国阿贡(Argonne)国家实验室的网络技术研发项目,全美12所大学和研究机构参与了该项目。Globus对资源管理、安全、信息服务及数据管理等网络计算的关键理论进行研究,开发能在各种平台上运行的网络计算工具软件,帮助规划和组建大型的网络试验平台,开发适合大型网络系统运行的大型应用程序。目前,Globus技术已在美国航天局网络、欧洲数据网络、美国国家技术网络等8个项目中得到应用。2005年8月,美国国际商用机器公司(IBM)宣布投入数十亿美元研发网络计算,与Globus合作开发开放的网络计算标准,并宣称网络的价值不仅xx于科学计算,商业应用也有很好的前景。网络计算和Globus从开始幕后走到前台,受到前所未有的关注。 中国非常重视发展网络技术,由863计划“高性能计算机及其核心软件”重大专项支持建设的中国国家网络项目在高性能计算机、网络软件、网络环境和应用等方面取得了创新性成果。具有18万亿次聚合计算能力、支持网络研究和网络应用的网络试验床——中国国家网络,已于2005年12月21日正式开通运行。这意味着通过网络技术,中国已能有效整合全国范围内大型计算机的计算资源,形成一个强大的计算平台,帮助科研单位和科技工作者等实现计算资源共享、数据共享和协同合作。 网络的关键技术 网络的关键技术有网络结点、宽带网络系统、资源管理和任务调度工具、应用层的可视化工具。网络结点是网络计算资源的提供者,包括xx服务器、集群系统、MPP系统大型存储设备、数据库等。宽带网络系统是在网络计算环境中,提供高性能通信的必要手段。资源管理和任务调度工具用来解决资源的描述、组织和管理等关键问题。任务调度工具根据当前系统的负载情况,对系统内的任务进行动态调度,提高系统的运行效率。网络计算主要是科学计算,它往往伴随着海量数据。如果把计算结果转换成直观的图形信息,就能帮助研究人员摆脱理解数据的困难。这需要开发能在网络计算中传输和读取,并提供友好用户界面的可视化工具。 网络技术的研究现状 网络计算通常着眼于大型应用项目,按照Globus技术,大型应用项目应由许多组织协同完成,它们形成一个“”,各组织拥有的计算资源在虚拟组织里共享,协同完成项目。对于共享而言,有价值的不是设备本身而是实体的接口或界面。 从技术角度看,共享是资源或实体间的互操作。Globus技术设定,网络环境下的互操作意味着需要开发一套通用协议,用于描述消息的格式和消息交换的规则。在协议之上则需要开发一系列服务,这与建立在TCP/IP(传输控制协议/网际协议)上的万维网服务原理相同。在服务中先定义应用编程接口,基于这些接口再构建软件开发工具。 Globus网络计算协议建立在网际协议之上,以网际协议中的通信、路由、名字解析等功能为基础。Globus协议分为构造层、连接层、资源层、汇集层和应用层五层。每层都有各自的服务、应用编程接口和软件开发工具、上层协议调用下层协议的服务。网络内的全局应用都需通过协议提供的服务调用操作系统。 构造层功能是向上提供网络中可供共享的资源,是物理或逻辑实体。常用的共享资源包括处理能力、存储系统、目录、网络资源、分布式文件系统、分布式计算机池、计算机集群等。连接层是网络中网络事务处理通信与授权控制的核心协议。构造层提交的各资源间的数据交换都在这一层控制下实现的。各资源间的授权验证、安全控制也在此实现。资源层的作用是对单个资源实施控制,与可用资源进行安全握手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使用数据。汇集层的作用是将资源层提交的受控资源汇集在一起,供虚拟组织的应用程序共享、调用。为了对来自应用的共享进行管理和控制,汇集层提供目录服务、资源分配、日程安排、资源代理、资源监测诊断、网络启动、负荷控制、账户管理等多种功能。应用层是网络上用户的应用程序,它先通过各层的应用编程接口调用相应的服务,再通过服务调用网络上的资源来完成任务。应用程序的开发涉及大量库函数。为便于网络应用程序的开发,需要构建支持网络计算的库函数。 目前,Globus体系结构已为一些大型网络所采用。研究人员已经在天气预报、高能物理实验、航空器研究等领域开发了一些基于Globus网络计算的应用程序。虽然这些应用仍属试验性质,但它证明了网络计算可以完成不少超级计算机难以胜任的大型应用任务。可以预见,网络技术将很快掀起下一波互联网浪潮。面对即将到来的第三代互联网应用,很多发达国家都投入了大量研究资金,希望能抓住机遇,掌握未来的命运。 中国也加强了网络方面的投入。中科院计算所为自己的网络起名为“织女星网络”(Vega Grid),目标是具有大规模数据处理、高性能计算、资源共享和提高资源利用率的能力。与国内外其他网络研究项目相比,织女星网络的{zd0}特点是“服务网络”。中国许多行业,如能源、交通、气象、水利、农林、教育、环保等对高性能计算网络即信息网络的需求非常巨大。预计在最近两三年内,就能看到更多的网络技术应用实例。 网络技术的应用领域 网络技术的应用领域很广,主要有以下几方面。 分布式超级计算 分布式超级计算将分布在不同地点的超级计算机用高速网络连接起来,并用网络中间件软件“粘合”起来,形成比单台超级计算机强大得多的计算平台。 分布式仪器系统 分布式仪器系统使用分布在各地的贵重仪器系统,提供远程访问仪器设备的手段,提高仪器的利用率,方便用户的使用。 数据密集型计算 并行计算技术往往是由一些计算密集型应用推动的,特别是一些带有巨大挑战性质的应用,大大促进了对高性能并行体系结构、编程环境、大规模可视化等领域的研究。数据密集型计算的应用比计算密集型的应用多得多,它对应的数据网络更侧重于数据的存储、传输和处理,计算网络则更侧重于计算能力的提高。在这个领域独占鳌头的项目是欧洲核子中心开展的数据网络(DataGrid)项目,其目标是处理2005年建成的大型强子对撞机源源不断产生的PB/s量级实验数据。 远程沉浸 这是一种特殊的网络化环境。它是对现实或历史的逼真反映,对高性能计算结果或数据库可视化。“沉浸”是指人可以xx融入其中:各地的参与者通过网络聚集在同一个虚拟空间里,既可以随意漫游,又可以相互沟通,还可以与虚拟环境交互,使之发生改变。目前,已经开发出几十个远程沉浸应用,包括虚拟历史博物馆、协同学习环境等。远程沉浸可以广泛应用于交互式科学可视化、教育、训练、艺术、娱乐、、信息可视化等许多领域。 网络最初是以集成异构计算平台的身份出现,接着进入分布式海量数据处理领域。信息网络通过统一的信息交换架构和大量的中间件,向用户提供“信息随手可得”式的服务。网络信息集成将更多应用在商业上,分布在世界各地的应用程序和各种信息通过网络能进行无缝融合和沟通,从而形成崭新的商业机会。 信息集成如信息网络、服务网络、知识网络等,是近几年网络流行起来的应用方向。2002年,Globus联盟和IBM在全球网络论坛上发布了开放性网络服务架构及其详细规范,把Globus标准与支持商用的万维网服务标准结合起来。2004年,Globus联盟、IBM和惠普(HP)等又联合发布了新的网络标准草案,把开放性网络服务架构详细规范I转换成6个用于扩展万维网服务的规范,网络服务已与万维网服务彻底融为一体,标志着网络商用化时代的来临。 网络技术的发展,标准是关键。就像TCP/IP协议是因特网的核心一样,构建网络计算也需要对核心——标准协议和服务进行定义。目前,一些标准化团体正在积极行动。迄今为止,网络计算虽还没有正式的标准,但在核心技术上,相关机构与企业已达成一致,由美国阿贡国家实验室与南加州大学信息科学学院合作开发的Globus 计算工具软件已成为网络计算实际的标准,已有12家xx计算机和软件厂商宣布将采用Globus 计算工具软件。作为一种开放架构和开放标准基础设施,Globus 计算工具软件提供了构建网络应用所需的很多基本服务,如安全、资源发现、资源管理、数据访问等。目前所有重大的网络项目都是基于Globus 计算工具软件提供的协议与服务的。 除了标准以外,安全和可管理性、人才的缺乏也是网络计算亟待解决的一个问题,否则它将无法成为企业的商业架构。在真正实现商业应用之前,还需要解决许多问题。即便如此,构建全球网络的前景仍是无法抗拒的。 |