linxu renderfarm(渲染农场_巨人不倒翁cui的空间_百度空间
好莱坞的Linux风暴

好莱坞的Linux风暴

本文将主要介绍Linux在好莱坞视觉系统的一些应用情况,以了解国外更多的视频应用的发展趋向



1 Windows和Linux,还是Irix?

使用何种操作系统,这似乎已经是很古老时候的争论了,但随着电影{tx}的关注和HDTV电视的普及,对于影视制作设备又一次提出了更高的要求,虽然,硬件厂商甚至在以比摩尔定律更快的速度提升计算机硬件的性能,但{tx}制作设备的高性能要求似乎永远不能满足。
总所周知,好莱坞早在2000年左右已经制作6K{tx}电影了,那么,他们的设备是什么呢,能够完成如此巨大的处理能力?时过5年,这些设备的性能我们的PC还不能达到吗?
关于这些问题的答案当然是本文的主角——基于Linux操作系统的解决方案,本文就Linux在好莱坞的使用情况进行一些介绍。

1.1 什么是Linux?
Linux是一个开放源码的计算机操作系统,通俗地说,Linux跟Windows不一样的地方,在于Linux开放了源代码,任何人都可以修改这些代码,并且这个操作系统是免费的。
远在微软的DOS诞生之前,UNIX就已经是企业级服务器和工作站级服务器上使用的操作系统了, 这些较大型的计算机系统通常都价格不菲,主要用于科研和政府机构。由于UNIX的功能很强,有许多开发者就开始在PC上发展相同功能而且是免费的类似 UNIX的系统,其中较有名的一个就是Andy Tanenbaum 所开发的Minix系统。在1991年,Linus B. Torvalds(Minix系统开发者的学生)发表了他的改良版本,因为是Linus改良的Minix系统,后来就命名为Linux。
Linux是这个操作系统内核的名称。由互联网上的志愿开发者协同开发,在1994年发布了标志性的1.0版本,现在很多公司加入了Linux开发团队,包括图形领域xx的SGI公司。

1.2 Linux版本问题
Linux 有不下30种不同的版本,最常见的比如Red Hat 、Turbo、Fedora Core、Mandrake、Gentoo、Slackware、Debian、SUSE等,这些版本在同一的Linux内核上进行不同的应用开发,虽然在应用方向上有些细微的差别外,大体都是相似的,比如,他们的图形操作界面主要选择的是KDE或者Gnome。所以,不用为从一个操作系统转换到另一个操作系统而改变习惯。
其中,RedHat Linux被视为Linux的标准,得到广泛地应用,另外,在好莱坞,Suse Linux因为其华丽的界面也拥有相当的用户。


图 houdini


2 风暴之前(RenderFarm)
Linux开始进入商业应用领域是从作为Web服务器开始的。随着Internet的兴起,Linux凭借Apache Web服务器强大的影响力,打入了xx服务器市场。
为什么Linux能够进入xx电影制作市场呢,在95年以后Linux的一些优势就显现出来,加上几乎所有xx制作公司的竭力支持,Linux在FX领域获得了绝大部分市场:
1)网络性能
对于多连接数的服务器,数据量少的情况Linux性能甚至比Unix出色,当然,数据量大的时候性能就不如有些商业版本的UNIX,但这是个别数据测试,实际上很难分出优劣来。到现在,已没有任何证据说明Linux比其他计算机慢,许多由Linux构建的超级计算机名列500强的前列。
科学计算和石油勘探等高性能计算领域应用{zx0}发现基于Linux的高性能计算集群技术(Cluster)。由于使用Linux操作系统,通用的硬件平台和标准的网络组件,集群中的各个结点价格不仅价格非常低廉,就是计算性能也不比SGI或Unix慢。
电影{tx}工作室的技术人员也发现,既然Linux可以在运行Apache服务器时实现高效的吞吐能力,那么在渲染服务器上也应该可以实现对电影序列的高效吞吐。于是他们开始思考, Linux是不是可以让电影制作的过程更快、更便宜呢?这样,用于图像渲染的Linux超级计算机被开发出来,这就是我们现在所说的 RenderFarm,即渲染农场。
ILM 死星

2)多线程支持
多线程性能是分时系统应用的一个很重要的标志,由于Linux很早就加入了对线程的支持,因此这方面有着很不错的性能,特别是应用程序运行时候的效率比较高,对于目前超线程技术的支持有着不错的表现。
3)稳定性
因为Linux的发展吸取了20多年UNIX的发展经验,采用类Unix系统构架设计,因此也继承了Unix系统稳定的传统,而且由于源码公开,保证了系统漏洞可以很快的被发现和修正。Linux内核与图形系统是可以xx分开的,这样既保证了稳定性也降低了系统消耗。
4)易用性
Linux 的用户界面与各个商业版本的UNIX非常相近,以及SGI的IRIX系统。Linux的迅速普及使得几乎所有的IT技术人员都对其操作界面有相当的了解,另外由于Linux可以在各种硬件平台上运行,熟悉Linux的技术人员可以很容易地管理多种硬件平台上的应用。而对于习惯在IRIX工作的电影{tx}艺术家来说,不需要另外学习就可以使用Linux了。
5.低移植成本
Linux能够在几乎所有的计算机平台上运行,包括PC、PC服务器、 UNIX服务器、Apple、大型计算机上,给用户的应用软件在不同的平台之间的移植创造了极为便利的条件。ILM等好莱坞公司由于历史积累,在IRIX 上有几百万行内部软件代码,这些代码如果移植到Windows将花费太多人力和时间,而Linux是一种类Unix操作系统,可以很方便地移植。比如D2 将他们的在SGI的Nuke合成软件移植到Linux。
5.许可费用
这方面已经不用过多的讨论了,随着企业的不断扩大以及工作机器的不断增加,持续增长的Windows许可证费用一直困扰着每一个企业用户,而对于Linux,在把部署服务器所额外增加的技术成本考虑在内后,他几乎就是免费的,像Google和许多门户网站也都采用Linux操作系统。
6.Mesa 3D和DRI结构
要渲染高质量的图形,在Linux上,首先要解决的不是硬件技术(服务器集群硬件技术可以很好地使用于RenderFarm),底层图形计算技术是首先要解决的问题。对于RenderFarm这样专门用于图形渲染的解决方案来说,系统对于OpenGL的支持性能才是首先要考虑的。
由于OpenGL图形技术属于SGI公司,如果在一个操作系统上需要这种加速功能,需要得到SGI的许可协议,这些协议的价格在早期是非常昂贵的,于是在1994年出现了Mesa 3D语言,这是一个操作系统和OpenGL之间的兼容层,能够与OpenGL APIxx地结合,这样,Linux的底层图形技术得到了很好地解决。而Windows和MAC选择与OpenGL组织合作的形式,由于商业组织的复杂竞争关系,他们对OpenGL加速技术的研究进程非常缓慢,微软在与OpenGL的最终合作破裂,并全心致力于DirectX 3D技术,但DirectX 3D在稳定性和精度上仍然远远比不上OpenGL,DirectX 3D成为Windows和XBox下用于游戏显示的廉价图形解决方案。
Linux有一个专门优化图形渲染的技术——DRI,是英文Direct Rendering Infrastructure(直接渲染基础结构)的缩写。Linux为保证系统稳定性,图形显示和内核是分开的两个模块,DRI结构允许在 XWindow系统下直接访问图形硬件,这样不仅加速图形性能,更快地执行OpenGL,而且保证系统安全,XWindow系统的崩溃不会导致灾难性后果。
7.兼容性
Linux网络解决方案可以很好地兼容其他硬件和平台,包括Unix服务器、SGI工作站、Apple和Windows等。这对于制作公司内部的数据管理尤其重要。

图 正在使用Maya制作《xx风暴》

由于以上原因,很短的时间内ILM、Rhythm & Hues、Pixar、Digital Domain、DreamWorks等{dj1}的{tx}公司首先接受了Linux RenderFarm,从而让好莱坞知道了Linux的优异性能,继而开始将他们的所有平台全部移植到Linux。
我们以惠普公司为迪斯尼构建的 RenderFarm为例,该系统名列2004年世界500强超级计算机第57位,在电影制作公司是{dy}位,他采用900颗Intel Xeon 3.06 GHz处理器,使用了HPC集群技术,和Platform LSF以及EnFuzion管理软件,基准测试数据为:
Rpeak (GFlops):5508
Rmax (GFlops):3379.5
一般情况下,渲染电影的时间控制在每帧1~2小时才被认为可以接受。当然,也有需要渲染几十个小时的。我们假设用4K分辨率进行渲染时,如果每帧用5个小时,则一分钟放映量需要300天的渲染时间,完成一部120分钟长度的数字电影需要近100年时间,这是非常恐怖的结果。为此,好莱坞都采用 Renderfarm技术来完成图形渲染,如果使用迪斯尼的Renderfarm则一分钟电影序列渲染只需要不到{yt}的时间。RenderFarm技术让好莱坞使用{tx}制作数字电影成为可能。

3 软件迁移
在行业应用范围内,应用软件是关键,是否能将工作站迁移到Linux的关键是是否提供了可用于生产的工具。
首先做这件事情的是Digital Domain,在1997年,Digital Domain首先将他们的内部{tx}软件从SGI移植到了Linux,这就是xx的合成工具D2 Nuke,Nuke需要OpenGL加速回放和显示,目前的版本是4.5,在{zx1}的《机械公敌》中,Nuke的强大的3维合成功能又一次得到发挥。



图 Nuke合成《机械公敌》

接下来,其他商业软件也逐渐完成了移植:
1999年,SideFx Houdini发布Linux版本;
1999年,Pixar RenderMan发布Linux版本;
2000年,Apple Shake发布Linux版本;
2001年,Alias Maya和SoftImage相继发布Linux版本。
这样,主流的商业电影视觉{tx}软件基本都迁移完成,等待他们的是各个{tx}工作室逐步地淘汰旧设备。
因为制作《指环王》而名闻遐迩的Weta Digital向Linux的迁移是在制作《指环王》的时候,他们使用一个名为Massive的集群动画和人工智能软件,这个软件基于Red Hat Linux操作系统的,用来完成《指环王》中的千军万马的战争场面。Massive的开发人员Stephen Regelous说:“以前,在创建这些数字人物时,总会受到一些限制,而现在,我们有了更大的空间,因为Massive的运行速度比以前提高了一倍。”

1)ILM
工业光魔的Death Star(死星)是最强大的渲染农场之一,在2002组成,为《星战前传三部曲》提供快速渲染能力。
死星使用的是拥有750个渲染节点,包括1500颗AMD Athlon 1600CPU,每个节点2G内存,在之前,工业光魔的渲染农场使用的是SGI的设备,像ILM这样的公司,是不会因为价格优势而去更换工作环境的,娱乐行业是不计成本的,他们需要的是性能,在ILM来看,他们有很多办法让Linux去超越SGI。


图 houdini系统

工业光魔使用Alias|Wavefront Maya进行建模,在SideFx Houdini中使用Pixar RenderMan和Mental Ray渲染器以及使用Houdini的粒子{tx},由于ILM使用自己开发的32位浮点精度的OpenEXR文件格式,这样对于渲染要求又大大提高,他们使用一个叫ObaQ的Linux管理程序来调度繁重的渲染工作,可以管理Linux和IRIX的渲染工作。
ILM有非常多的软件代码从SGI移植到Linux,在《星战前战2》里,全部平台已经移植到Linux上。
ILM 的技术指导Robert Weaver介绍说,在《星战前战2》的制作中,从RISC工作站迁移到Linux PC之后,在性能上获得了很大的提升。他说:"老系统的速度实在太慢,以致于我们在制作激光束时,其看起来的效果却像是在投标枪。而使用Linux之后,速度提升了约5倍。我敢说这是我使用过的{zh0}的东西。它很直观,也很稳定,而且我们还可以最快的速度获得补丁并对其进行修正。"


图 在houdini中的Yoda大师


2)Digital Domain
Digital Domain(简称D2),曾以《美梦成真》和《泰坦尼克》赢得两项奥斯卡大奖,同时他们的内部软件Nuke赢得两项奥斯卡技术成就奖,此外,该公司的广告片制作部被公认为广告行业最杰出的视觉效果工作室,曾荣获14项CLIO大奖,还曾荣获BAFTA大奖、戛纳国际广告节的多项金狮奖和{zg}奖、MTV音乐电视奖以及格莱美{zj0}音乐电视奖。
Digital Domain是好莱坞最早将工作平台移植到Linux系统的{tx}公司之一。
正是他们,使Linux在1997年首次打破好莱坞这块坚冰,影片《泰坦尼克》在Linux平台进行{tx}处理,并且{dy}次使用Linux集群系统,现在,D2已经使用Linux完成了20多部影片的{tx}制作,其中包括曾获得奥斯卡{zj0}{tx}奖的《泰坦尼克》和《美梦成真》。
在制作泰坦尼克之前,D2发现Linux可以和SGI的渲染平台一起工作,可以从SGI的Unix进行平滑的过渡,这正是众多工作室接受Linux的关键因素之一。


图 D2 计算机房


3)PDI/Dreamwork
梦工厂是Linux在好莱坞的主要鼓吹者,从2002年开始制作《Spirit(小马王)》时候的150台Linux工作站,到《Sinbad(辛巴特)》时增加到350多台,在制作《Shrek》的时候,梦工厂使用了1000多颗CPU的渲染农场,其中80%使用Linux,还有20%IRIX;而在制作《Shrek2》的时候,所以的平台都是Linux了。
梦工厂为动画制作配制Linux系统方面走在最前列。它拥有200多个Linux个人电脑系统,还有400多台Linux服务器。
梦工厂总共采用了三条途径通往Linux:移植、新开发以及鼓励第三方商家移植流行的商业软件。
他们和Disney赞助一些开发团队让Adobe Photoshop 7运行在Linux下,这一项目的目的就是通过再次开发Linux下的Wine和VMware模拟器,使Photoshop等一些专门的Windows软件能够在他们的Linux工作站上使用,这可以说是很疯狂的项目,实际上,当你听到Disney在使用Photoshop进行数字卡通的绘制时,不要认为是你熟悉的Photoshop,而是被他们所移植到Linux平台的古怪的Adobe Photoshop。


图 在Wine模拟器上的Photoshop

梦工厂同时还非官方地支持Cinepaint项目,这是一个类似Photoshop的软件,但弥补了Photoshop很多不支持的能力。比如 Cinepaint支持32 bit浮点的处理能力,这个性能在电影制作行业是非常重要的,电影的扫描是14 bit采样,经常会使用10 bit的cin文件,但是Photoshop在8.0版本之前只能支持8 bit处理,这意味着以前使用Photoshop处理电影图像,需要冒着丢失原始图像质量的损失,在好莱坞级别的{tx}大片中,这是很难让人满意的。不仅如此,Phtoshop在9.0版本中才开始加入了序列回放的功能,对于电影制作,这是很麻烦的事情,还有很多对序列优化的操作和{tx}能力是Adobe目前不重视的,而这些都是{tx}艺术家所急需的功能,于是他们在Linux的图像处理软件Gimp的基础上,开发了适合电影{tx}处理的Cinepaint。这一软件被Rhythm & Hues用于制作《哈里波特》、《人猿星球》等,Flash Film Works在获得{tx}年鉴奖的《{zh1}武士》也使用了它,还有Sony Pictures Imageworks等制作公司,都在不通程度地使用它。


图 Cinepaint

特别要提出的是,Cinepaint软件是一个开源项目,也就是说,它是免费的共享软件,可以随时下载使用,而不需要另外付费购买正版软件。
梦工厂将几乎所有的代码都已经移植到了Linux下,同时它还让加利福尼亚格伦代尔的梦工厂建起一个纯粹的Linux工作室来开拓自己的电影生产,到了制作《怪杰史瑞克2》的时候,他们已经全部移植到Linux系统下面进行工作了。《怪杰史瑞克2》是{dy}部xx在Linux环境下完成的电影。
还有二维卡通软件,在动画电影《埃及王子》的时候,梦工厂使用Animo二维卡通软件,但随后,由于Animo没有计划移植到Linux,梦工厂于是开发了自己的卡通动画软件ToonShooter。当然,USAnimtion在2003年左右也发布了Linux版本,但梦工厂已经在开始使用自己开发的软件了。


图 梦工厂内部使用的Linux二维卡通软件ToonShooter


类似于梦工厂,Pixar工作室也将工作平台移植到了Linux,从1999年开始,RenderMan命令行工作就在Linux上实现了,接着,Mtor也移植到Linux,可以和 Maya、Houdini结合使用。《Finding Nemo(海底总动员)》主要使用Linux系统,到了《超人特工队》,Pixar工作室的工作平台也全部移植到了Linux平台。
不仅仅是这些{dj0}制作公司在变化,好莱坞的许多{tx}公司都使用了Linux制作他们的商业影片。比如,《兵临城下》,他们需要制作一种叫斯图卡的早年的飞机,但这种飞机现在根本找不到任何零件,于是由特技制作人员用Linux下的Maya将飞机制作出来,为了制作爆炸等特技效果,他们还使用了同样在Linux下的 Shake软件。


4 应用
在linux上,还没有支持分量、复合输入输出的非编软件,只有支持HD和2K电影的Conform等这些xx电影编辑软件,支持SDI输入输出,这是比较遗憾的。当然,这种说法可能需要排除宽泰这样的系统厂商。
目前,Linux能较好地支持DV编辑,比如Mainactor可以支持1394采集输出,以及实时特技、实时过渡等,还有其他一些免费的DV编辑软件,都很不错。而在电影{tx}方面,Linux的应用可谓非常成熟了。
一、电影
Linux 有一个免费的3D软件blender可以制作个人动画,这是一个很不错的软件,他有一个光线追踪渲染器。当然,商业应用使用Maya、Houdini和 XSI等强大的功能来制作视觉奇观,然后输出电影序列到Shake里进行合成,如果需要稳定或者匹配镜头,3dequalizer或2d3 boujou提供了xx的摄像机匹配功能。
Piranha是迪斯尼和Pixar在使用的编辑软件,但Baselight是一种更好的方案,他通过自己的色彩管理专利技术直接把图像通过电影投影仪投影到屏幕上,在数字电影制作领域这种方法比SONY的技术优秀得多。


图 Shake界面

二、平面
如果习惯Photoshop,在Wine模拟器下运行Photoshop 7跟运行Linux自己的软件没有什么区别,不会影响速度。CorelDraw的早期版本也可以运行在Linux下,后来Corel接受了微软的资助放弃了Linux市场,但他的一些版本还能在Wine使用。Linux自己提供了一个排版软件scribus,可以很好的支持PS和PDF,以及被称为 “Linux下的Photoshop”的GIMP,和矢量绘画软件Inkscape,这些都是免费的,能基本解决平面设计的需要。
三、多媒体
在linux 下,多媒体播放也可以得到很好的解决,Mplay具有Windows暴风影音的相似功能,而实际上,暴风影音来源于Mplayer播放器,它可以播放绝大多数视频编码格式,Linux同样可以播放Realplay、Quicktime、Flash、VR等媒体文件。
四、集群技术
在Linux下,集群技术是最多最全的,包括老牌的Platform,还有一些xx的计算机厂商,包括IBM、HP的解决方案。
对于视觉{tx}专业应用来说,上面这一切已经足够了。

5.结语
本文回顾和了解了好莱坞使用Linux的一些历史和现状。我们可以注意到,对于好莱坞来说,几乎同时从IRIX迁移到Linux平台,更多地是出于历史原因,而不是价格。希望本文对于国内目前日益受到重视的FX领域的应用方案设计能有所启示。







附录:Linux商业电影动画制作软件列表

1)系统
DaVinci Revival,xx的达芬奇电影校色系统。
Baselight,电影校色系统,使用数字投影技术,该系统由于独创的色彩显示技术而被广泛用于好莱坞。
Flint/Smoke/Flame,Autodesk已经开始将他的{tx}系统移植到Linux上。
SpeedGrade,校色系统。

2)电影编辑
Conform,英国公司开发的一个电影剪辑和校色系统。
Piranha,迪斯尼和Pixar在使用的编辑软件。
Mainactor,DV编辑。

3)三维动画
Houdini,{zx0}移植到Linux的三维动画软件,带强大的合成模块。
Maya,常用的三维动画软件。
RenderMan,渲染器。
Mental Ray,渲染器。
SoftImage XSI,由于开发公司有微软的股份,必须从Windows服务器获得许可。
Massive,因《指环王》而知名的集群动画软件。
Realflow,流体解算软件。

4){tx}软件
NUKE,D2的合成软件。
Shake,Apple的合成软件。
Rayz,Silicon Grail的合成软件,在Shake前已被Apple收购。

5)镜头匹配和稳定
3dequalizer,镜头运动解算软件。
Mokey,稳定和动态抠像软件。
Boujou,运动匹配软件。
SteadyMove,镜头稳定软件。
The Pixel Farm Tracker,镜头运动匹配。

6)RenderFarm管理
Platform LSF,从SGI移植的渲染管理软件。
Enfuzion,交叉平台的渲染管理软件。
Rush,渲染管理软件。
Qubw:渲染管理软件。

7)卡通
Toonboom USAnimation,世界xx的商业二维卡通软件。
Solo,二维卡通软件。
Moho,Flash矢量动画软件。



郑重声明:资讯 【linxu renderfarm(渲染农场_巨人不倒翁cui的空间_百度空间】由 发布,版权归原作者及其所在单位,其原创性以及文中陈述文字和内容未经(企业库qiyeku.com)证实,请读者仅作参考,并请自行核实相关内容。若本文有侵犯到您的版权, 请你提供相关证明及申请并与我们联系(qiyeku # qq.com)或【在线投诉】,我们审核后将会尽快处理。
—— 相关资讯 ——