WM9格式 互联网时代的DV视频标准

本文作者Jordi Ribas-Corbera先生，微软视窗数字媒体部编解码器和DSP项目组项目经理。原文发表于“EBU Technical Review”2003年1月期。译文有删节。 

　　编者按：在4月份的NAB上，微软联合NTL、Tandberg进行了实时流媒体端到端发送演示，其中包括Windows Media 9 Series在现有开放的数字广播标准中的应用。随着数字技术的发展，WM9在广电领域的应用日益增多。文章摘要介绍相关技术。  

　　Windows Media 9系列(WM9)是微软开发的新一代数字媒体技术。尽管Windows Media本来的应用定位于将压缩的流式视音频通过互联网传送到PC，下一步的发展趋势是使数字媒体能   
通过任一网络有效地传送到任何设备。 

　　广泛的应用 

　　除了互联网基应用(订阅服务、VOD、网上广播等)外，用Windows Media编解码器压缩的内容正在通过有线和无线等各种消费电子设备(手机、DVD播放器、便携式音乐播放器及汽车音响等)被消费。Windows Media内容也能以物理形式——如SD存储卡、CD和采用新兴的HighMAT格式的DVD——传送到消费者手中。 

　　在地面和卫星广播中，IBC的一个近期项目演示了如何通过DVB-T和DVB-S传送WM9内容。另外，Windows Media技术也被用来压缩高清和多声道影片，这些影片已在美国的一些公共数字影院中放映。 

　　端到端传送 

　　WM9的基本组件如图2所示，分成三步：内容创建、分配和播放。 

　　内容创建 

　　这是创建和编码数字媒体的过程，基本的编码软件叫WM9编码器。它是一种灵活的编码器，可用来压缩音视频源素材，以供借助WM9编解码器作流式直播或点播时使用。也可以用建立在Windows Media接口工具包基础之上的第三方提供的编码解决方案(如Optibase、Tandberg Television、德州仪器等的硬件编码器)或Windows Media软件开发包(SDK)(如Accom、Adobe、Avid、Discreet和Sonic Foundary的软件编码器)来代替。  

　　分配 

　　用Windows Media编解码器压缩的内容在互联网上的分配通常是由一台Windows Media Services服务器进行的。Windows Media Services 4.1版是Windows 2000中的一个可选件，且计划中Windows Media Services 9 Series也会成为Windows Server 2003中的一个可选件。这种新型服务器支持更丰富的广告和企业商业模式，可扩缩性也达到原来的2倍——在同一时间接收某一媒体片段的用户数量加倍了。 
    一台服务器可流化该片段(用尽可能小的延时传输)或将其下载(发送并存储)到用户的播放器中。该片段的传输可以是直播(新闻、体育比赛、音乐会等)或点播(音乐录像、电影点播等)。 

　　当流化一个媒体片段时，服务器根据网络质量度量的反馈，智能地调整其流量并重新发送丢失的数据包。对于点播流，最新型的服务器还能运用可供利用附加带宽(高于该片段的平均码率)的有利条件，减小启动延时。另外，这种服务器还通过发送更多数据到播放器来减小连接中断(表现为播放故障和对观众“重复阻隔”)的可能性。如是，当网络拥塞时，播放器便可以继续播放。 

　　一台稳固且可扩缩的服务器对互联网传送是必要的，但是很显然，拥有稳固的网络连接也非常关键。后者由内容传送网运营商负责解决。稳固的服务器和网络相结合，将给受众带来类似观看电视的感受，这大大优于在此前互联网流媒体的水平。 

　　播放 

　　端到端传送程序的最后一步，包括在用户设备中解码和还原压缩数据。在PC上，Windows Media和各种第三方播放器都可解码和播放Windows Media流媒体和文件。同编码器的情况相仿，第三方可以在任何平台上借助Windows Media接口工具包建立这样的硬件播放设备。 

　　数字权利管理 

　　数字权利管理(DRM)是端到端传送的关键组件之一，在图2中表示为许可证服务器。它在媒体传送系统的三个步骤中都发挥作用。它允许媒体所有者对其产品和服务进行加密，并制定使用规则和政策，如所有者可决定用户只有到某一日期才能播放该数字内容，或者只能播放指定的次数；或者允许用户拷贝数字媒体到某些(某类)设备中。 

　　在典型的互联网情况下，内容所有者用DRM加密压缩的数字媒体流。当一位观众选择了该媒体流时，播放设备就会连接到许可证服务器，由它发出一个内容许可证。然后该观众就可决定是否接受许可证上的有关条款和价格，如接受，许可证就会下载到用户的设备中。用户即可根据许可证的规定解密并播放该项内容。 

　　设计一个完整的DRM服务是很有挑战性的项目。系统要求安全、灵活且用户友好。Windows Media DRM是目前市场上一个领先的解决方案。 

　　平台组件 

　　除一整套创建、分配和播放数字媒体的组件外，Windows Media还提供了一个开发平台。Windows Media编码器、Windows Media Services和Windows Media播放器能满足相当多应用的要求，不过迄今主要还只是用于验证了这一开发平台的功能。这些组件建立在SDK之上，第三方可用这些SDK开发自己的编解码器、服务器和播放器，或订制特殊应用。通过这一具有最新压缩和传送技术的平台，Windows Media使得第三方能够创建其领先的客户化解决方案。 

　　Windows Media音视频编解码器是创建和播放数字媒体的关键组件。附表列出了作为WM 9系列进入市场的音视频编解码器。各种编解码器采用了不同的技术和比特流构造，因而互不兼容。 
    一台服务器可流化该片段(用尽可能小的延时传输)或将其下载(发送并存储)到用户的播放器中。该片段的传输可以是直播(新闻、体育比赛、音乐会等)或点播(音乐录像、电影点播等)。 

　　当流化一个媒体片段时，服务器根据网络质量度量的反馈，智能地调整其流量并重新发送丢失的数据包。对于点播流，最新型的服务器还能运用可供利用附加带宽(高于该片段的平均码率)的有利条件，减小启动延时。另外，这种服务器还通过发送更多数据到播放器来减小连接中断(表现为播放故障和对观众“重复阻隔”)的可能性。如是，当网络拥塞时，播放器便可以继续播放。 

　　一台稳固且可扩缩的服务器对互联网传送是必要的，但是很显然，拥有稳固的网络连接也非常关键。后者由内容传送网运营商负责解决。稳固的服务器和网络相结合，将给受众带来类似观看电视的感受，这大大优于在此前互联网流媒体的水平。 

　　播放 

　　端到端传送程序的最后一步，包括在用户设备中解码和还原压缩数据。在PC上，Windows Media和各种第三方播放器都可解码和播放Windows Media流媒体和文件。同编码器的情况相仿，第三方可以在任何平台上借助Windows Media接口工具包建立这样的硬件播放设备。 

　　数字权利管理 

　　数字权利管理(DRM)是端到端传送的关键组件之一，在图2中表示为许可证服务器。它在媒体传送系统的三个步骤中都发挥作用。它允许媒体所有者对其产品和服务进行加密，并制定使用规则和政策，如所有者可决定用户只有到某一日期才能播放该数字内容，或者只能播放指定的次数；或者允许用户拷贝数字媒体到某些(某类)设备中。 

　　在典型的互联网情况下，内容所有者用DRM加密压缩的数字媒体流。当一位观众选择了该媒体流时，播放设备就会连接到许可证服务器，由它发出一个内容许可证。然后该观众就可决定是否接受许可证上的有关条款和价格，如接受，许可证就会下载到用户的设备中。用户即可根据许可证的规定解密并播放该项内容。 

　　设计一个完整的DRM服务是很有挑战性的项目。系统要求安全、灵活且用户友好。Windows Media DRM是目前市场上一个领先的解决方案。 

　　平台组件 

　　除一整套创建、分配和播放数字媒体的组件外，Windows Media还提供了一个开发平台。Windows Media编码器、Windows Media Services和Windows Media播放器能满足相当多应用的要求，不过迄今主要还只是用于验证了这一开发平台的功能。这些组件建立在SDK之上，第三方可用这些SDK开发自己的编解码器、服务器和播放器，或订制特殊应用。通过这一具有最新压缩和传送技术的平台，Windows Media使得第三方能够创建其领先的客户化解决方案。 

　　Windows Media音视频编解码器是创建和播放数字媒体的关键组件。附表列出了作为WM 9系列进入市场的音视频编解码器。各种编解码器采用了不同的技术和比特流构造，因而互不兼容。 
Windows Media Audio (WMA 9) 

　　WMA 9编解码器是Windows Media中最受欢迎的音频编解码器。解码器早在4年前就冻结了，从那时以来，只有编码器不断改进。WMA 9是第三代后向兼容改进版本。保持后向兼容性对支持消费电子制造商将其选作WMA播放机的内置设备是很关键的。 

　　这种新型WMA编码器采用经改进的码率控制和掩蔽算法，增强了一次性固定码率(CBR)编码模式(老版本WMA支持的唯一模式)，并新加了两次性和可变码率(VBR)模式，从而提高了一次模式的质量。 

　　对任何该编解码器而言，直播编码和传输都要求一次性CBR编码，而二次性CBR编码适用于流媒体点播的离线编码。VBR模式建议用于将压缩片段下载到用户设备(用于下载播放)。尽管VBR编码的片段也能被流化，但片段中的码率波动通常很高大，且其传输要求长的缓冲延时。还有一种可用来创建比特流的峰值抑制VBR编码模式，它的播放速度受设备读取速度的限制。WMA编解码器支持所有这些编码模式。 

　　WMA也支持单声和立体声(码率范围5～320kb/s、取样率8～48kHz)的各种编码设置。在典型的CD取样率(44.1kHz)时，大部分用户都选择48kb/s或128kb/s以得到类似CD的音质，具体取决于其对压缩失真的敏感性和可用带宽。有一小部分挑剔的听众可能要求更高的质量，这就是为什么也要提供更高的编码速率的原因。 

　　WM 9的另一个目的就是开发能提供优于CD音质的压缩技术，其首要工作是引入WMA 9专业级编解码器。 

　　WMA 9专业级编解码器 

　　它是Windows Media的第一个音频编解码器，可支持高端家用系统和商业数字影院带5.1或7.1扬声器配置的高分辨率(每音频取样高达24b，取样率高达96kHz)和多通道(多达8个离散通道)音频。其重要应用是以互联网宽带码率进行多声道音乐和电影声轨的编码，如杜比AC-3编解码器的最小码率为384kb/s(用于5.1声道)，它通过DSL/有线连接提供极低的视频码率。WMA9专业级编解码器可以编码低达128kb/s的5.1声道音频，192kb/s是这一技术的最佳码率。这样，便可留下足够的带宽用于视频编码。 

　　WMA 9专业级编解码器也是有5种编码模式：一次性CBR、两次性CBR、一次性VBR、两次性VBR及峰值抑制VBR；另外还允许以最高质量之VBR设置进行准无损压缩。 

　　WMA 9 Voice话音编解码器 

　　这是另一种新型编解码器，它以极低的码率压缩仅含单声道的音频，这对通过低速调制解调器或ISDN接口传送数字音频是很有用的。支持的码率和取样率分别为4～20kb/s、8～22kHz。目前它只支持一次性CBR编码。 

　　当以很低的码率压缩音频时，通常典型的基于转换的编解码器能产生较好的音乐质量，而基于CELP的编解码器则能提供较好的语音质量。WMA 9 Voice是一种独特的混合型编解码器，它运用一只自动分类器探测音乐和话音，对应选用合适的编码模式。当内容同时包含话音和音乐时，模式的选择取决于占优势的音频所属类型。其编码器还提供手动模式，因而用户能够针对给定的任何类型片段选择所需模式。 

此话音编码模式是基于一种新式先进算法。音乐模式主要采用WMA转换技术。从而该编解码器可为这两种音频内容都提供最高的质量，而先前的编解码器只能做好其中一类音频的编码。 

　　WMA 9 Lossless无损音频编解码器 

　　同其它先进的无损编解码器(如Monkey Audio)相比，它具有竞争优势。能压缩各种音频源，从CD级分辨率和取样率到24b、96kHz的7.1声道音频。它被集成进Windows Media Player 9系列中，对立体声内容能实现约2:1的压缩比。多声道、高分辨率的音频片段通常可以更高的压缩比实现无损压缩。 

　　对典型的立体声广播和互联网宽带应用，推荐使用标准的WMA 9编解码器。如果音频或影片含有高分辨率或多声轨，就应该考虑用WMA 9专业级编解码器。WMA 9话音编解码器的目标是很低码率的音频应用，而WMA 9无损编解码器适用于音频存档。 

　　Windows Media Video (WMV 9) 
　 
　　WMV 9支持全部5类CBR和VBR编码模式。WMV9比WMV8的压缩效率提高了15～50%，且在高码率上的改进更大，见图3；该对比试验中采用的信号源包括13种典型的MPEG片段。 

　　我们为所有编解码器设定一个量化级规格，并运用相同模式选择策略，就像在MPEG和ITU标准测试中所做那样。尽管峰值信噪比(PSNR)并不是典型的视频质量测量方法，图中也显示了图像压缩增益能转换为PNSR增益的情况。 

　　凭借WMV9的压缩效率，人们能够以大约2Mb/s的码率实现广播级质量的BT.601视频，或者以高端广播或DVD码率(例如4～6Mb/s)实现高质量、高清晰度的视频(如720p)。它支持所有的广播格式，包括HD 720p和1080i。该编解码器还含有本征的隔行压缩工具。除4:2:0外，它还支持4:1:1取样结构，以分别维持隔行扫描视频中奇偶场的色度(4:2:0取样合成了两场的色度值)。 

　　由于不同的应用要求复杂程度不同的WMV，我们为保证互操作性定义了几种层和级。如“简单层和低级”支持高达QCIF的清晰、96kb/s和15帧/秒，目标是低端手持设备；而“主层和主级”的目标是标准清晰度播出方案(功能等同于MPEG-2的MP@ML)；“主层和高级”则适合于高清应用(相当于MPEG-2的MP@HL)。WMV 9比特流针对更高端应用(如标清和高清广播)，通常被称为WMV 9专业比特流。 

　　这种最新型WMV 9编解码器的视频质量，还没有进行独立的研究评估。建议专家进行测试并给出结论。 

　　WMV 9和视频压缩标准 

　　有一个典型的问题：WMV 9提供的压缩效率是否优于MPEG-2、MPEG-4甚至刚出现的H.264？这个问题很难回答，因为这些标准只定义了比特流的语法结构和解码器的语义成分。因此，不同的实施会得到不同的质量结果。对WMV 9来说也是这样，预期硬件商将来制造的后向兼容编码器版本，可能在现有版本的基础上提高压缩效率。 

　　但是，为了对质量作一定的比较，我们用知名的Minerva C250 MPEG-2硬件视频编解码器同最近推出的Quick Time 6 MPEG-4编解码器进行了内部测试。这些测试使用了相同的编码设置，WMV 9分别只用1/3和1/2码率就达到了类似于MPEG-2和MPEG-4的质量。尽管可能有更好的MPEG-2和MPEG-4实施方法，但是在压缩效果上如此明显的提高表明：WMV 9相比顺应这些标准的编解码器来说，可显著提高质量(或者说节约带宽)。实际上，最近的独立研究也得出结论：WMV 9早期的一个版本，甚至WMV 8的压缩效率都优于基于MPEG-2和MPEG-4的解决方案。 

H.264是ITU-ISO联合制定的视频压缩标准，计划今年5月完成。由于标准制定后互操作性过程通常要持续数月，还要过一段时间才会有顺应标准、有竞争力的产品面市。因此，要想得出任何关于H.264和WMV 9在质量差异方面的实质性结论，还为时过早。但是，由于人们相信，ITU-ISO联合视频组提供的、码率失真优化基准编解码器能够提供很高质量，一些公司已经开展了初步测试。例如，数月前进行的一项相当全面的研究得出结论：H.264实现的视频质量和WMV 9相近，尽管从那时起两类编解码器功能一直在增强。 

　　值得注意，H.264在编解码时要求很复杂的计算。另一方面，WMV 9的主层解码复杂性相当接近我们的MPEG-4简单层编解码器。具体一点，用WMV 9解码只慢1.4倍左右。这表明H.264解码复杂性可能达到WMV 9编解码器的2倍。 

　　视频平滑处理 

　　WMV的一项新特性是能在解码后插入丢失的帧。这一性能在WM 9系列中被称为“视频平滑处理”。视频平滑处理算法用的是先进的光学流量估计技术(基于每一象素)。加上变形处理，合成新帧，见图4。 

　　这一性能需要强效的CPU，且必需足够高的CPU频率才能启动。如：典型地，终端用户必须有一733MHz甚至更高工作频率的CPU，才能使清晰度为320×240象素的视频片段实现10～30帧/秒的内插。 

　　这一性能在极低码率时尤其有用，因为此时在编码中很难实现全帧频，低码率压缩失真会掩盖偶发的内插误码。视频平滑处理能消除这种与低码率视频关联的抖动，从而提高视频质量。 

　　WMV 9屏幕编解码器 

　　它是高效率堆栈式计算机屏幕视频压缩引擎的下一代版本，可供创作演示时使用计算机桌面设备俘获图像所用。它能供整套桌面设备以低至28kb/s的码率作编码和传输，尽管当桌面应用中有自然图像嵌入时所需码率通常在100kb/s左右。 

　　同以前版本相比，当有运动和自然图像时，它改善了画面质量和CPU的应用状况。WMV 9屏幕编解码器支持一次性CBR和一次性VBR编码。将来的版本还会增加运动补偿功能，以便在桌面上处理嵌入视频。 

　　WMV 9图像编解码器 

　　它是WMV 9系列中最后一种新型编解码器，允许用户运用淡变、推拉、摇移和其它特技组合一组静止图像，以创作视频片段。可以把这种压缩技术看作一台视频编解码器，此时比特流中的I帧后紧跟着一连串对每帧图像(不是P帧数据)的运动和过渡说明。 

广播应用 

　　有些标准像DVB提供集成的新技术以创建附加服务和增值。在MPEG传输流的私人数据部分，可以方便地封装IP数据包，见图5。这一数据然后依循DVB，与标准的DVB信号一起发送。 

　　一类广播应用如图6所示。NTL和Tandberg开发出一个基于DVB的系统用于广播体育和新闻，压缩用的是WM 9系列。这一系统在IBC 2002上实况演示了好几天。 

　　英国的Eurosport信号是从伦敦附近NTL的数字媒体中心发出的，媒体的实况编码是用WM 9系列编码器的一台样机(支持WMA 9和WMV 9)进行的，它由Tandberg制造。 

　　ITN新闻借助Gee Broadcast的新型探测软件馈给Tandberg Television的格式转码器，由它将其压缩成Windows Media。解码的文件发射至伦敦西南的Crawley Court卫星站，进入NTL Broadcast的“存储和转发”系统。 

　　两类Windows Media比特流都由SkyStream的一台源媒体路由器进行封装，再馈至一台标准的DVB复用器，然后通过DVB-S发送到阿姆斯特丹，在那儿通过DVB-T在IBC进行移动接收。接收车从展馆将参展者从会场运送到阿姆斯特丹各个地方。车上配备了PC，并用Windows Media解码器连接至一台监视器。这种端到端系统由NTL集成。 

　　这一项目演示了利用WM 9系列通过标准DVB基础设施进行移动电视传输的能力。 

　　另一类有趣的广播应用是电影点播系统，正由LuxSat International在好几个国家推广。电影用WM 9系列解码，在DVB-S上通过IP数据广播传送至用户的硬盘驱动器。用户可从多达100部的电影中选择；可供点播的电影按先进先出原则每天刷新。