数字流媒体技术

数字流媒体技术及应用

一、流媒体技术概述

随着网络迅猛普及、多媒体技术广泛应用，音频、视频等的实时传输问题尤为突出。分析表明：影响在线音频、视频等传输实时性主要因为频带宽度限制、传输品质不稳。通常，网络服务商ISP所提供的频宽只是理论最大值。实际上，网络固有的互联而不互管特性导致用户使用频宽并不固定，如标称56Kbps的调制解调器 Modem，拥塞时传输速度可能仅28Kbps，即使正常情况下也会有10-30%差异。这样，必然影响媒体播放实时性。

为解决信息传输实时性问题，开发了流式传输及流媒体（Streaming Media）。前者主要指通过网络传输媒体（如音频、视频等）的技术总称，其特定含义为通过网络将音频、视频等传输到用户终端播放时，无需等全部文件下载完毕才可播放，而是将连续的音频、视频信息压缩后放于网站服务器，用户终端播放时只要将开始部分的内容存入其内存，其余数据流由用户终端在后台继续接收并播放，直至播放完毕或用户中止操作。这样，只在开始时有几秒延迟，而用户播放媒体的等待时间将显著减少，且无须太大缓存；后者指使用流式传输技术的连续时基媒体，如音频、视频、多媒体文件，其实现关键技术是流式传输。

采用流媒体技术，无需将全部信息下载再播放，因而等待时间大为缩短；流文件小于原始文件数据量，且用户无需将全部流文件下载到硬盘，从而节省大量磁盘空间；采用实时传输协议，更适合音频、视频等网络实时传输。正因为上述显著优点，流媒体技术已受到业界普遍关注，著名的IBM、Intel、Microsoft、康柏等都在调整其战略方向，以便在该市场占据有利地位。另外，从用户角度看，超过三分之一网络用户曾阅读过流式内容，显示对丰富媒体的需求必定将推动整体架构的革新。目前该领域主要竞争公司有Microsoft、Apple、Realnetworks，相应产品有Windows Media、Quicktime、Real Media。

二、流媒体技术原理流媒体技术具有上述诸多优点主要因为采用流式传输和合适的传输协议。

前者先在用户终端创造一个缓冲区，每次播放前，预先下载部分信息资料作为缓冲，当网路实际连线速度小于播放所耗用信息速度时，播放程序会自动取用该缓冲区的信息，避免播放中断，并使播放品质得以保证。具体而言，流式传输的实现需要缓存。因为网络以包传输为基础进行断续的异步传输，对实时A/V源或存储的A/V文件，传输时被分解为许多数据包，网络的动态变化导致各个包选择的路由不尽相同，故到达客户端时间延迟亦不等，甚至先发的数据包还可能后到。为此，使用缓存系统弥补传输延迟、抖动影响，并保证数据包顺序正确，从而使媒体数据能连续输出，而不会因网络暂时拥塞导致播放停顿。通常高速缓存所需容量较小，因为高速缓存使用环形链表结构来存储数据，即通过丢弃已播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容；后者指采用实时流控制协议。因TCP开销较多，故不太适合传输实时数据。实现流式传输技术方案时，常用HTTP/TCP来传输控制信息、用RTP/UDP来传输实时音频数据。由于使用专属串流伺服器Server来替代使用HTTP通道的WEB Server，因而播放音频、视频等信息时，效果显著优于WEB Server。

流式传输过程：终端用户选择某一流媒体服务后，WEB浏览器与WEB服务器间使用HTTP/TCP交换控制信息，以便将需传输的实时数据从原始信息中检索出来；然后客户端上的WEB浏览器启动A/Vhelper程序，使用HTTP从WEB服务器检索相关参数并对Helper程序初始化。这些参数包括目录信息、A/V数据编码类型、与A/V检索相关的服务器地址等；A/Vhelper程序及A/V服务器运行RTSP实现A/V传输所需控制信息的交换；A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序，一旦A/V数据抵达用户终端即可播放。

三、流媒体系统组成完整的流媒体系统

流媒体系统组成完整的流媒体系统包括：流媒体数据；播放器，即供客户端浏览流媒体文件；服务器，即存放、控制流媒数据；网络，即适合多媒体传输协议或实时传输协议的网络；编码工具，即用于创建、捕捉和编辑多媒体数据，形成流媒体格式，这可以由带视音频硬件接口的计算机和运行其上的制作软件共同完成。具体而言，可分为：

（1）媒体服务器硬件平台。多媒体服务器通过网络把存储系统中的信息以流媒体形式传输给相应用户，响应客户交互请求，保证流媒体连续输出。特别是视频流具有同步性要求，即须以恒定速率播放，否则引起画面抖动，如MPEG1要求1.5kbps速度播放；同时，视频流包含的多种信号亦须保持同步，如画面配音必须和口型相一致等。此外，视频信号固有的数据量极大的特点及信号存放方式等均直接影响服务器的交互服务。因此，多媒体服务器的系统资源如存储I/O带宽、网络带宽、内存大小、CPU主频等适应传输相应媒体的各种要求。

（2）媒体服务器软件平台。软件平台包括媒体内容制作、发行与管理模块、用户管理模块、相应服务器。内容制作涉及信息采集、处理、传输。发行模块负责将节目提交到网页，或将视频流地址邮寄给用户。内容管理主要完成视频存储、查寻；用户管理包括用户登记、授权；服务器将内容通过点播、直播方式播放。

四、流媒体传输方式

网络传输音频、视频等多媒体信息有下载和流式传输两种方案。前者由于A/V文件较大，所需存储容量也较大，且网络带宽的限制导致下载费时甚久，延迟亦较大；后者避免了用户须等待整个文件全部下载后才能播放的缺点。实现流式传输有顺序流式传输（Progressive Streaming）和实时流式传输（Realtime Streaming）两种方法。

（1）顺序流式传输。即顺序下载，媒体下载的同时用户可在线播放。某给定时刻，用户只能播放已下载部分，而不能跳到还未下载的部分。它不象实时流式传输方式能在传输期间根据用户连接速度自动调整。由于顺序流式文件放于标准HTTP服务器，无需其他协议，故又称HTTP流式传输。因文件播放前无损下载，最终播放质量较好，特别适合质量较高、数据量较小、通过Modem发布的短片段，如片头、片尾、广告等。此外，该方式易于管理，且与防火墙基本无关。但用户播放前须经历数秒的延迟，传输速度较慢时尤为明显。同时，顺序流式传输不适合长片段和有随机访问要求的视频，如讲座、演说、演示，也不支持现场广播，本质上是一种点播技术。

（2）实时流式传输。指保证媒体信号带宽与网络连接匹配，使媒体可被实时播放。由于该方式总是实时传输，因而特别适合现场事件播放，且支持随机访问，用户可通过快进、后退等播放前面、后面的内容。但由于出错丢失的信息被忽略，因此，当网络拥挤或出现问题时，视频质量一般。导致图像质量较差另一方面原因是以Modem速度连接时，因实时流式传输须匹配连接的带宽而产生的。理论上，实时流一经播放就可不停止，但实际使用时可能周期性暂停。与HTTP流式传输不同，实时流式传输需流媒体服务器和特定传输协议。

五、流媒体播放方式

（1）单播。即客户端与媒体服务器间建立单独传输通道，某服务器传输的数据包只能发送到一个客户端的传输方式。采用该方式时，客户端须单独向媒体服务器发送查询信息,媒体服务器同样须向各终端发送所申请数据包的拷贝。这种巨大冗余既造成沉重的服务器负担，又导致所需响应时间较长、甚至可能停播，特别是管理方需配置相应硬件和带宽才能保证一定的服务质量。

（2）组播。即利用IP组播技术构建具有组播能力的网络，允许路由器一次将数据包拷到多个通道的播放方式。采用该方式，各媒体服务器只需要发送一个数据、而不是多个，就能同时对若干客户端发送连续数据流而无延时，所有发出请求的客户端共享同一信息包，并且信息可发送任意地址客户端，从而显著减少网络传输数据量。这样，网络利用率显著提高，成本明显下降。

（3）点播与广播。前者是客户端与服务器间的主动连接方式，用户通过选择内容项目来初始化客户端连接，可选择开始、停止、后退、快进、暂停流等，该连接方式实现对流的最大控制，但由于各客户端独立连接服务器，因而网络带宽难以保证；后者指用户被动接收流的连接方式，该方式中数据包将发送给网络上的所有用户，客户端只能接收但不能控制流，例如，用户端不能暂停、快进、后退数据流等。

上述几种播放方式中，单播方式需复制多个数据包，并以多个点对点的方式分别传输给所需用户；广播方式的数据包则传输给网络上的所有用户，不管其是否需要，这两种传输方式显然非常浪费网络带宽。而

组播方式取上述两种方式之长处，克服其弱点，仅将数据包传输给需要的那些客户。由于该方式不需传输大量数据包，亦不将数据包发送给并非需要用户，有效保证媒体传输仅占用最小带宽。

六、流媒体相关协议

显然，实现流式传输需合适的网络传输协议。由于TCP协议开销较多，不适合传输实时数据。一般采用HTTP/TCP传输控制信息、用RTP/UDP来传输实时信息，实现流式传输。具体介绍如下：

（1）实时传输协议RTP（Real-Time Transport Protocol）与实时传输控制协议RTCP（Real-Time Transport Control Protocol）。前者是一种用于网络上针对多媒体数据流的传输协议，适合一对一、一对多传输情况，目的是提供时间信息并实现流同步。它不作为独立网络层实现，而是应用程序一部分，使用UDP来传输数据，但也可在TCP、ATM等协议上工作；后者能为按顺序传输的数据包提供可靠传输机制，并和RTP一起提供流量控制、拥塞控制服务。RTP会话期间，各客户端周期性传输RTCP包。该包中含有已传输的数据包数量、丢失的数据包数量等信息，服务器可根据此信息动态改变传输速率，甚至改变有效载荷类型。上述二者配合使用，能以有效的反馈和最小的开销实现传输效率最佳化，特别适合实时数据传输。

（2）实时流协议RTSP（Real-Time Streaming Protocol）。Realnetworks和Netscape共同提出的RTSP协议定义了一对多应用程序如何有效通过IP网络传输多媒体数据。其体系结构位于RTP和RTCP之上，使用TCP或RTP完成数据传输。与请求由客户端发出、服务器作出响应的单向方式HTTP相比，RTSP是双向的，使用时客户端和服务器均可发出请求，且提供操纵播放、快进、快倒、暂停及录制等命令的方法。

（3）资源预订协议RSVP（Rresource Reserve Protocol）。由于音频、视频数据流比传统数据对网络的延时更敏感，要通过网络传输高质量音频、视频信息，除带宽要求外，还包括其他方面。RSVP作为网络资源预订协议，通过预留部分网络资源方式，能在一定程度上为流媒体的传输提供良好的服务质量QOS。七、流媒体技术在数字监控中的应用

网络的迅猛发展和普及为流媒体业务发展提供了强大市场动力，流媒体技术已广泛用于数字监控、远程教育、视频点播、新闻发布、网络广告、电子商务、视频会议等，其应用将为网络信息交流带来革命性变化。这里主要介绍基于流媒体技术的数字监控。

数字监控以数字视频处理技术为核心，结合网络技术、多媒体技术，彻底克服模拟监控缺点。系统由视频采集、视频传输、控制中心等组成，对图像实时性、传输速度、并行处理能力、存储容量等要求较高，并支持多种有线、无线传输介质，集视频切换、智能控制、远程传输、布防报警等功能于一身。其信号传输具有以下特点：实时性，即视频信号须实时处理，如实时压缩、解压缩、传输；同步性，即视频信号具有分布性，但用户终端显示时须同步；分布性，即现场采集的图像传输、接收、显示的主机位于不同地点，通过网络相连。视频传输依赖的通信网络包括LAN、WAN、ISDN、DDN、ATM、PSTN等，由于每种网络传输控制及通信协议均不同，适合远程监控的数字视频传输要求标准也不同。目前，TCP/IP协议作为事实上的标准，广泛用于各种网络。要通过网络传输数字视频，自然也须遵守该协议。但该协议最初是为非实时数据业务制定的，实时传输能力较差。而流媒体技术应用于远程数字监控显然是安防领域巨大突破，能有效克服其他传输方式存在的局限性。其显著优点主要表现为：流媒体实现低带宽环境提供高质量音频、视频等；智能流技术可保证不同连接速率下的用户得到相应质量的媒体播放效果；流媒体多址广播技术可显著减少服务器负荷，同时最大限度节约带宽。显然，无论从技术还是市场角度考虑，流媒体技术应用于远程数字监控都有其他方式无可比拟的优越性。特别对窄带远程监控尤为显著，用户不必等远端监控信息传输完毕即可实时、连续播放，有效克服其它方式播放的等待问题，且实时性较好。当然，该方式可能影响视频图像质量，但考虑到视频监控这种特殊场合无需很高的音视频质量，且服务器端的记录已完全满足详细分析、查询、取证之需。

目前，开发流媒体新技术、新应用已成必然，如利用流媒体技术制作更具吸引力的商业广告、尝试流媒体在电子商务方面应用等。而不同媒体汇集融合更有助于信息传播。可以相信，随着流式媒体日趋丰富、用户对流媒体需求的增加、特别是流媒体技术的完善，其市场必将更加广阔、内容将更加丰富。