多媒体技术及多媒体计算机
多媒体技术及多媒体计算机
1.多媒体技术的定义
多媒体技术是计算机交互式综合处理多种媒体信息──文本、图形、图像和声音,使多种信息建立逻辑连接,集成为一个系统并具有交互性的技术。
多媒体技术是多学科与计算机综合应用的技术,它包含了计算机软硬件技术、信号的数字化处理技术、音频视频处理技术、图像压缩处理技术、现代通信技术、人工智能和模式识别技术,是正在不断发展和完善的多学科综合应用技术。
2.多媒体技术的特征
多媒体技术主要有如下特征:数字性、集成性、多样性、交互性、实时性。
(1)数字性
各种媒体信息处理为数字信息后,计算机就能对数字化的多媒体信息进行存储、加工、控制、编辑、交换、查询和检索。所以多媒体信息必须是数字信息。
(2)集成性
集成性是指以计算机为中心综合处理多种信息媒体,它包括信息媒体的集成和处理这些媒体的设备的集成。信息媒体的集成如文本、图像、声音、视频等的集成,这些媒体在多任务系统下能够很好地协同工作,有较好的同步关系。多媒体设备的集成包括硬件和软件两个方面。
(3)多样性
多样性指两个方面,一方面指多样性的信息,信息载体也随之多样化。多样化的信息载体包括:磁盘介质、磁光盘介质和光盘介质等物理介质载体,以及人类可以感受的语音、图形、图像、视频、动画等媒体。早期的计算机只能处理数值、文字等单一的信息媒体,而多媒体计算机则可以综合处理文字、图形、图像、声音、动画和视频等多种形式的信息媒体。另一方面是指多媒体计算机在处理输入的信息时,不仅仅是简单获取和再现信息,如声像信号的输入与输出,若二者完全一样,那只能称之为记录和重放,从效果上来说并不是很好,如果能根据人的构思、创意,进行交换、组合和加工来处理文字、图形及动画等媒体,就能大大丰富和增强信息的表现力,具有充分自由的发展空间,达到更生动、更活泼、更自然的效果。
(4)交互性
交互是指通过各种媒体信息,使参与的各方都可以对媒体信息进行编辑、控制和传递。多媒体技术的最大特点是交互性,通过交互,可以实现人对信息的主动选择和控制,而交互性是多媒体作品与一般影视作品的主要区别,如传统电视系统的媒体信息是单向流通的,电视台播放什么内容,用户就只能接收什么内容。而多媒体技术的交互性为用户选择和获取信息提供了灵活的手段和方式,如交互电视的出现大大增加了用户的主动性,用户不仅可以坐在家里通过遥控器、机顶盒和屏幕上的菜单来收看自己点播的节目,而且还能利用它来购物、学习、经商和享受各种信息服务,进一步引导我们走向“足不出户可做天下事”的更为理想的境界。
(5)实时性
多媒体系统中的各种媒体有机地组合成为一个整体,各媒体间有协调同步运行的要求,如影像和配音、视频会议系统和可视电话等,它们要求系统能支持实时快速响应,又能协调同步,对媒体的时序配合和速度响应要求很高,这就是多媒体技术的实时性和协同性。
3.多媒体技术的产生
一般认为,1984年美国Apple公司提出的位图概念,标志多媒体技术的诞生。当时Apple公司正在研制Macintosh计算机,为了增加图形处理功能,改善人机交互界面,使用了位图(bitmap)、窗口(windows)、图标(icon)等技术。改善后的图形用户界面(GUI)受到
普遍欢迎,鼠标作为交互输入设备的引用更是
大大方便了用户操作。随后在几年间多媒体技
术得到大力发展。
1985年美国Commodore公司推出了世界
上第一台真正的多媒体系统Amiga,该系统以
其功能完备的视听处理能力,大量丰富的实用
工具以及性能优良的硬件,使全世界看到了多
媒体技术的未来。
到20世纪的90年代,多媒体技术的发
展达到一个高潮,为了使多媒体技术和众多相
关设备具有更好的通用性和兼容性,人们开始制定一系列的技术和设备标准,并不断更新和发展。到现在为止,所建立的技术标准有静止图像压缩标准JPEG、动态图像压缩标准MPEG和语音信息压缩标准H.26X等,所建立的设备标准有个人多媒体计算机标准等。进入21世纪,多媒体技术必将推进到另一个崭新阶段。
4.典型的多媒体应用系统有:多媒体信息咨询系统、多媒体信息管理系统、多媒体辅助教育系统、多媒体电子出版物、多媒体视频会议系统、多媒体远程诊医系统和远程教学系统、多媒体视频点播系统、交互式电视、数字化图书馆、多媒体邮件、多媒体宣传演示系统、多媒体训练系统、虚拟现实。
5.多媒体技术的发展方向
21世纪将是多媒体技术飞速发展的世纪,也是多媒体应用不断拓展的世纪。多媒体技术会进一步深入到社会的各个领域中。视频压缩传输、模式识别、虚拟现实、多媒体通信等尖端技术的发展会改变整个人类的生活方式。
①分布式、网络化、协同工作的多媒体系统
在当前形式下,有线电视网、通信网和因特网这三网正在日趋统一,各种多媒体系统尤其是基于网络的多媒体系统,如可视电话系统、点播系统、电子商务、远程教学和医疗等将会得到迅速发展。多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布协同多媒体环境发展,在世界范围内建立一个可自由交互的通信网。一个多点分布、网络连接、协同工作的信息资源环境正在日益完善和成熟。
②三电(电信、电脑、电器)通过多媒体数字技术将相互渗透融合
多媒体技术的进一步发展将会充分地体现出多领域应用的特点,各种多媒体技术手段将不仅仅是科研工作的工具,而且还可以是生产管理的工具、生活娱乐的方式。例如信息家电新理念的提出,有人预测未来的家庭不必购买那么多名目的家用电器,而代之以一个多媒体系统。它能够提供比现在所有家用电器更多更强的服务功能,如欣赏声像图书馆的各种资料,向综合信息中心咨询、电子购物等。
③以用户为中心,充分发展交互多媒体和智能多媒体技术与设备
对于未来的多媒体系统,人类可用日常的感知和表达技能与其进行自然的交互,系统本身不仅能主动感知用户的交互意图,而且还可以根据用户的需求做出相应的反应,系统本身会具有越来越高的智能性。
④多媒体产品及多媒体技术的标准化
多媒体标准仍是研究的重点,各类标准的研究将有利于产品规范化,应用更方便。它是实现多媒体信息交换和大规模产业化的关键所在。
另外,多媒体技术与外围技术构造的虚拟现实研究仍在继续,多媒体虚拟现实与可视化技术需要相互补充,并与语音、图像识别、智能接口等技术相结合,建立高层次虚拟现实系
统。
总之,新一代的多媒体将是网络多媒体、交互多媒体、自适应多媒体。多媒体技术作为一种整体性的技术,它的研究和发展需要多方面专家的合作,它的完善与成熟将是多学科、多领域、多技术共同发展的结果。其研究将向着以下六个方向发展:
■高分辨率,提高显示质量;
■高速度化,缩短处理时间;
■简单化,便于操作;
■高维化,三维、四维或更高维;
■智能化,提高信息识别能力;
■标准化,便于信息交换和资源共享。
6.多媒体系统
多媒体系统具有强大的数据处理能力与数字化媒体设备整合能力,能处理文字、图形、图像、声音和视频等多种媒体信息,并提供多媒体信息的输入、编辑、存储和播放等功能。一个完整的多媒体计算机系统包括硬件平台和软件平台,即
1)、多媒体系统的硬件平台
即普通的计算机硬件,是系统的基础,包括大容量存储设备、声卡与音箱、视频卡、扫描仪、数码相机与数码摄像机等。
声卡的功能
声卡是多媒体设备最基本的部分,是实现声音A/D、D/A(模/数、数/模)转换的硬件电路。声卡的功能与性能直接影响到多媒体系统中的音频效果。
(1)录制和编辑音频文件
能以一定频率和精度采样声源模拟波形,并数字化和量化成数字量,以*.VOC、
*.WAV、或*.AU等各种声音文件格式存储。
(2)合成和播放音频文件
(3)压缩和解压缩音频文件
(4)具有与MIDI设备和CD-ROM驱动器的连接功能
CPU的功能
一,输入单元
用来读取给电脑处理的资料或程式
二,处理单元
用来执行计算;比较和判断等运算功能
三,输出单元
将电脑的运算结果和处理好的资料输出
四,记忆单元
用来储存资料或程式的地方
五,控制单元
按作业程序指挥上述单元的运作及交换资料通道的传送
视频捕捉卡
详细说明lx500-4|动态/静态影像撷取功能|输入信号支持AV端子及S端子|支持NTSC和PAL两种视频格式|快照单帧图像捕获,最大分辨率为720x576、24位色|支持BMP、JPG、TIF、PCX、TIF、TGA等图像格式的静态捕捉功能|可连续快照和自动存盘,并提供照片浏览和电子相册功能|录象模式还可实现传感录像功能|回放帧数可调|支持动态视频亮度、对比度、饱和度、灰度调整|提供功能全面的二次开发包(SDK),缩短系统开发周期|提供OCX控件和例子调用,范例程序原代码及其详尽的使用说明,适合VisualBasic,VisualC++,Delphi各种编程语言使用|可接4路摄像头,或通过外接4台视频分割器,实现64路摄像头的连接
2)、多媒体系统的软件平台
包括多媒体操作系统、创作系统和应用系统。多媒体的操作系统,主要任务是支持随时移动或扫描窗口条件下的运动和静止图像的处理和显示,为相关的语音和视频数据的同步提
供需要的适时任务调度,支持标准化桌面型计算机环境,使主机CPU的开销减到最小,能够在多种硬件和操作系统环境下执行。创作系统,包括开发工具,具有编辑、播放等功能。应用系统,即利用创作系统制作出的多媒体作品。
Photoshop是一种可以帮助我们迅速有效地完成各种图形处理工作的电脑软件。
扫描仪就是个把在纸上或者照片等的薄东西上的文字,或图画等的东西转换成数字图片格式的一个设备。
PowerPoint是一个专门编制电子文稿的软件,由它制作的电子文稿,其核心是一套可以在计算机屏幕上演示的幻灯片。这些幻灯片集可以按一定顺序播放,因此这是一种电子幻灯片。Powerpoint是最通用最易掌握的多媒体集成软件,专家领导常用它制作演讲稿,教师常用它制作课件,商人常用它制作演示广告。它是以页为单位制作一张张幻灯片,再集成为一个完整演示文稿或课件,能方便地制作文字、图形,加入图像、声音、动画、视频影像等多媒体素材,可设计各种演示效果,能实现鼠标操作和自动播放演示文稿,易学易用,开发时间少效率高,适宜开发演示型文稿或课件,其不足是缺少专门的交互、运动、条件判断和循环功能。
《开天辟地》是一款具有传奇色彩的电脑教育软件,采用真实环境教学,有如老师在手把手地教你使用电脑,不用看书,不需进培训班,*自己就能几分钟学会一个实例,几小时精通一个软件,几天成为电脑高手。她树立了中国教育软件的精品标准,连续多年被评为“中国十佳PC软件”。十几类教学内容,上百个课时,相当于热门培训班中的计算机基础班、Internet应用班、现代商务办公班、计算机组装维修班、平面广告设计班、Flash动画制作班和编程基础班的教学内容。
3).多媒体系统的分类
(1)按功能分类
可分为开发系统和播放系统。
■多媒体开发系统:主要用于多媒体产品的创作、开发和研究工作,系统应配置功能强大的计算机,还要配备图形图像、音频信息、视频信息的采集、编辑、存储设备及相应的编著工具。
■多媒体演示播放系统:主要用于多媒体产品的演示和播放工作,以计算机为基础,配备图形图像、音频、视频等接口控制卡和相应的外部设备,并与网络连接,完成多媒体产品的展示、传输,如教育培训系统、家庭多媒体系统、视频会议系统等。
(2)按应用范围分类
可分为信息管理咨询系统、教育培训系统、家庭多媒体系统和多媒体通信系统。
■信息管理咨询系统:主要用于对多媒体信息存储和管理,并按用户要求提供咨询服务,如各种信息查询系统、服务咨询系统(证券交易系统、交通旅游信息咨询系统等)。
■教育培训系统:集计算机多媒体教学、闭路电视系统、多媒体播控系统、计算机网络为一体,将教学培训内容用图、文、声等媒体形式生动、形象、直观地展示在学生面前,以现代化教学手段实施教学过程。
■家庭多媒体系统:为家庭提供学习、通信、游戏、娱乐等服务,使人们的业余生活更加丰富多彩。
■多媒体通信系统:指一次通信过程中同时涉及两种或多种媒体的通信。例如,可视电话同时涉及语音通信和图像通信。它通过通信网络对多媒体信息(包括文本信息、声音信息和图像信息等)进行传输、处理、存储和控制。
拓展延伸
一、流媒体技术
随着因特网的迅速普及,计算机正在经历一场网络化的革命。在这场变革中,传统多媒体手段由于其数据传输量大的特点而与现实的网络传输环境发生了矛盾,面临发展相对停
滞的危机。虽然高速的网络连接手段可以从根本上解决这个问题,但是由于网络建设和消费者拥有成本等原因,短期内还不能大范围普及。
解决问题的一个很好的方法就是采用流媒体技术。所谓"流",是一种数据传输的方式,使用这种方式,信息的接收者在没有接到完整的信息前就能处理那些已收到的信息。这种一边接收,一边处理的方式,很好地解决了多媒体信息在网络上的传输问题。人们可以不必等待太长的时间,就能收听、收看到多媒体信息。并且在此之后边播放边接收,根本不会感觉到文件没有传完的。
流媒体技术,大大地促进了多媒体技术在网络上的应用。网络的多媒体化趋势是不可逆转的,相信在很短的时间里,多媒体技术一定能在网络这片新天地里找到更大的发挥空间。
1.流媒体技术的应用
流媒体最直接的应用是实时广播服务,也就是人们常说的网上现场直播服务,它与传统媒体的播出方式相比更容易实现,费用更低。常见的流媒体技术应用有:
(1)视频点播(VOD)
目前VOD技术逐渐趋于完善,VOD技术广泛应用于局域网及有线电视网。流媒体的视频直播应用突破了网络带宽的限制,实现了在低带宽环境下的高质量影音传输,其中的智能流技术保证不同连接速率下的用户,可以得到不同质量的影音效果。
(2)视频会议
采用流媒体方式传送音视频文件,使用者不必等待整个影片传送完毕就可以实时、连续地观看,虽然在画面质量上有一些损失,但就一般的视频会议来讲,并不需要很高的图像质量。通过流媒体进行点对点的通信,最常见的就是可视电话。只要两端都有一台接入Internet的电脑和一个摄像头,在世界任何地点都可以进行音视频通信。
(3)远程教育
在远程教学过程中,最基本的要求就是将信息从教师端传到远程的学生端,需要传送的信息可能是多元的,如视频、音频、文本、图片等。将这些信息从一端传送到另一端是实现远程教学需要解决的问题,在当前网络带宽的限制下,流式传输将是最佳选择。使用流媒体的VOD技术还可以进行交互式教学,达到因材施教的目的。
(4)Internet直播
随着宽带网的不断普及和流媒体技术的不断发展,冲浪者能够在Internet直接收看体育赛事、商贸展览等。厂商可以借助网上直播形式将自己的产品和活动传遍全世界。网络带宽问题的改善促进了Internet直播的发展,Internet直播已经从实验阶段走向实用,并能够提供较满意的音视频效果。
(5)校园视频网
校园网的建设近几年来也逐渐呈现出蓬勃向上的态势,随着多媒体技术的不断发展,特别是多媒体传输技术的突破,使网络多媒体教学得以实现。现在已经有成熟的产品,用来组建校园视频网,提供实时广播、定时广播、视频点播三种通信模式。
另外流媒体技术还广泛应用于远程监控,智能法庭,交通监控,远程医疗/教学,报警系统等。
二、智能多媒体技术
多媒体技术充分利用了计算机的快速运算能力,综合处理声、文、图信息,用交互式弥补计算机智能的不足。发展智能多媒体技术包括很多方面:
①文字的识别和输入。
②语音的识别和输入。
③自然语言理解和机器翻译。
④图形的识别和理解。
滞的危机。虽然高速的网络连接手段可以从根本上解决这个问题,但是由于网络建设和消费者拥有成本等原因,短期内还不能大范围普及。
解决问题的一个很好的方法就是采用流媒体技术。所谓"流",是一种数据传输的方式,使用这种方式,信息的接收者在没有接到完整的信息前就能处理那些已收到的信息。这种一边接收,一边处理的方式,很好地解决了多媒体信息在网络上的传输问题。人们可以不必等待太长的时间,就能收听、收看到多媒体信息。并且在此之后边播放边接收,根本不会感觉到文件没有传完的。
流媒体技术,大大地促进了多媒体技术在网络上的应用。网络的多媒体化趋势是不可逆转的,相信在很短的时间里,多媒体技术一定能在网络这片新天地里找到更大的发挥空间。
1.流媒体技术的应用
流媒体最直接的应用是实时广播服务,也就是人们常说的网上现场直播服务,它与传统媒体的播出方式相比更容易实现,费用更低。常见的流媒体技术应用有:
(1)视频点播(VOD)
目前VOD技术逐渐趋于完善,VOD技术广泛应用于局域网及有线电视网。流媒体的视频直播应用突破了网络带宽的限制,实现了在低带宽环境下的高质量影音传输,其中的智能流技术保证不同连接速率下的用户,可以得到不同质量的影音效果。
(2)视频会议
采用流媒体方式传送音视频文件,使用者不必等待整个影片传送完毕就可以实时、连续地观看,虽然在画面质量上有一些损失,但就一般的视频会议来讲,并不需要很高的图像质量。通过流媒体进行点对点的通信,最常见的就是可视电话。只要两端都有一台接入Internet的电脑和一个摄像头,在世界任何地点都可以进行音视频通信。
(3)远程教育
在远程教学过程中,最基本的要求就是将信息从教师端传到远程的学生端,需要传送的信息可能是多元的,如视频、音频、文本、图片等。将这些信息从一端传送到另一端是实现远程教学需要解决的问题,在当前网络带宽的限制下,流式传输将是最佳选择。使用流媒体的VOD技术还可以进行交互式教学,达到因材施教的目的。
(4)Internet直播
随着宽带网的不断普及和流媒体技术的不断发展,冲浪者能够在Internet直接收看体育赛事、商贸展览等。厂商可以借助网上直播形式将自己的产品和活动传遍全世界。网络带宽问题的改善促进了Internet直播的发展,Internet直播已经从实验阶段走向实用,并能够提供较满意的音视频效果。
(5)校园视频网
校园网的建设近几年来也逐渐呈现出蓬勃向上的态势,随着多媒体技术的不断发展,特别是多媒体传输技术的突破,使网络多媒体教学得以实现。现在已经有成熟的产品,用来组建校园视频网,提供实时广播、定时广播、视频点播三种通信模式。
另外流媒体技术还广泛应用于远程监控,智能法庭,交通监控,远程医疗/教学,报警系统等。
二、智能多媒体技术
多媒体技术充分利用了计算机的快速运算能力,综合处理声、文、图信息,用交互式弥补计算机智能的不足。发展智能多媒体技术包括很多方面:
①文字的识别和输入。
②语音的识别和输入。
③自然语言理解和机器翻译。
④图形的识别和理解。
⑤机器人视觉和计算机视觉。
⑥知识工程以及人工智能的一些课题。
把人工智能领域某些研究课题和多媒体计算机技术很好地结合,就是多媒体计算机长远的发展方向。
三、虚拟现实
虚拟现实是一项与多媒体密切相关的边缘技术,它通过综合应用计算机图像处理、模拟与仿真、传感、显示系统等技术和设备,以模拟仿真的方式,给用户提供一个真实反映操作对象变化与相互作用的三维图像环境,从而构成一个虚拟世界,并通过特殊的输入输出设备(如数据手套、头盔式三维显示装置等)提供给用户一个与该虚拟世界相互作用的三维交互式用户界面。
虚拟现实技术结合了人工智能、计算机图形技术、人机接口技术、传感技术计算机动画等多种技术,它的应用包括模拟训练、军事演习、航天仿真、娱乐、设计与规划、教育与培训、商业等领域,发展潜力不可估量。
虚拟现实技术的应用,能对多媒体领域产生重大影响,因此我们希望能够尽快获得突破性成果,以推出功能更强大的多媒体系统,服务于人类。
1.虚拟现实的应用
虚拟现实的应用领域和交叉领域非常广泛,应用于模拟训练、军事演习、航天仿真、娱乐、设计与规划、教育与培训、商业等领域。如虚拟现实技术战场环境,虚拟现实作战指挥模拟,虚拟现实驾驶训练,飞机、导弹等的虚拟制造,虚拟现实建筑物的展示与参观,虚拟手术等等。
(1)医学
VR在医学方面的应用具有十分重要的现实意义。在虚拟环境中,可以建立虚拟的人体模型,借助于跟踪球、HMD、感觉手套,学生可以很容易了解人体内部各器官结构,这比现有的采用教科书的方式要有效得多。
另外,在远距离遥控外科手术,复杂手术的计划安排,手术过程的信息指导,手术后果预测及改善残疾人生活状况,乃至新型药物的研制等方面,VR技术都有十分重要的意义。
(2)训练
模拟训练一直是军事与航天工业中的一个重要课题,这为VR提供了广阔的应用前景。美国国防部高级研究计划局DARPA自80年代起一直致力于研究称为SIMNET的虚拟战场系统,以提供坦克协同训练;而在航天领域,利用VR技术,还可以模拟零重力环境,以代替现在非标准的水下训练宇航员的方法。
(3)辅助设计
各种工业产品、建筑物均需反复构思和设计,利用虚拟现实技术可以使设计人员不断感受设计的过程,达到身临其境的效果。美国波音公司Butler设计了一架称为VS-X的虚拟飞机,它可使设计人员有身临其境观察飞外形、内部结构及布局的效果。
(4)科学研究和计算的可视化
分子结构模型的建构、大坝应力计算的结果、地震石油勘探数据处理等,均需要三维(甚至多维)图形可视化的显示和交互浏览,虚拟现实技术为这些科学研究及探索提供了形象直观的工具。
(5)娱乐、艺术与教育
丰富的感觉能力与3D显示环境使得VR成为理想的视频游戏工具。由于在娱乐方面对VR的真实感要求不是太高,近年来VR在该方面发展最为迅猛。如Chicago(芝加哥)开放了世界上第一台大型可供多人使用的VR娱乐系统,其主题是关于一场未来战争;英国开发的称为“Virtuality”的VR游戏系统,配有头盔式显示器,大大增强了真实感;1992
年的一台称为“LegealQust”的系统由于增加了人工智能功能,使计算机具备了自学习功能,大大增强了趣味性及难度,使该系统获该年度VR产品奖。
作为传输显示信息的媒体,VR在未来艺术领域方面所具有的潜在应用能力也不可低估。VR所具有的临场参与感与交互能力可以将静态的艺术(如油画、雕刻等)转化为动态的,可以使观赏者更好地欣赏作者的思想艺术。另外,VR提高了艺术表现能力,如一个虚拟的音乐家可以演奏各种各样的乐器,手足不便的人或远在外地的人可以在他生活的居室中去虚拟的音乐厅欣赏音乐会等等。
对艺术的潜在应用价值同样适用于教育,如在解释一些复杂的系统、抽象的概念如量子物理等方面,VR是非常有力的工具,Lofin等人在1993年建立了一个“虚拟物理实验室”,用于解释某些物理概念,如位置与速度,力量与位移等。