N计算机硬件技术基础第8章课件

《N计算机硬件技术基础第8章课件》由会员分享，可在线阅读，更多相关《N计算机硬件技术基础第8章课件（77页珍藏版）》请在装配图网上搜索。

1、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,单击此处编辑母版标题样式,单击此处编辑母版文本样式,2019/1/25,,‹#›,第八章 多媒体技术,,第八章 多媒体技术,1,8.1节 多媒体技术概述,一、多媒体及其相关名词定义,1. 多媒体的定义：,文本、图像、音频、视频等混合信息。,,2.,多媒体技术定义：,,,①把文本、图像、音频、视频信息综合在一起，使用计算机对其进行加工处理的技术。,8.1节 多媒体技术概述一、多媒体及其相关名词定义,2,,a.,数字信号处理技术,b.,音频和视频技术,c.,多媒体计算机系统技术,d.

2、,多媒体通讯技术,,3. 多媒体技术的特点,,,① 多样性,,a. 数字信号处理技术,3,,a.,信息表示的多样性,b.,信息载体或介质的多样性,c.,多媒体应用技术的多样性,,②,数字化,因为计算机只能处理数字化的信息。所以那些声音和图像必须转化为数字化的形式才能使用与处理。,a. 信息表示的多样性,4,,③,集成性,a.,多媒体信息的集成。多媒体文本。,b.,多媒体介质或设备的集成,,③交互性,,④实时性,,③ 集成性,5,4.多媒体技术的应用 （见书上,P217,）,①,②,③,④,⑤,,4.多媒体技术的应用 （见书上P217）①,6,二、多媒体计算机,1.多媒体计算机定义,能处理多媒

3、体信息的计算机。,,2.多媒体计算机系统,,能对多媒体信息进行获取、编辑、存取、处理、加工和输出的一种交互性的计算机。,,二、多媒体计算机1.多媒体计算机定义,7,3. 多媒体计算机涉及的关键技术,①数据压缩技术,②网络与通讯技术,③多媒体数据库技术,④大规模集成电路技术,⑤人机交互设备技术和多媒体软件技术,,3. 多媒体计算机涉及的关键技术①数据压缩技术,8,三、多媒体数据压缩和编码技术,1. 概述,①无损压缩,利用原始信息的冗余，用简洁的方法来表示这些去除冗余的信息。,,②有损压缩,利用人视觉，听觉的不敏感，舍弃一些非主要的细节，使其还原时仍有满意的质量。,三、多媒体数据压缩和编码技术1.

4、 概述,9,,2. 文本文件的压缩,主要是无损的冗余压缩技术。,,3.,图形文件的压缩,可以是无损的冗余压缩，也可以有损的算法压缩。,,2. 文本文件的压缩,10,,①,JPEG,(Joint Photographic Experts Group),,②负责,静态和数字,图象压缩编码标准。,③用于灰度和彩色图象,,④两个算法,,a.,有损压缩,,b.,无损压缩 （见书上,P220),,①JPEG(Joint Photographic Exper,11,4.视频文件压缩,①四种常用的视频文件格式,a.Video for Windows *.avi,b.Quick Time

5、*.mov,c. MPEG-1 *.mpg,d. MPEG-2 *.mpg,,注：非常流行的,Real-Networks,的,RM,格式文件，因为使用的版权问题，所以不做讨论。,4.视频文件压缩①四种常用的视频文件格式,12,,②减小视频文件的其它途径。,a.,减少每秒钟播放的帧数。,,b.,减小播放尺寸。,,c.,计算只对,帧差别,变化的内容编码。,VCD,,注：帧间图像压缩技术,②减小视频文件的其它途径。,13,,③,MPEG,动态图象压缩标准,（,Moving Picture Experts Group,,MPEG-1:,码率为,1Mbit/s, 1.5Mbit/s,帧内采

6、用,JPEG,大体相同的,DCT,压缩算法。,帧间采用预测法和插补法压缩。,,③MPEG 动态图象压缩标准,14,,b. MPEG-2:,每秒,30,帧 720,X480X60,隔行,(NTSC),每秒,25,帧 720,X576X50,隔行,(PAL),,扩展模式可达到1440,X1152 HDTV,高清电视信号,,,其压缩算法和,MPEG-1,基本相同。,,b. MPEG-2:,15,,c. MPEG,分为,MPEG,视频、,MPEG,音频、视频音频同步三个部分。,,注：现在推出了,MPEG-4,,c. MPEG分为MPEG视频、MPEG音频、视频音频同步三,16,⑤国际电联的,H.261

7、,和,H.263,a.,采用基于块的,DCT,进行残差信号的压缩编码,,b.,像素的每个,8X8,快映射到频域产生,64,个频率成分。,⑤国际电联的H.261和H.263a. 采用基于块的DCT进,17,四、多媒体系统的数据和文件格式,1. 图形图象和视频表示,①位图格式,a.,把一幅图象看成是由很多象素点构成的。,,b.,每个象素点用一个数字来表示它的颜色。（其实指的调色板的编号）,四、多媒体系统的数据和文件格式1. 图形图象和视频表示,18,,c.,单色图象每个象素只要一位二进制数，也就是一个,bit。,所以图象的象素总数和,bit,总数是一样的。,640,X480=307200,图象

8、=307200,bit.,,若换算成字节数 307200/8=38400,Bytes,,,d. 256,色的图象每个象素要八位二进制数，,c.单色图象每个象素只要一位二进制数，也就是一个bit。所,19,②矢量图,a.,矢量图象是一系列可以重构图象（,redraw),的指令来表示的。最典型的画线。不同的算法指令描述了不同的图形。,,b.,矢量图象一般比位图图象占用存储空间小，其大小依赖于图象的复杂程度。,,c.,矢量图形容易修改。比如改变圆半径,。,②矢量图a.矢量图象是一系列可以重构图象（redraw)的指,20,③灰度图和彩色图,a.,单色图象只用一个,bit,表示象素。要么亮（有色），要

9、么暗（无色）。,,b.,其实在亮与暗之间可以分很多层次（亮度）。用一个八位二进制数可以分成256层亮度。那样的单色图象叫灰度图。（例：黑白照片）,③灰度图和彩色图a.单色图象只用一个bit表示象素。要么亮（,21,,c.,彩色图用三个单色灰度图,RGB,合成。,如果每个单色都是8位，那样每个象素要,8,X3=24,位，又称真彩色图象。1677万色,,d.,所以位图图象主要由分辨率和象素深度决定。,,注：通过抖动技术（合并相近颜色）可以减少图象的颜色数量，可以减小文件。,c.彩色图用三个单色灰度图RGB合成。,22,④数字视频（,digital video,）,a.,基于数字技术的图象显示标准，

10、将模拟视频信号转换为数字化视频信号，以文件形式存放在计算机中。,,b.,直接用数字摄像机生成。,,④数字视频（digital video）a. 基于数字技术的,23,2.常见的图形图象和视频文件格式,见,P24,①,BMP,位图文件（静态图象文件）,a.,是微软公司为,Windows,环境设置的标准图象格式。在,PC,机上最流行。,b.Windows 3.0,以后的位图文件格式与显示设备无关。,c.,非压缩格式的,BMP,是通用格式，最流行。,d. BMP,文件分为两个部分：,文件头和图象数据,2.常见的图形图象和视频文件格式,见P24①BMP位图文件（,24,②,PCX,文件（静态图象文件）

11、,a.,最早用于画笔(,PaintBrush),软件。,,b.,是一种压缩过的图象文件。（无损压缩,）,②PCX文件（静态图象文件）a.最早用于画笔(PaintBr,25,③,GIF,文件（静、动态图象文件）,a.,是由,CompuServe,公司1987年推出的。,是一种小巧的文件，主要用于网络和,BBS,用户浏览。,,b.,采用压缩的，多帧图象结构。里面有个控制块，可以控制播放时间。,,③GIF文件（静、动态图象文件）a. 是由CompuServ,26,④,JPEG,文件（静态图象文件）,a.,联合影象专家组开发。,,b.,最广泛使用的图象文件格式。,,c.,有损压缩。可控制压缩率。,,,

12、④JPEG文件（静态图象文件）a.联合影象专家组开发。,27,⑤,PNG,文件（便携式网络图片）,a.,支持,256,色调色板技术以产生小体积文件,,b.,最高支持,48,位真彩色图像以及,16,位灰度图像。,,c.,支持存储附加文本信息，以保留图像名称、作者、版权、创作时间、注释等信息。,,d.,使用无损压缩,,⑤PNG文件（便携式网络图片）a.支持256色调色板技术以产,28,,e.,渐近显示和流式读写，适合在网络传输中快速显示预览效果后再展示全貌。,,f.,使用,CRC,循环冗余编码防止文件出错。,,g.,最新的,PNG,标准允许在一个文件内存储多幅图像。,e.渐近显示和流式读写，适合在

13、网络传输中快速显示预览效果后再,29,⑥,TIFF,文件（标签图像文件格式）,a,（,Tagged Image File Format,，简写为,TIFF,）是一种主要用来存储包括照片和艺术图在内的图像的文件格式。,,b.,它最初由,Aldus,公司与微软公司一起为,PostScript,打印开发。,,c.TIFF,与,JPEG,和,PNG,一起成为流行的高位彩色图像格式。,⑥TIFF文件（标签图像文件格式）a（Tagged Imag,30,,d.,如,Adobe,公司的,Photoshop,这样的桌面印刷和页面排版应用，,,e.,扫描、传真、文字处理、光学字符识别和其它一些应用等都支持这种格

14、式。,,f.,从,Aldus,获得了,PageMaker,印刷应用程序的,Adobe,公司现在控制着,TIFF,规范。,.,,d.如Adobe公司的Photoshop这样的桌面印刷和页面,31,⑦,WMF,文件（静态图象文件）,a.,是微软为,Windows,提供的另一种图形文件格式。,,b.,是一种矢量图形格式。*.,wmf,文件后缀。,,c.,⑦WMF文件（静态图象文件）a.是微软为Windows提供的,32,⑧,RIFF,文件(资源交换文件格式）,a.Resources Interchange File Format,，,RIFF,文件是,windows,环境下大部分多媒体文件遵循的一种

15、文件结构,,RIFF,文件所包含的数据类型由该文件的扩展名来标识。,,b.,能以,RIFF,文件存储的数据包括：,音频视频交错格式数据（,.AVI),波形格式数据（,.WAV),⑧RIFF文件(资源交换文件格式）a.Resources I,33,,位图格式数据（,.RDI),MIDI,格式数据（,.RMI),调色板格式（,.PAL),多媒体电影（,.RMN),动画光标（,.ANI),其它,RIFF,文件（,.BND),,c.,是一种基础文件,,,对多媒体提供支持。,位图格式数据（.RDI),34,⑨,AVI,文件（动态影象文件）,a.,是微软开发的一种,RIFF,文件格式。,,b.,用于实现数

16、字视频和音频的同步化。,⑨AVI文件（动态影象文件）a.是微软开发的一种RIFF文件,35,⑩,Indeo,文件,(,动态影象文件）,a.Intel,开发的一种动态图象的压缩标准。,常见的有,4.5,和,5.10,两种。可以适应不同带宽的网络，但必须有相应的解码插件才能顺利地将下载作品进行播放。,,b.,适合于装了,Intel,公司,MMX,以上,CPU,的机器，回放效果优秀。不安装,MPEG-1,回放卡,,,⑩Indeo文件(动态影象文件）a.Intel开发的一种动态,36,,c.,动态影象文件*.,avi,和*.,mov,都用到了,Indeo,的格式。,,c.动态影象文件*.avi和*.m

17、ov都用到了Indeo的格,37,⑪,MPEG (,动态影象文件）,a.,运动图片专家组开发。,,b.MPEG-1,,包含,MPEG,视频，音频和系统同步三部分。,早期的,VCD,采用这个格式。,⑪MPEG (动态影象文件）a.运动图片专家组开发。,38,,c. MPEG-2,,采用720,X572,,可扩展1440,X1152,高清电视信号。,,DVD,采用这个格式。,c. MPEG-2,39,⑫,MOV,文件（动态图象文件）,a.,苹果公司开发的动态影象文件。,,b. *.mov,经常用于,DC,的摄象。可以转换的,。,,,⑫MOV文件（动态图象文件）a.苹果公司开发的动态影象文件。,40

18、,⑬,MIDI,文件（音乐文件）,a.,音乐文件格式有两种。（声波和乐器）,,b. MIDI,是乐器演奏文件。,⑬MIDI文件（音乐文件）a. 音乐文件格式有两种。（声波和,41,⑭,RTF,文件（多态文本格式文件）,a.,提供格式信息的文本。（,Rich Text),,b. Windows,中写字板和,WORD,都支持的。,,c.,最初用于文本编辑，因为提供连接对多媒体对象支持。,,⑭RTF文件（多态文本格式文件）a. 提供格式信息的文本。（,42,8.2节 音频技术,一、数字音频的基本概念,1.声音的定义,①,声波是周期性的振荡信号。,a.,频率表示：声音的尖度,b.,振幅表示音量的大小

19、,,②,实际看到的时域波形是,各种频率声波,的合成，比较杂乱的样子。,8.2节 音频技术一、数字音频的基本概念,43,2.,声音的分类 见书上,P229,①,按频率划分。,,②,原始声源划分。,,③,按存储形式划分。,2.声音的分类 见书上P229①按频率划分。,44,3.,音频,①人耳能听到的,20Hz,到,20KHz,的声波。,,②其中人耳对,2KHz,的音频最为敏感。,3.音频①人耳能听到的20Hz到20KHz的声波。,45,4.,模拟音频,在时间和幅度上都是连续变化的声音信号，,自然界的各种声音，大都是这样的模拟音频信号,。,4.模拟音频 在时间和幅度上都是连续变化的声音信

20、号，,46,5.,数字音频,用一定的时间间隔对模拟音频进行采样，并对,采集到的幅度值进行数字量化编码。这样得到的,时间和幅度上断续的、数字量化后音频信号。,,①波形音频,把以上通过一定的采样频率采样，数字量化后,的声音信号，以数据文件格式,存储。*,.wav,5.数字音频 用一定的时间间隔对模拟音频进行采样，并对,47,,②,MIDI,音频,是一种用于在音乐合成器、乐器和计算机之间,交换音乐信息的标准协议。它其实是一套指令，,指示,MIDI,设备或带,MIDI,接口的乐器，怎样来还原,、演奏音乐的声音。 文件格式为 *,.mid,,②MIDI音频,48,二、音频数据的采样和处理,1.,

21、录音,以直接自然的振动信号的声波作为音源，用,麦克风这样的拾音器，从一个振动的音源获取波,形信息，将其转化为电信号形式，然后对这个电,信号进行记录的过程。,,a.,模拟录音,b.,数字录音,二、音频数据的采样和处理1.录音,49,2.,采样,,以一定的时间间隔对声音信号的幅度进行测量,，得到离散化的幅值。 见书上,P231,图,8.4,,①,采样的频率越高，还原的波形越逼真。常用的采样频率有,44.1KHz,，,22.05KHz, 11.025KHz,等。,,②,采样频率越高，样本值越多，文件就越大。,2. 采样 以一定的时间间隔对声音信号的幅度进行测量,50,3.,量化,,把采样采集到的

22、声音样本值，用数字化的量化,值处理。,,①,计算机用模,/,数转换器,(A/D),实现音频的数字化。,,②,A/D,转换器的位数，决定了量化的精读。位数越高。最后形成的文件越大。,3.量化 把采样采集到的声音样本值，用数字化的量化,51,3.,编码,对声音信号采样、量化的结果以一定的格式,进行表示、记录的过程。 通常会加入一些用于,控制的代码。,,①音频的编码有三种类型 （书上,P233,）,,a.,波形编码,b.,参数编码,c.,混合编码,3.编码 对声音信号采样、量化的结果以一定的格式,52,4.,数字音频信号质量的技术指标,,①,采样频率,②,样本的量化等级,③,通道个数,④编

23、码方式,,4. 数字音频信号质量的技术指标,53,5.,数字音频的存储空间,①未经压缩的数字音频文件,,存储容量 ：,,采样频率,x (,转换精度,/8) x,声道数,x,时间,5. 数字音频的存储空间①未经压缩的数字音频文件,54,,b.MIDI,文件只是个音乐符号系统。代表着用来重构声音的指令。本身不发声音。,,c.,需要声卡来根据,MIDI,指令实现发声。,,d.MIDI,文件一般非常小，文件以*.,mid, *.cmf,*.rol,等作后缀。,b.MIDI文件只是个音乐符号系统。代表着用来重构声音的指令,55,三、语音识别技术,,三、语音识别技术,56,四、音频处理的硬件和软件,1.,

24、声卡的定义,,实现声波,/,数字音频相互转换的部件。,,计算机中记录和播放声音的硬件设备。,,2.,声卡的工作原理,见,P236,图,8.6,,注：漏了几根关键的箭头线,四、音频处理的硬件和软件1.声卡的定义,57,,3.,声卡的类型,,①适配卡式,,②主板集成式,,③外置式,3.声卡的类型,58,4.,声卡的结构,①,大部分,声卡都集成在主板上了，适配卡式的声,卡结构也比较简单，主要就是一片声音处理芯片。,,②,主要看到的是声卡的外部接口。见书上,P237,a.,麦克风输入,b.,扬声器输出,c.,线路输入,d.,线路输出,4. 声卡的结构①大部分声卡都集成在主板上了，适配卡式的声,59,,

25、e.,游戏,/MIDI,接口,,,e.游戏/MIDI接口,60,5.,声卡的性能指标,①,A/D,和,D/A,的转换位数。8位和16位。,,② 采样频率,a. 11KHz 8bit Mono PCM,b. 22KHz 8bit Stereo PCM,c. 22KHz 16bit Stereo PCM,d. 44KHz 16bit Stereo PCM (,标准,CD,音质）,5.声卡的性能指标① A/D和D/A的转换位数。8位和16位,61,,③,MIDI,功能,MIDI,只是一种指令，要形成电脑音乐必须通,过合成。,a.FM,合成 （早期使用，简单，表现一般。）,,b.,波形表合成,把各

26、种真实乐器声音采样制成一个波表文件。,用,ROM,存放波形数据，效果逼真。,③MIDI功能,62,,④,信噪比,SNR,,信号和噪声的振幅之比。,⑤支持的声道数,,⑥数字信号处理，,,使用数字信号处理,DSP,技术实现回声，和弦等音效。,④信噪比 SNR,63,6.,声卡的选购。见书上,P239,,7.,声音处理软件 见书上,P239,①,MP3,音乐,a.,一种音频压缩的数字声音技术,,b.,其核心技术是利用人耳朵的不敏感性，以牺牲某些细节达到数据压缩的目的。,6. 声卡的选购。见书上P239,64,8.3节 数字视频技术,一、视频的基本概念,1.,视频的制式,①,PAL,,②NTSC,8

27、.3节 数字视频技术一、视频的基本概念,65,2.,视频的数字化,视频信号的数字化和音频信号类似，也是采,样捕获，数字量化转换，编码保存。,,,3.,视频编辑,使用各种软件对数字化视频信号进行处理。,2.视频的数字化 视频信号的数字化和音频信号类似，也是采,66,二、视频采集卡,1.一种适配卡，用于将模拟摄象信号转换成数字视频信号的装置。,,2.,视频采集卡的工作原理与分类。 书上,P241,3.,视频采集卡的性能指标。 书上,P242,,注：现在,DV,DC,非常便宜普及。一般可以直接生存数字化的视频信号。,二、视频采集卡1.一种适配卡，用于将模拟摄象信号转换成数字视,67,三、视频数据

28、的采集和处理,1.,视频采集,,2.,视频编辑,,3.,视频输出,,三、视频数据的采集和处理1.视频采集,68,四、流媒体,,一种可以使音频、视频和其他多媒体能在网络,上一实时的，无需下载等待的方式进行播放的技,术。,1.,流媒体的组成,①流媒体开发工具,②流媒体组件,③流播放器,四、流媒体 一种可以使音频、视频和其他多媒体能在网络,69,2.,流媒体常见的文件格式 （书上,P245,）,①,ASF,②FLV,③RA/RM/RMVB,④MOV,⑤SWF,⑥WMA,⑦MP3,⑧3GP,2.流媒体常见的文件格式 （书上P245）①ASF,70,五、视频处理软件,1.,视频编辑软件,,,2.,

29、视频文件格式转换软件,五、视频处理软件1.视频编辑软件,71,六、多媒体的质量和带宽问题,1. 声音： （时域信号）,①采样频率：,频率越高，保真度越好，容量大,,②幅度的,A/D,转换位数：,位数越多，变化越精细。,,六、多媒体的质量和带宽问题1. 声音： （时域信号）,72,2. 视频,①分辨率,像素或线数。 1024列,X 768,行,,②定义色彩的位数。,RGB,,③每秒钟播放的帧数。60帧/秒，逐/隔行,,2. 视频①分辨率,73,8.4节 虚拟现实,一、概述,1.定义：,用计算机技术生成一个逼真的现实世界。,,2. 提供用户视觉、听觉、触觉的真实感受。,,3. 是多媒体技术的最高境界。,8.4节 虚拟现实一、概述,74,,4. 主要技术特征 见书上,P247,①多感知性,②浸没感,③交互性,④构想性,4. 主要技术特征 见书上P247,75,二、,虚拟现实设备,三、,虚拟现实技术的分类,,四、典型的虚拟现实处理软件,二、虚拟现实设备三、虚拟现实技术的分类,76,8.5,节 实例,,8.5节 实例,77,