数字图书馆与元数据-上海图书馆专业门户课件

《数字图书馆与元数据-上海图书馆专业门户课件》由会员分享，可在线阅读，更多相关《数字图书馆与元数据-上海图书馆专业门户课件（93页珍藏版）》请在装配图网上搜索。

1、Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,,‹#›,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,,,*,数字图书馆与元数据,上海图书馆系统网络中心 赵亮,概念与要点,,,数字图书馆的定义,从不同的概念

2、演变而来,电子图书馆、网络图书馆、虚拟图书馆、没有围墙的图书馆、图书馆数字化等等,尚无一个全球范围公认的定义,,,,,数字图书馆的定义,定义一：,利用数字技术获取、存储、存取、发布信息的图书馆,定义二：,数字图书馆为国家信息基础设施提供关键性信息管理技术，同时提供其主要的信息库和资源库。换句话说，数字图书馆是国家信息基础设施的核心。,,,,,,数字图书馆的定义,美国研究图书馆协会的定义,1、 数字图书馆并不是一个单一的实体；,2、 数字图书馆需要技术支持；链接许多信息资源；,3、 多个数字图书馆及信息机构之间的链接对终端用户透明；,4、 全球范围的对数字图书馆与信息服务的获取是一个目标；,5、

3、 数字图书馆的收藏不仅限于文献的替身，她还把不能以印刷形式代替和传播的人工印刷品数字化，加以收藏,。,,,,Definition,The digital library is not a single entity,The digital library requires technology to link the resources of many,The linkages between the many digital libraries and information services are transparent to the end users,Universal access

4、 to digital libraries and information services is a goal,Digital library collections are not limited to document surrogates: they extend to digital artifacts that cannot be represented or distributed in printed formats,(ARL, 1995),,,数字图书馆的定义,中国数图工程规划的定义：,是采用现代高新技术所支持的数字信息资源系统，将成为下一代互联网网上信息资源的管理模式，可从

5、根本上改变目前网上信息分散、不便使用的现状。可以说，数字图书馆是运行在互联网上超大规模的、便于使用的、没有时空限制的知识中心。,,,,,数字图书馆的要点,数字化资源(多媒体),网络化分布化的体系结构,统一的透明的用户接口,全球化（非单一实体）,元数据与对象管理,新的服务体系与模式,,,,,数字图书馆的结构,KW,结构,数字对象（Digital Object),键元数据、数字资料、调度码,,数字对象仓库(Repositories),,元对象（Meta Object),,,,图书馆自动化系统管理/服务模式,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

6、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,书刊资料库,（物理馆藏）,书目索引等,二次文献,,,,,,,,,,,,,,,,,,,

7、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,图书馆管员,,,,,,,,,,,,,,读者,,,图书馆,自动化,系统,,,人工获取,索引与对象间无完整性保证,,,,数字图书馆的结构-IBM,,检索数据,(,Search Data),,,Library,Server,,,,,,,,,,,,,,,,,,,,,,,,,,查询(,SEARCH),访问入口,客户端,(,ACCESS,Client),,存储(,STORE),,,,,,,,,,,,对象内容,(,Content Objects),,,,,

8、,IBM,Digital,Library,,,,,,,,,,,,,,读者,光盘库或磁带库,,,数字图书馆的结构体系,国家图书馆,,,数字图书馆的实践,国际,数字图书馆先导计划（,DLI 1、2）,美国回忆和美国国家数字图书馆计划（,NDLP）,国内,中国试验型数字图书馆项目,中国数字图书馆工程,,,,,美国DLI计划,由美国科学基金会,NSF、,国防部高等技术开发署,DARPA、,美国航空航天总署,NASA,等单位联合资助,,DLI-1 ($24M, 1994.9~1998.9),,DLI-2 ($40M~$50M, 1999~2003),,,,,,环境规划与多媒体信息系统（加州大学伯克利分校

9、）,图象和空间参考信息综合服务的分布式数字图书馆（加州大学圣巴巴拉分校）,集成声音、图象和语言理解技术, 创建和搜索数字视频图书馆--Informedia(卡内基·梅隆大学),综合性科学文献数字图书馆(伊利诺大学厄尔巴那分校),智能信息搜索引擎（密歇根大学）,各类数字图书馆网络综合集成机制--,InfoBus (,斯坦福大学),,DLI1,研究项目,,,DLI-2,在规模、范围、内容和方向上的显著变化,受资助单位大幅度增加,在过去纯研究的风格外，增加了面向实际问题的研究和开发,除保留了传统的体系结构、信息检索、互操作主题之外，一些新的研究主题受到关注，如：信息保藏、添加声音、建立和维护数字图书

10、馆的实际问题、与医疗有关的电子病历、医学图象等,与情报学的联系密切,地理信息核医学情报是众多项目的交汇点,,,美国回忆与NDLP计划,美国回忆（American Memory）由美国国会图书馆实施，主要内容为特色历史资源数字化。（1989,-1995),,美国国家数字图书馆项目（,NDLP）,是美国回忆的后续项目，目标是2000年数字化美国国会图书馆的500万件藏品。（1994-)计划总投资6000万美元。,,,,数字图书馆的实践（国内）,中国试验型数字图书馆项目,1996年倡导，1997年立项，2001年结题,国家图书馆、上海图书馆、南京图书馆、深圳图书馆、辽宁省图书馆、中山图书馆、桂林图书

11、馆,,,数字图书馆的实践（国内）,中国数字图书馆工程,一期规划（2000-2005）,指导思想：,统筹规划，需求牵引，科技创新，滚动发展。,建设原则：,公益性为主、资源建设为核心、统一标准规范、开放建设与利益共享、开发与引进相结合,,,,,数字图书馆的实践（国内）,中国数字图书馆工程,建设目标：,在互联网上形成超大规模的、高质量的中文数字资源库群，并通过国家骨干通信网向全国及全球提供高效服务；总体技术与国际主流技术接轨。建设一批中文多媒体资源库，总容量不低于20,TB；,联合引进若干国内需要的国外专题资源库；实现全国大部分地区图书馆文献资源的联合采编及馆际互借；完成开发具有中国特色的数字图书馆

12、智能应用系统；培养一批高水平的专业人才队伍，持续发展中国数字图书馆工程。,实施步骤：,准备和实验阶段（2000年）,初步实用阶段（2001-2002年）,规模型成长阶段（2003-2005年）,,,,,,,数字图书馆五大功能（IBM）,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,内容发布,内容查询,&访问,内容创建,&提取,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

13、,,,,,,,,,存储,&管理,,?,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Right Managment,权限,管理,,,数字图书馆主要技术内容,馆藏资源数字化,海量数据的建库与维护,数字对象的存取和获得,图书馆服务的网络提供,版权管理,,,,数字资源标识体系,文件系统,URL,PURL,URN,DOI,其他…...,,,,DOI,的实例,<,DIR>./,10.156 /,catalog-96,Publisher ID,assigned by,DOI Agency,Item I

14、D,assigned by,Publisher,,10.1048 / 872,,10.1532 /,PII,,10.18698 /,SICI,,,,,,,,,,,,,,,,,,,,用户,Handle,System,,,,,,,,,出版者或其他资源提供者,,DOI,DOI和URN等的操作模型,,,基于内容的检索,文本,-,最成熟,,,实用化,图象,-,通过色彩,,,底纹,,,形状,视频,-,自动侦测析出关键帧,音频,-,语音识别,,,,,,,Query By Image Content,Search images as human sees them,,color mixture,,,,shap

15、e,position,,,average color,texture,Or use an image as an example,--”show me more like this”,,,组,合检索,ultisearch,,,,,,“,Cardin or Dior”,Query,Type = suit,Price < $450,Text Content Search,,Catalog Search,,,,Pattern,Color,Image Content Search,,Image,Full Text,Catalog,,,,This beautiful suit by Cardin

16、is available in our new winter collection.,Item #: 12345,Type: suit,Price: $450,Size: L, M, S,,,,,,多媒体信息检索—,Informedia,自动分析视频、音频、隐含的标题、场景变换和其它信息,其特色在于:虽然个别模式的分析只能得到不完美的信息，但是组合所有模式提供的信息却能得到非常优异的效果,向,Informedia,数字图书馆馆藏中增加新的素材,将视频素材分割到各主题部分中,通过音轨语音的识别、视频流隐含标题的识别来,标识每个部分相关的文本,各种自然语言处理工具产生合适的索引纪录,用户可以用多

17、模式中的任何一种形式提出,查询要求,多模式信息检索体现优异的效果,,,电视节目的智能浏览,Excerpted from Dr, Zhnag Hongjiang’s,新一代多媒体检索,,自动分类,文本总结,电视台发出的或经语音识别得到的文本,关键帧检测,人脸检测和识别,,,数字图书馆建设所涉及的标准,,数字对象及存储标准（字符集、编码标准、媒体格式等）,信息结构表达与交换标准（元数据标准）,信息查询与显示标准（,Z39.50、,虚拟联合目录及馆际互借协议）,信息安全与应用服务标准,,,,元数据简介:什么是元数据,数据的数据 (Data about data,),结构化数据 (,Structure

18、d data),资源的信息 (,Information about a resource),编目信息 (,Cataloguing information),管理、控制信息（Administrative information),,,元数据的种类,,管理型元数据,结构型元数据,描述型元数据,,,描述性元数据的层级,描述能力,低,高,,,常用的描述型元数据标准（或规范）,,MARC,DC,TEI,EAD,FGDC,CIMI,GILS,,,,编码与著录,SGML,HTML,XML,RDF,其他方式,,,,标记语言,SGML,（,结构化、规范、复杂、描述能力强、需要,DTD）,HTML,,（,半结构化

19、、不断变化发展、描述能力差、单一,DTD）,XML,（,结构化、规范、简洁、描述能力强、,DTD可选,）,,,,标记语言实例,HTML,实例：,<,html>,,,,张三,,系统网络中心,<,br>,上海图书馆,,,结果显示：,,,张三,系统网络中心,上海图书馆,,,,XML,实例：,<,?XML version=“1.0” encoding=“GB2312”?>,<,职工>,<名字,>张三,<,部门>系统网络中心,,<单位,>,上海图书馆,,,标记语言实例,,,更复杂的,XML实例：,

20、 encoding="GB2312"?>,<,将帅>,陈伯钧,陈国懋,<,filename>523173918.jpg,1910年11月26日,1974年2月6日,四川省达县河市乡,北京高等军事学院院长,上将,1955年,1955年一级解放勋章,陈 伯 钧　(1910-1974),陈伯钧，原名陈国懋，字少达。中国人民解放军高级将领。1955年被授予上将军衔，荣获一级八一勋章、一级独立自由勋章、一级解放勋章。......,,,标记语言实例,,,SGML—MARC Example,<,Leader>,data omitted,,,,,,

21、le”,>,,,Fosdick, Howard,.,,,,,,Computer basics for libraries and information scientists/,,,,Howard Fosdick; with a forward by F. Wilfrid Lancaster,,,,,(Adapted from “SGML and the USMARC Standard,” Technical Services Quarterly (15(3), 21ff)),,,,SGML—TEI E

22、xample,,Modified from TEI header created by the University of Virginia Library Cataloging Services Department:,,,,,A summary view of the rights of British,,America:,[,a machine-readable transcription,],,,,Jefferson.Thomas, 1743-1826,,,,,,Approx.,44 Kilobytes,,,,,,University of Virginia Library,,,,Ch

23、arlottesville, Va.,,,,,,Available from: Oxford Text Archive,,,,/,,,,,,1993,,,,,,,,XML语言的三要素,,,,,,,,,,,,style sheet,rendering,software,document with XML markup,formatted,document,,DTD,,,Client,Server(s),,,XML,语言的三要素,DTD,或,XML Schema,Document Type Definition,文件类型定义,XSL,eXtensible Stylesheet Language,可

24、扩展样式语言,XLINK,eXtensible Link,可扩展链接语言,,,,The XML Namespace （,命名域）,Definition Form:,,Example namespace definition:,,,Example Use,<,Description xmlns:ddc=“http:// www.ddc.org/”>, 025.316 ,,,,,互操作性与RDF,互操作性：由元数据语义及结构不同所引起的难题。,解决方法:,根据元数据之间的对应关系（mapping)进行相互转换,核心元数据集 - 如,Dublin Core,支持异构的资源检索,RDF,,,资源描述框

25、架,(,Resource Description Framework),数据描述模式而且采用基于,XML,的句法,提供语义、结构、句法三个层次的互操作能力,模块化的互操作能力,有些数据化信息需要不同的元数据描述，RDF对集成这些元数据非常有用,什么是RDF？,,,RDF,是一个与任何特定语法无关的抽象的资,源,表达模式，用来反映资源（Resource）、,属性（Property,）,与属性值（Value,）,资源,resource,属性,property,属性值,value,,语句,statement,什么是,RDF？,,,换言之…,,“,张三是由以下网址所标识的资源的作者,：,”,,99-3

26、/p22.htm,作者,,author,张三,什么是,RDF？,,,,99-3/p22.htm,作者,,author,张三,<,rdf:RDF>,,,<,rdf,:Description,about=” Framework Container,,Metadata Container,Package (Dublin Core),Package (Geospatial),Package

27、(,Indirect,),Package (Access Terms),URI,From: Daniel, Lagoze,,,什么是,Dublin Core,元数据,,1995年3月，由OCLC,与,国家超级计算应用中心（NCSA,）,联合发起，52位来自图书馆界、电脑网络界专家共同研究产生。目的是希望建立一套描述网络电子文献的方法，以便网上信息检索。其中心议题是如何用一个简单的元数据记录来描述种类繁多的电子资源，使非图书馆专业人员都能够了解和使用著录格式，来描述网上资源。,至今已开过七次研讨会，第九次将于2001年在日本举行。每次会议都有一些具体的成果和决定。如第四次会议在澳大利亚堪培拉举行

28、，会上发布3种修饰词，故称为堪培拉修饰词。,,,,十五个基本元素,简单清晰的语义定义,应用面广 （DLO对象）,易于,伸缩与扩展,扩展的DC,TYPE(Subelement),SCHEME,LANGUAGE,三种形式,事实上的工业标准 -- RFC2413,,广泛的支持与应用,已成为美国国家标准（,Z39.85),什么是,Dublin Core,元数据,,,DC元素 (都柏林核心集),,内容描述 知识产权 外形描述,,题名,Title,创建者,Creator,日期,Date,主题,Subject,出版者,Publisher,类型,Type,说明,De

29、scription,其他责任者,Contributor,款式,Format,来源,Source,权限,Rights,标识,Identifier,语种,Language,关联,Relation,覆盖范围,Coverage,,,DC,的特点,所有的元素都是可选的,所有的元素都是可重复的,元素的排列没有先后次序,具有良好的扩展性,全球化,,,DC扩展 (都柏林核心集),旨在通过使用修饰词进一步明确元数据的特性（比如一个日期可以作进一步的描述，如发表日期和修改日期）,DC允许各个地方应用系统在15个基本元素的基础上增加新的元素或新的修饰词，但应坚持互操作性的原则，同时提请DC大家庭注意，以便纳入新的D

30、C规范,,,DC:Title（题名）,A name given to the resource,赋于资源的名称,,,,DC:Creator（创建者）,An entity primarily responsible for making the content of the resource,创建资源内容的主要责任者,,,DC:Contributor（其他责任者）,An entity responsible for making contributions to the content of the resource,对资源内容创建作出贡献的其他责任者,,,,DC:Publisher（出版者）,

31、An entity responsible for making the resource available,使资源成为可获得状态的责任者,,,DC:Date（日期）,A date associated with an event in the life cycle of the resource,与资源本身生命周期中的一个事件相关的日期,,,,DC:Relation（关联）,A reference to a related resource,对相关资源的参照,,,,DC:Source（来源）,A reference to a resource from which the present

32、resource is derived,对一个资源的参照，当前资源源自这一参照资源,,,DC:Description（描述）,An account of the content of the resource,对资源内容的说明,,,DC: Subject（主题）,The topic of the content of the resource,有关资源内容的主题描述,,,,DC:Type（类型）,Nature or genre of the content of the resource,有关资源内容的特征和类型,,,,DC:Format（格式）,Physical or digital man

33、ifestation of the resource,资源的物理或数字表现形式,,,DC:Identifier（标识符）,An unambiguous reference to the resource within a given context,在特定范围内给予资源的一个明确的标识,,,DC:Language（语种）,A language of the intellectual content of the resource,描述资源知识内容所使用的语种,,,DC:Coverage（覆盖范围）,Extent or scope of the content of the resource,资

34、源内容所涉及的范围,,,DC:Rights（权限）,Information about rights held in and over the resource,有关资源本身所有的或被赋予的权限信息,,,多媒体与数字化,上海图书馆系统网络中心 赵亮,概念与要点,,,多媒体的基本概念,多媒体定义,指能够同时获取、处理、编辑、存储和展示两个以上不同类型信息媒体的技术。,多媒体技术,计算机综合处理多种媒体信息，文本、图形、图像、音频和视频，使多种信息建立逻辑连接，集成为一个系统并具有交互性。,多媒体类型：,文本、图形、图像、音频、视频、三维建模（虚拟现实）等等,,,,,多媒体格式总结,文本,编码（

35、中文编码、不同平台编码）,特殊标记、格式,图象,压缩存储（有损压缩和非有损压缩）,TIFF，JPEG，GIF，BMP……,多级存储,音频,WAV，MP3，REAL AUDIO,视频,AVI，QUICK TIME，MPEG I，MPEG II，MPEG IV，REAL VIDEO,其他（三维实体,VRML等等,）,,,,多媒体格式总结（数字化方法）,文本,录入员录入,对扫描文件进行,OCR,图象,扫描,数码照相,音频,利用声卡采集,电脑合成,视频,利用视频采集卡采集,硬件压缩转换或软件压缩转换,,,,海量数据实例,Text (1 page) : 5K /,1K,Image (1024x768)

36、: 2.3M /,300K,Voice (1 min) : 480K /,60K,Music (1 min, CD) : 10.2M /,1M,Video (1 min, VHS) : 400M /,10M,Video (1 min, NTSC) : 1.6G /,35M,Video (1 min, HDTV) : 4.8G /,200M,,,,扫描或照相要点,扫描模式,分辨率（resolution, 多少DPI),颜色深度 (,bit depth, 多少bit),颜色管理 （色彩还原）,修正（去网纹，校正）,压缩存储,人工修正（去污点，对比度，亮度）,系统能力（内存等等）,,,四种扫描模式,

37、Bitonal,Grayscale,Color,Special,Treatment,,,,,各种分辨率的效果,,600,dpi,,,,300 dpi,,,,200 dpi,,,在二值扫描中调整阈值,,,defines the point on a scale from 0 to 255 at which gray values will be interpreted either as black or white,,,Effects of Threshold,,,,,,,,threshold = 100,threshold = 60,,,Bit Depth,number of bits us

38、ed to represent each pixel, typically,8 bits or more per channel,representing 256 (2,8,) levels for grayscale and 16.7 million (2,24,) levels for color example: 8-bit grayscale pixel,00000000 = black,11111111 = white,,,Bit Depth,increasing bit depth increases the level of gray or color informatio

39、n that can be represented and arithmetically increases file size,affects resolution requirements,,,Effects of Grayscale on Image Quality,3-,bit gray,8-,bit gray,,,Effects of JPEG Compression,,,,,,,300 dpi, 8-bit grayscale,uncompressed TIFF,JPEG 18.5:1 compression,,,,,,monitor: 800 x 600 pixels,800,

40、600,document: 8” x 10”, 200 dpi,(1,600 x 2,000 pixels),,2,000,pixels,1,600,pixels,document at 60 dpi,480 pixels x 600 pixels,,document at 100 dpi,800 pixels x 1,000 pixels,,,,TIFF Uncompressed,GIF Compressed,6:1 (NARA),,,JPEG Compressed,20:1 ( LC),Compression/File Format Comparison,for Derivative F

41、iles,,,文档扫描提取,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Document,Preparation,批量,扫描,建立索引,,,,,Thumbnail Generation,OCR Processing,Script Generation,Loading,Full text Indexing,,,Digital Library,,,,,,,,,,,,,,,,,,,,,Backup copies,,,彩色图片扫描提取,素材准备,扫描,色彩校正、影象处理

42、、编辑、索引,,,,,降低分辨率、生成拇指图、加水印,脚本生成、装载、全文索引,,,Digital Library,,,,,,,,,,,,,,,,,,,,,备份,,,数字多媒体内容获取,+,Video/Audio,Captur,e,提取卡,MPEG,Video/Audio,特殊效果,声频混和,视频,/,声频编辑,编码,/,压缩卡,+,MPEG,,编码,/,压缩,原始资料,,,,,,,Ensuring Full Informational Capture: “No More, No Less”,,cost,image quality and utility,,desired point of

43、capture,,,内容总结,数字图书馆与元数据。数字图书馆为国家信息基础设施提供关键性信息管理技术，同时提供其主要的信息库和资源库。美国回忆和美国国家数字图书馆计划（NDLP）。DLI-1 ($24M, 1994.9~1998.9)。DLI-2 ($40M~$50M, 1999~2003)。集成声音、图象和语言理解技术, 创建和搜索数字视频图书馆--Informedia(卡内基·梅隆大学)。在互联网上形成超大规模的、高质量的中文数字资源库群，并通过国家骨干通信网向全国及全球提供高效服务。总体技术与国际主流技术接轨。信息结构表达与交换标准（元数据标准）。元数据简介:什么是元数据。1974年2月6日。陈 伯 钧　(1910-1974)。资源描述框架(Resource Description Framework)。有些数据化信息需要不同的元数据描述，RDF对集成这些元数据非常有用。编码（中文编码、不同平台编码）,