多媒体计算 通信与应用（英文版）

1 Introduction
1.1 Branch-overlapping Aspects of Multimedia 
1.2 Content 
1.3 Global Structure 
1.4 Multimedia Literature 
2 Multimedia：Media and Data Streams 
2.1 Medium 
2.1.1 The Perception Medium 
2.1.2 The Representation Medium 
2.1.3 The Presentation Medium 
2.1.4 The Storage Medium 
2.1.5 The Transmission Medium 
2.1.6 The Information Exchange Medium 
2.1.7 Representation Values and Representation Spaces 
2.1.8 Representation Dimensions 
2.2 Main Properties of a Multimedia System 
2.2.1 Multimedia System Definition 
2.2.2 Combination of Media 
2.2.3 Independence 
2.2.4 Computer-supported Integration 
2.2.5 Communication Systems 
2.3 Multimedia 
2.4 Traditional Data Streams Characteristics 
2.4.1 Asynchronous Transmission Mode 
2.4.2 Synchronous Transmission Mode 
2.4.3 Isochronous Transmission Mode 
2.5 Data Stream Characteristics for Continuous Media 
2.5.1 The Time Interval Between a Complete Transmission of Consecutive Packets 
2.5.2 Variation of Consecutive Packet Amount 
2.5.3 Contiguous Packets 
2.6 Information Units 
3 Sound/Audio 
3.1 Basic Sound Concepts 
3.1.1 Computer Representation of Sound 
3.1.2 Audio Formats 
3.2 Music 
3.2.1 MIDI Basic Concepts 
3.2.2 MIDI Devices 
3.2.3 MIDI Messages 
3.2.4 MIDI and SMPTE Timing Standards 
3.2.5 MIDI Software 
3.3 Speech 
3.3.1 Speech Generation 
3.3.2 Speech Analysis 
3.3.3 Speech Transmission 
4 Images and Graphics 
4.1 Basic Concepts 
4.1.1 Digital Image Representation 
4.1.2 Image Format 
4.2 Computer Image Processing 
4.2.1 Image Synthesis 
4.2.2 Image Analysis 
4.2.3 Image Transmission 
4.3 Comments 
5 Video and Animation 
5.1 Basic Concepts 
5.1.1 Video Signal Representation 
5.1.2 Computer Video Format 
5.2 Television 
5.2.1 Conventional Systems 
5.2.2 Enhanced Definition Systems 
5.2.3 High-Definition Systems 
5.2.4 Transmission 
5.3 Computer-based Animation 
5.3.1 Basic Concepts 
5.3.2 Animation Languages 
5.3.3 Methods of Controlling Animation 
5.3.4 Display of Animation 
5.3.5 Transmission of Animation 
5.3.6 Comments 
6 Data Compression 
6.1 Storage Space 
6.2 Coding Requirements 
6.3 Source，Entropy and Hybrid Coding 
6.4 Some Basic Compression Techniques 
6.5 JPEG 
6.5.1 Image Preparation 
6.5.2 Lossy Sequential DCT-based Mode 
6.5.3 Expanded Lossy DCT-based Mode 
6.5.4 Lossless Mode 
6.5.5 Hierarchical Mode 
6.6 H.261(px64) 
6.6.1 Image Preparation 
6.6.2 Coding Algorithms 
6.6.3 Data Stream 
6.7 MPEG 
6.7.1 Video Encoding 
6.7.2 Audio Encoding 
6.7.3 Data Stream 
6.7.4 MPEG-2 
6.7.5 MPEG-4 
6.8 DVI 
6.8.1 Video Encoding 
6.8.3 Data Stream 
6.9 Comments 
7 Optical Storage Media 
7.1 History 
7.2 Basic Technology 
7.3 Video Disks and Other WORMs 
7.4 Compact Disk Digital Audio 
7.4.1 Preliminary Technical Background 
7.4.2 Eight-to-Fourteen Modulation 
7.4.3 Error Handling 
7.4.4 Frames，Tracks，Areas and Blocks of a CD-DA 
7.4.5 Advantages of Digital CD-DA Technology 
7.5 Compact Disk Read Only Memory 
7.5.1 Blocks 
7.5.2 Modes 
7.5.3 Logical Data Format 
7.5.4 Limitations of the CD-ROM Technology 
7.6 CD-ROM Extended Architecture 
7.6.1 Form 1 and Form 2 
7.6.2 Compressed Data of Different Media 
7.7 Further CD-ROM-based Developments 
7.7.1 Compact Disk Interactive 
7.7.2 Compact Disk Interactive Ready Format 
7.7.3 Compact Disk Bridge Disk 
7.7.5 Digital Video Interactive 
7.8 Compact Disk Write Once 
7.8.1 Principle of the CD-WO 
7.8.2 Sessions 
7.9 Compact Disk Magneto Optical 
7.9.1 Principle of the magnetic-Optical Method 
7.9.2 Areas of the CD-MO 
8 Computer Technology 
8.1 Communication Architecture 
8.1.1 Hybrid Systems 
8.1.2 Digital Systems 
8.2 Multimedia Workstation 
8.3 Comments 
9 Multimedia Operating Systems 
9.1 Introduction 
9.2 Real Time 
9.2.1 The Notion of “Real-Time” 
9.2.2 Real Time and Multimedia 
9.3 Resource Management 
9.3.1 Resources 
9.3.2 Requirements 
9.3.3 Components and Phases 
9.3.4 Allocation Scheme 
9.3.5 Continuous Media Resource Model 
9.4 Process Management 
9.4.1 Real Time Process Management in Conventional Operating Systems：An Example 
9.4.2 Real-time Processing Requirements 
9.4.3 Traditional Real-time Scheduling 
9.4.4 Real-time Scheduling：Systim Model 
9.4.5 Earliest Deadline First Algorithm 
9.4.6 Rate Monotonic Algorithm 
9.4.7 EDF and Rate Monotonic：Context switches 
9.4.8 EDF and Rate Monotonic：Processor Utilizations 
9.4.9 Extensions to Rate Monotonic Scheduling 
9.4.10 Other Approaches for In-Time Scheduling 
9.4.11 Preemptive versus Non-preemptive Task Scheduling 
9.4.12 Scheduling of Continuous Media Tasks：Prototype Operating Systems 
9.5 File Systems 
9.5.1 Traditional File Systems 
9.5.2 Multimedia File Systems 
9.6 Additional Operating System Issues 
9.6.1 Additional Operating System Issues 
9.6.2 Memory Management 
9.6.3 Device Management 
9.7 System Architecture 
9.7.1 UNIX-based Systems 
9.7.2 QuickTime 
9.7.3 Windows Multimedia Extensions 
9.7.4 OS/2 Multimedia Presentation Manager/2 
9.8 Concluding Remarks 
10 Networking Systems 
10.1 Layers，Protocols and Services 
10.2 Networks 
10.3 Local Area Networks(LANs)
10.3.1 High-speed Ethernet 
10.3.2 Token Ring 
10.3.3 FDDI 
10.3.4 Local ATM Networks 
10.4 Metropolitan Area Networks(MANs) 
10.4.1 Distributed Queue Dual Bus(DQDB) 
10.4.2 Orwell 
10.4.3 MAN Connectivity to ATM Networks 
10.5 Wide Area Networks(WANs) 
10.5.1 Traditional WAN's 
10.5.2 B-ISDN:ATM 
10.6 Conclusion 
11 Multimedia Communication Systems 
11.1 Application Subsystem 
11.1.1 Collaborative Computing 
11.1.2 Session Management 
11.2 Transport Subsystem 
11.2.1 Requirements 
11.2.2 Transport Layer 
11.2.3 Network Layer 
11.3 Quality of Service and Resource Management 
11.3.1 Basic Concepts 
11.3.2 Establishment and Closing of the Multimedia call 
11.3.3 Managing Resources during Multimedia Transmission 
11.3.4 Architectural Issues 
11.4 Comments 
11.4.1 Trends in Collaborative Computing 
11.4.2 Trends in Transport Systems 
12 Database Systems 
12.1 Multimedia Database Management System 
12.2 Characteristics of an MDBMS 
12.3 Data Analysis 
12.4 Data Structure 
12.4.1 Raw Data 
12.4.2 Registering Data 
12.4.3 Descriptive Data 
12.4.4 Examples of Multimedia Structures 
12.4.5 Comments on Data Analysis 
12.5 Operations on Data 
12.6 Integration in a Database Model 
12.6.1 Relational Database Model 
12.6.2 Object-oriented Database Model 
12.7 Comments 
13 Documents，Hypertext and MHEG 
13.1 Documents 
13.1.1 Document Architecture 
13.1.2 Manipulation of Multimedia Data 
13.2 Hypertext and Hypermedia 
13.2.1 Hypertext，Hypermedia and Multimedia 
13.2.2 Hypermedia Systems：An Example 
13.2.3 History 
13.2.4 Systems：Architecture，Nodes and Pointers 
13.2.5 Some Final Comments about Hypertext Systems 
13.3 Document Architecture SGML 
13.3.1 Some Details 
13.3.2 SGML and Multimedia 
13.3.3 Closing Comments about SGML 
13.4 Document Architecture ODA 
13.4.1 Some Details on ODA 
13.4.2 ODA and Multimedia 
13.5 MHEG 
13.5.1 Example of an Interactive Multimedia Presentation 
13.5.2 Derivation of a Class Hierarchy 
13.5.3 Contents 
13.5.4 Behavior 
13.5.5 User Interaction 
13.5.6 Container 
13.5.7 Closing Comments 
14 User Interfaces 
14.1 General Design Issues 
14.1.1 Architectural Issues 
14.1.2 Information Characteristics for Presentation 
14.1.3 Presentation Function 
14.1.4 Presentation Design Knowledge 
14.1.5 Effective Human-Computer Interaction 
14.2 Current Work 
14.3 Extension through Video and Audio 
14.4 Video at the User Interface 
14.4.1 Hardware for Visualization of Motion Pictures 
14.4.2 Example：Remote Camera Control Application 
14.5 Audio at the User Interface 
14.6 User-friendliness as the Primary Goal 
14.6.1 Easy to Learn Instructions 
14.6.2 Context-sensitive Help Functions 
14.6.3 Easy to Remember Instructions 
14.6.4 Effective Instructions 
14.6.5 Aesthetics 
14.6.6 Effective Implementation Support 
14.6.7 Entry Elements 
14.6.8 Meaningful Location of Functions 
14.6.9 Presentation 
14.6.10 Dialogue Boxes 
14.6.11 Additional Design Criteria 
14.6.12 Design-specific Criteria 
14.7 Comments 
15 Synchronization 
15.1 Introduction 
15.2 Notion of Synchronization 
15.2.1 Multimedia Systems 
15.2.2 Basic Synchronization Issues 
15.2.3 Intra-and Inter-object Synchronization 
15.2.4 Live and Synthetic Synchronization 
15.2.5 Comment 
15.3 Presentation Requirements 
15.3.1 Lip Synchronization Requirements 
15.3.3 Elementary Media Synchronization 
15.4 A Reference Model for Multimedia Synchronization 
15.4.1 Existing Classification Approaches 
15.4.2 The Synchronization Reference Model 
15.4.3 Synchronization in a Distributed Environment 
15.4.4 Aggregate Characteristics of the Synchronization Reference Model 
15.5 Synchronization Specification 
15.5.1 Quality of Service 
15.5.2 Multimedia Synchronization Specification Methods 
15.5.3 Interval-based Specifications 
15.5.4 Axes-based Synchronization 
15.5.5 Control Flow-based Specification 
15.5.6 Event-based Synchronization 
15.5.7 Scripts 
15.5.8 Comment 
15.6 Case Studies 
15.6.1 Synchronization in MHEG 
15.6.2 HyTime 
15.6.3 Firefly System 
15.6.4 MODE 
15.6.5 Multimedia Tele-orchestra 
15.6.6 Littles Framework 
15.6.7 ACME 
15.6.8 Further Synchronization-related Systems 
15.6.9 Comment 
15.7 Summary and Outlook 
15.7.1 Summary 
15.7.2 Future Topics 
15.7.3 Conclusion 
16 Abstractions for Programming 
16.1 Abstraction Levels 
16.2 Libraries 
16.3 System Software 
16.3.1 Data as Time Capsules 
16.3.2 Data as Streams 
16.4 Toolkits 
16.5 Higher Programming Languages 
16.5.1 Media as Types 
16.5.2 Media as Files 
16.5.3 Media as Processes 
16.5.4 Programming Language Requirements 
16.6 Object-oriented Approaches 
16.6.1 Application-specific Metaphors as Classes 
16.6.2 Application-generic Metaphors as Classes 
16.6.3 Devices as Classes 
16.6.4 Processing Units as Classes 
16.6.5 Media as Classes 
16.6.6 Communication-specific Metaphors as Classes 
16.7 Comments 
17 Multimedia Applications 
17.1 Introduction 
17.1.1 Programs 
17.1.2 Structure 
17.2 Media Preparation 
17.2.2 Remarks on the Current Status 
17.3 Media Composition 
17.3.1 Text and Graphics Editors 
17.3.2 Image Editors 
17.3.3 Animation Editors 
17.3.4 Sound Editors 
17.3.5 Video Editors 
17.4 Media Integration 
17.4.1 Multimedia Editors 
17.4.2 Hypermedia/Hypertext Editors 
17.4.3 Authoring Tools 
17.5 Media Communication 
17.5.1 Tele-Services 
17.5.2 Implementation of Conversational Services 
17.5.3 Implementation of Messaging Services 
17.5.4 Implementation of Retrieval Services 
17.5.5 Implementation of Tele-action Services 
17.5.6 Implementation of Tele-operation Services 
17.5.7 Applications of Tele-services 
17.6 Media Consumption 
17.6.1 Viewing Multimedia Documents 
17.6.2 Books：Proceedings and Newspapers 
17.6.3 Kiosks 
17.6.4 Tele-shopping 
17.7 Media Entertainment 
17.7.1 Virtual Reality 
17.7.2 Interactive Video 
17.7.3 Interactive Audio 
17.7.4 Games 
17.8 Trends 
18 Future Directions 
18.1 Where Are We Today? 
18.1.1 User Interface 
18.1.2 Operating Systems 
18.1.3 Multimedia Documents 
18.1.4 Synchronization 
18.1.5 Programming 
18.2 What Are the Next Steps? 
18.2.1 Devices 
18.2.2 Visualization 
18.2.3 Mobility 
18.2.4 Interactivity 
18.2.5 Operating Systems 
18.2.6 Further Issues in Virtual Environments 
18.2.7 Multimedia User Interface 
18.2.8 Hypermedia 
18.2.9 Multimedia Applications 
18.3 What Are the Multimedia Research Issues? 
A Abbreviations 
Bibliography 
Index