4 信息融合
智能信息处理
Intelligent Information Processing
信息融合
Information Fusion
智能信息处理课程组
2014 Fall
Outline
•
•
•
•
•
•基本原理 定义 研究方法 模型、层次结构、体系结构 研究现状和发展方向 参考文献
融合（Fusion)
•采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及时和有效的综合信息过程。
•研究领域：智能信息处理
•研究方法：综合性横断学科
人脑的信息融合功能
人类本能地具有将人体的各种功能器官所探测的信息与先验知识进行综合的能力，以便对周围的环境和事件做出估计。
这一处理过程是复杂的，也是自适应的，它将各种信息转化成对环境的有价值的解释 。
Common Animal Sensors
Sensor
Eye Phenomena Electromagnetic waves in some sub-spectrum Ear
Nose
Tongue
Skin Pressure waves between about 10 hz and 100kHz (animal-dependent) Concentration of airborne molecules Concentration of dissolved molecules, etc. Pattern of pressure on animal's surface Proprioceptive Pattern of nerve impulses from muscles
system
应 用
•军事应用
战场监视和自动危险识别系统
•非军事应用
工业：监控、机器人、智能仪器系统
交通：智能交通系统
医学
安全：生物特征认证
经济：金融系统
Representative Data Fusion Applications for Defense Systems
Representative Nondefense Data Fusion Applications
Multimodal Biometric Systems
基 本 原 理
充分利用多个传感器资源，通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间或空间上的冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述，使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能。
技术优势
•••••
可扩展系统的时间和空间覆盖范围 可增加系统的信息利用率
可提高经融合的信息的可信度和精度 可增强对目标物的检测与识别能力 可降低系统的投资
Definition-1
•Data fusion is a multilevel, multifaceted process dealing with the automatic detection, association, correlation, estimation, and combination of data and information from multiple sources.
•Derived from recommendations of the U.S. department of Defense Joint Directors of Laboratories (JDL) Data Fusion Subpanel
Definition-2
Information Fusion encompasses the theory, techniques and tools
conceived and employed for exploiting the synergy in the information acquired from multiple sources (sensor, databases, information gathered by human, etc.) such that the resulting
understanding, decision or action is in some sense better than (qualitatively or quantitatively, in terms of accuracy, robustness, etc.) than would be possible if any of these sources were used individually
without such synergy exploitation.
Definition-遥感领域
EARSeL ，European Association of Remote Sensing Laboratories
French Society for Electricity and Electronics
•Data fusion is a formal framework in which are expressed
means and tools for the alliance of data originating from different sources. It aims at obtaining information of greater quality; The exact definition of ‘greater quality’ will depend upon The application.
Sensor Fusion: Problem Complexity
The sensor fusion problem is aptly summarized by the quote
(author unknown)
“It is far easier to teach a robot to play chess than it is to make
it move the chess pieces on the board.”
Unlike the analytical processing required for the former task, the latter requires fusion processing of data acquired from
visual, tactile, and other sensors
信息融合的方法和技术 •相关技术
•估计理论 •识别技术
物理类型类识别技术 参数分类识别技术 认知模型类识别技术
Taxonomy of detection, classification, and identification algorithms
相关、估计和识别
算法
物理模型
估计
最大似然最小均方句法
Image Algebra
基于特征的
技术
基于认知的模型
逻辑模板专家系统模糊集理论
参数化
Dempster-Shafer
信息论
参数模板熵度量
信息融合模型
•数据模型
JDL （Joint Directors of Laboratories）模型 数据提取 •功能模型
节点顺序
JDL 模型
•面向军事应用
JDL 模型
•JDL 模型把数据融合分为3 级：
•第1 级为目标优化、定位和识别目标；
•第2 级处理为态势评估，根据第 1 级处理提供的信息构建态势图；
•第3 级处理为威胁评估，根据可能采取的行动来解释第2 级处理结果, 并分析采取各种行动的优缺点.
•过程优化实际是一个反复过程，可以称为第4 级，它在整个融合过程中监控系统性能，识别增加潜在的信息源，以及传感器的最优部署。
功能模型
态势的高层估计：.行为.企图.动向目标属性测量
•配准、相关、估计、识别
融合的层次结构
•数据层融合(data level fusion) •特征层融合(feature level fusion)
目标状态融合 目标特性融合
•决策层融合(decision level fusion) •其他层次的融合
数据层融合
•直接在采集到的原始数据层上进行融合，在各种传感器的原始测报未经预处理之前就进行数据的综合与分析。 低层次的融合
•应用：多源图像复合、图像分析与理解、同类（同质）雷达波形的直接合成
•方法：经典的检测和估计方法、多分辨率方法 •难点：图像配准（Registration ）
数据层融合
特征层融合
•目标状态融合
•目标特性融合
先对来自传感器的原始信息进行特征提取，然后对特征信息进行综合分析和处理
目标状态融合
应用：目标跟踪领域
方法：卡尔曼滤波、扩展卡尔曼滤波、粒子滤波
目标特性融合
应用：模式识别问题
方法：模式识别的相应技术（如参数模板法、 特征压缩和
聚类算法、K 阶最近邻、神经网络、模糊积分）
决策层融合
•每个传感器在本地完成预处理、特征抽取、识别或判决等处理，建立对所观察目标的初步结论，然后通过关联处理、决策层融合判决，最终获得联合推断结果
•方法：贝叶斯推断、D-S 证据理论、模糊集理论、专家系统方法、人工神经网络 •应用：目标识别
联合推断结果
信息融合的层次化结构
信 息 表 征 水 平
多传感器信息融合层次化结构
多模态 生物特征认证系统
接受/拒绝
FU ：fusion module MM ：matching module DM ：decision module
体系结构
•集中式融合（centralized fusion)
多个传感器提供的数据在融合处理器中进行关联、相关、跟踪、估计分类等操作
•自主式融合（autonomous fusion）
每个传感器独立地进行输入信号的特征提取、目标分类、确认和跟踪，并输入到融合处理器 •混合式融合（hybrid fusion）
•Where in the data flow to actually combine or fuse the data？
集中式融合
传感器控制
每个传感器向融合处理器提供预处理的数据。再对数据进行关联或相关以确定哪些传感器的观测是针对同一物理实体或目标的。一旦做出观测数据的关联，就对数据进行融合 。
优点：充分利用信源的信息，系统信息损失小，性能较好。
缺点：对融合中心处理能力、通信带宽要求高，系统可靠性差，软件十分复杂，研制周期长，成本高。
自主式融合
检测和估计
类
每个传感器进行单源（Single Source ）位置估计，得到一个状态向量，即每个传感器都根据它自己的观测数据对目标的位置和速度做出一个估计。然后根据这些状态向量通过信息融合程序获得基于多传感器的联合状态向量估计。
优点：可靠性高、通信带宽要求不高。 缺点：信息有损失。
混合式融合
传感器控制
具有很高的灵活性，但要求对融合过程进行全局的监视以及在原始数据融合和状态向量融合之间进行选择和切换。
研究现状和发展方向
研究现状
国际：
从1973年开始迅速发展，主要在军事应用。
1985年以来出版了10余部专著。 国内：
20世纪80年代末开始出现有关报导 。 20世纪90年代初逐渐形成高潮。
研究现状-美国
信息融合技术起步较早、发展最快的国家 1984年成立了信息融合专家组，JDL 。
1988年，美国国防部把信息融合技术列为九十年代重点发展研究开发的二十项关键技术之一，且列为最优先发展的A 类。 1998年成立的国际信息融合学会（International Society of Information Fusion ，ISIF ）总部设在美国，每年举行一次信息融合国际学术大会。 美国国防部：在在C 3I （Command, Control, Communication and Intelligence）中增加了计算机，建立以信息融合中心为核心的C 4I(Command, Control, Communication, Computation and Identification)。
机构与刊物
•1998，国际信息融合学会（International Society of Information Fusion，ISIF ）
•信息融合国际学术大会（The International Conference on Information Fusion）1998-2014 •Information Fusion •IEEE special issue
•2009，中国航空学会信息融合分会 信息融合学报
•中国信息融合年会 2009-2014
发展方向
•完善基本理论，规范领域术语和定义； •研究兼有鲁棒性和准确性的融合算法；
✓Web 信息融合
✓基于Agent 的信息融合 ✓交叉学科
••••••
大系统中的信息融合技术，如算法分类和层次划分问题等； 发展并完善JDL 模型；
信息融合中的数据库和知识库技术的研究；
建立系统设计的工程指导方针，研究信息融合系统的工程实现； 建立信息融合系统的设计和评估方法； 应用领域的扩展。
参考文献
郁文贤, 雍少为, 郭桂蓉. 多传感器信息融合技术评述. 国防工业大学学报, 1994, 16(3):1-11
David L. Hall, James Llinas. An introduction to Multisensor Data Fusion. Proceedings of the IEEE. 1997, 85(1): 6-23
Lawrence A. Klein. Sensor and Data Fusion Concepts and Applications. SPIE Optical Engineering Press, 1999
何友, 王国宏, 陆大淦, 彭应宁. 多传感器信息融合. 电子工业出版社, 2000 高隽. 智能信息处理方法导论. 机械工业出版社，2004
胡良梅. 基于信息融合的图像理解方法研究. 合肥工业大学出版社, 2007 何友, 王国宏，关欣. 信息融合理论及应用. 电子工业出版社, 2011
A. K. Jain, A. Ross, and K. Nandakumar. Introduction to Biometrics, Springer, 2011 (ISBN 978-0-387-77325-4).
韩崇昭, 朱洪艳, 段战胜. 多源信息融合（第2版） .清华大学出版社，2012