信息论--模糊熵

模糊不确定性的度量—模糊熵

摘要: 熵是模糊变量的一个重要的数字特征，用来度量模糊变量的不确定性，是处理模糊信息的重要工具。模糊集用来描述元素无法明确界定是否属于给定集合的集合类。模糊变量则是取值于这种具有不确定性的模糊集的变量。本文主要介绍模糊集模糊变量模糊熵简单的定义及其性质，文中最后通过例子具体介绍模糊熵的实际应用。

关键词:熵，模糊变量，模糊集，模糊程度，包含关系

1. 模糊集与熵

集合的概念是逻辑和数学中最基本的概念之一。集合中非常重要且基本的性质为矛盾律和排中律，满足矛盾律和排中律的集合就是清晰集。即一个元素可以明确的表示属于或是不属于这个集合，任意选定的元素可以被明确界定，对应于数理逻辑就是一个命题要么是真的

要么是假的。但是在实际客观事务的描述中很多集合和命题不满足这种特性，如“水很热”，显然这个集合中的元素无法被明确界定，这是因为“热”和“不热”之间不存在明确的分界。 定义函数 为模糊集 的隶属函数，表示 中的元素属于模糊集 的程度，隶属度越大，表示该元素属于集合 的程度就越大，隶属度为0表示该元素完全不属于集合 ，隶属度为1则表示该元素完全属于集合 。

1.1 模糊集合的一般性理论回顾

如果我们对周围的一切细加考察的话不难发现，普通集合无法描述像“天气好”“个子高”“美丽”这样的模糊概念，因为普通集合描述的概念有这样的特点：一个对象要么符合该概念，要么不符合该概念，二者必居其一，没有模棱两可的情况，而对于模糊概念来说，一对象是否符合它，不能简单的用“是”或“否”来回答，因为对象既不完全符合，也不完全不符合，而是在某种程度上符合该概念。

1.1.1 模糊集合的概念

论域X 上的模糊集合A*由隶属函数u A *(x ) 来表征, 其中u A *(x ) 在实轴的闭区间[0,1]

上取值, u A *(x ) 的值反映了X 中的元素x 对于A*的隶属程度.

模糊集合完全由隶属函数所刻画. u A *(x ) 的值接近于1, 表示x 隶属于A*的程度很高; u A *(x ) 接近于0, 表示x 隶属于A*的程度很低; 当u A *(x ) 的值域为{0,1}二值, u A *(x ) 演化为普通集合的特征函数u A (x ) ,A*便演化为普通集合A. 我们可以认为模糊集合时普通集合的一般化. 1.1.2

模糊集合的表示方法

就论域的类型而言, 模糊集合有以下两种表示方法:

1. 设论域X 是有限集或可数集, 令X={x 1, x 2, x 3... x n },X 上的任一模糊集A*,其隶属

函数为u A *(x ) ,i=1,2,3…,n, 则此时A*可以表示成:

n

A*=u A *(x 1) /x 1+u A *(x 2) /x 2+... +u A *(x n ) /x n =

∑u

i =1

A *

(x i ) /x i

这里的的符号不是简单的加，除，而是只有符号意义的． 2. 设论域X 是无限集, 则此时X 上的一个模糊集A*可以表示为:

A*=⎰

1.2 一般熵的基本概念

熵是一个一般性的概念，它度量了一个系统或一段信息的不确定性。信源熵H(S)定义为一个信源中事件x i 的自信息I (x i ) 的统计平均值，即

n

x ∈X

u A *(x ) 同样的积分符号也不再表示积分, 只是无穷逻辑和的意义．

H(S)=-

∑

i =0

p i log p i

一个事件的自信息是随其不确定程度的增大而增大的，所以信源熵可以被认为是一个系统不稳定性的度量。而模糊熵描述了一个模糊集合的模糊性程度，是度量模糊集的模糊程度的一种具体形式。

2. 模糊度

2.1

模糊度的定义

模糊度是描述模糊集的模糊程度的数量指标，用一个怎样的数量指标来描述模糊集的模糊程度，一种一般的定义是：

1、普通集是不模糊的，标志它的模糊程度的数量应该为0；

2、而对任一∀u ∈U ，若A (u ) =0. 5, 则A c (u ) ≡0. 5，此时A 是隶属性最难确认的模糊集，标志其模糊程度的数量应为1；

3、又A (u ) -0. 5=A (u ) -0. 5, 所以A 与A c 的模糊程度是相同的；

4、此外，模糊集A 的模糊性应具有单调变化的性质，即A 越接近0.5，A 的模糊性越大，A 越远离0.5，A 的模糊性越小。 可定义模糊度如下：

若映射d:模糊集U →[0,1]满足：

1， d(A)=0⇔A ∈U

2， d(A)=1⇔A(u)=0.5

3， 若对任一ui ∈U, 有A(ui)≥ B(ui) ≥0.5, 或A(ui)≤ B(ui) ≤0.5, 则

d(A) ≤d(B) 4， d(A)=d(A c )

则d(A)称为模糊集A 的模糊度。

这是一个公理化的定义，它只给出了模糊度最基本的要求，但此定义不适用于计算，在实用中还需给出其具体的形式。由定义知，模糊度的具体形式不是唯一的，后面面给出一种可计

c

算的模糊度

3. 模糊集的熵

3.1 模糊变量

模糊变量的概念是用来描述模糊事件或模糊约束。若为可能空间到实直线上的函数，则称为可能性空间上的模糊变量，相应的集合称为的内核称为 的支撑同样可以导出隶属函数. 我们可以知道，通过模糊变量的隶属函数可以导出具有相同隶属函数的模糊集，另一方面任何一个正则的模糊集都可以导出一个具有相同隶属函数的模糊变量。尽管模糊集和模糊变量在数学表达方式上具有这样的一致性，但是，两者之间仍存在着本质上的差别。模糊集的隶属函数刻画了集合与其表示的具有不确定性的概念之间的相容性，即其中的元素属于该集合的程度。然而，模糊变量及可信性理论涉及的则是相反的问题，即在模糊变量的隶属函数已知的情况下，特定事件发生的可能性。

模糊变量和模糊集内在含义上的差别导致了其在不确定性方面呈现不同的性质，这主要体现为模糊集的不确定性仅仅体现在其元素无法明确界定，而模糊变量则不同，即使其支撑中的元素都具有隶属度1，这样对于特定事件发生的可能性为1，尽管如此，该事件也不一发生，也就是说仍然存在着一定的不确定性，也就是说模糊变量的不确定性还依赖于其支撑中的元素的多少，即模糊变量取值范围的大小。模糊变量的取值范围越大，可能发生的事件的数量就越多，相应的不确定性就越大。这样由于模糊变量蕴含的不确定性具有自身的特点，在确定具有什么样隶属函数的模糊变量其不确定度最大时，也和模糊集情形时有所不同。在模糊集情形时，也和模糊集情形时有所不同。在模糊集情形时，全集中的所有元素的隶属度都为 时，这些元素在属于这个集合和不属于这个集合两方面同具有相同的程度，因此这624 个集合就要有最大的不确定度。而这种情况下，显然存在一个模糊变量使得其具有这样的隶属函数，这是因为在我们给定的公理系统中，我们总认为存在着某一事件，其发生的可能性为1。由此，在模糊变量情形下，当所有可能发生的事件都具有相同的最大可能性时，其不确定度最大，而且，可能发生的事件的数量越多，其不确定度也越大。 3.2

模糊熵

1. 熵是一个一般性的概念，它度量了一个系统或一段信息的不确定性。 2. 模糊熵描述了一个模糊集的模糊性程度。

3. 一般的定义[1]：

（1）分明集是不模糊的，则分明集的模糊熵为0；

（2）[1/2]是隶属性最难确认的模糊集，[1/2]的模糊性应最大

（3）模糊集A 与 距[1/2]的1远近程度是相同的，则要求A 与 的模糊程度一样 （4）模糊集A 的模糊性应具有单调变化的性质，即A 越接近[1/2],A的模糊性越大； A

越远离[1/2],A的模糊性越小 。

4. 模糊熵定理:

E (A )

=

M (A ⋃A )

模糊熵定理的几何图示。由对称性，完整模糊方形的四个点到各自的最近顶点、最远顶点的

c

M (A ⋂A )

c

距离都相等. 该定理正式宣告了＂西方逻辑＂的终止．

c c

其中 M (A ⋂A ) =0, M (A ⋃A ) =n , E (A ) =0另外一种定义：类似于信息论中熵的定义．

n

E (A ) =-k ∑[A (x i ) ln A (x i ) +(1-A (x i )) ln(1-A (x i ))]

i =13.3

熵的包含度定理

1. 如何用模糊集合间的关系表征某个模糊集合的模糊程度 2. 包含度是模糊中最基本的有代表性的一个数值 3. 熵-包含度定理：E (A ) =S (A ⋃A c , A ⋂A c )

说明:将包含度定理中的A 、B 分别用A ⋃A c 和A ⋂A c 代替, 并注意到交集

A ⋂A 是并集A ⋃A 的子集，即可证得:

c

c

S (A ⋃A , A ⋂A ) =

c

c

M ((A ⋃A ) ⋂(A ⋂A ))

M (A ⋃A )

c

c c

=

M (A ⋂A ) M (A ⋃A )

c

c

=E (A )

该定理表明了整体是其部分的一部分的程度。

4. 模糊熵的应用:

模糊熵的应用很广泛, 以下就是模糊熵的一些应用:

1. 冀鲁豫交界区地下流体模糊熵值的变化与地震的关系 地震研究 2003 01 2. 一种基于代价函数和模糊熵的图像分割方法 光子学报 2003 12

3. 基于遗传算法和模糊熵的前视红外图像分割 红外与毫米波学报 2003 06

4. 基于Fuzzy 集的Vague 集的模糊熵 华中科技大学学报(自然科学版) 2003 01 5. 模糊决策树中参数对模糊熵的敏感性分析 计算机工程 2003 11

6. 基于模糊熵及遗传算法的图像增强技术 农业机械学报 2003 03

7. 利用模糊熵进行参数有效性分析的语音情感识别 电路与系统学报 2003 03 8. 基于模糊熵聚类和Kalman 滤波的区域跟踪 测控技术 2003 11

9. 基于极大模糊熵原理的模糊推理三I 算法 模糊系统与数学 2003 04 10. “关于Vague 集的模糊熵及其构造”的注记 计算机应用与软件 2004 05 11. 基于模糊熵的多值图像恢复方法 西安电子科技大学学报 2004 02 12. 一种基于小波的图像模糊熵阈值分割算法 红外技术 2004 03

参考文献

1. 模糊聚类分析及其应用 高新波(著)

2.信息论基础 第二版 武汉大学出版社 3.模糊数学及其应用 第二版 冶金工业出版社