混沌时间序列预测方法：Kolmogorov熵与拓扑熵

从热力学和统计物理可知，在刻画系统所处状态的无序性或混乱程度方面，熵起着相当重要的作用。由热力学的第二定律，可推得熵的增加原理：对于一个孤立系统，熵的变化为

dS=0 对于可逆过程

dS＞0 对不可逆过程

其中，dS代表熵的变化。对于一个孤立系统熵总是要趋于极大。因此作为状态函数的熵，它可以预示系统过程进行的方向。

对于一个开放系统，其熵的变化dS可以分成两部分：

式中：diS和deS分别为由系统内部过程引起的熵变化和系统外界交换能量及物质时引起的熵变化。显然，diS＞0。

如果：

deS ＜0 且|deS|＞|diS|

则

dS＜0

上式表示，如果开放系系统在与外界交换物质和能量过程中获得足够多的“负熵流”使得它的熵变化是负的，从而有可能形成有序化结构。普里戈京（Prigogine）等把这种在远离平衡态的非线性区域中形成有序化结构称为耗散结构。

普里戈京等证明，当系统处于平衡态附近，广义流与广义力之间有线性关系，此时：

dS/dt=0 定态时

dS/dt＜0 偏离定态时

此时如果取熵作为Lyapunov稳定函数，则平衡态附近的定态是渐近稳定的，因为在平衡态附近，系统不可能在扰动或涨落作用下自发地离开均匀无序的定态而形成有序结构。在远离平衡态附近的区域（即状态变量同平衡态的差别很大的非线性区域），相对于定态的熵的二级偏差（称为超熵）总是负的，即：δ2S＜0。超熵对时间的导数称超熵产生，其值可取不同符号，如取—δ2S作为Lyapunov函数，于是有以下三种情形：

当d（δ2S）/dt＞0时，定态是渐近稳定的。

当d（δ2S）/dt＜0时，定态是不稳定的。

当d（δ2S）/dt=0时，定态是临界稳定的。

设定态是渐近稳定的，当条件发生变化使状态远离平衡态时，越过临界稳定值时，均匀无序的定态变成不稳定的，从而可能通过分岔引起对称破缺并出现有序结构。

1.Shannon熵

设系统可处于N 个相同的状态，或是N 个相同的子系统组成，则熵可表示为：

其中，k是玻尔兹曼常量。令p表示系统处于其中某一状态的概率，因p=1/N，故有：

如果各状态（或子系统）不同，令pi表示系统在第i状态（或第i子系统）的概率，则：(www.xing528.com)

为了计算的方便，式（2.30）中k可取为1。由于熵可以看作宏观系统混乱程度的量度，所以孤立系统最后自动达到的平衡态是混乱的均匀无序状态。式（2.28）～式（2.30）还可以理解成这N 个状态同时发生的概率。如果引入信息的概念，即概率越小的消息，包含的信息量越大。那么式（2.30）即是N 个状态发生时的平均信息量。

控制论的主要创立者之一的维纳（Wiener）说，信息量式（2.30）是一个可以看作概率的量的对数，它实质上是熵。于是，人们把式（2.30）也称为信息熵（shannon熵）。

2.Kolmogorov熵

Kolmogorv熵以混沌为背景的定义如下：考虑奇异吸引子的动力系统在相空间的轨道x（t）=x1（t），…，xd（t）。设d维相空间被划分成n个边长为l的d维盒子，系统的状态可在时间间隔τ内观察。设pi0，…，in是x（0）在盒子i0中，x（τ）在盒子i1中，……，x（nτ）在盒子in中联合概率，则有

Kn正比于以精度l确定系统在特殊轨道i*0，…，i*n所需的信息。因此Kn+1—Kn是已知系统先前处于i*0，…，i*n而预测系统将在单元i*n+1中所需要的附加信息量，这意味着Kn+1—Kn量度了系统从时刻n到n+1的信息损失。Kolmogorov熵定义为信息的平均损失率（系统运动过程中单位时间内的信息量）：

极限l→0说明K与盒子划分的选取无关。

Kolmogorov熵K在混沌的量度中有着相当重要的应用。对规则运动，K=0；随机系统，K=∞，这里需要指出的是，只有对于完全的无序（如理想的噪声）的系统才会成立；若系统表现确定性混沌，则Kolmogorov熵是大于0的常数。Kolmogorov熵越大，那么信息的损失速率越大，系统的混沌程度越大。

在一维映射中，Kolmogorov熵恰为Lyapunov指数λ1。例如对Logistic映射，Lyapunov指数随参数而变。对规则运动，Lyapunov指数λ1＜0；在分岔点，λ1=0；而在混沌区λ1＞0，这时的Lyapunov指数即为Kolmogonov熵。在高维系统，Kolmogorov熵与Lyapunov指数有以下的关系：

即Kolmogov熵所有正的Lyapunov指数之和，其中ρ（x）为相空间中吸引子的态密度，λ+i代表正的Lyapunov指数。

因为Lyapunov指数正比于信息量的损失，所以K代表总的信息流率。因此可用Lyapunov指数和Kolmogorov熵来解决可预报性的定量度量问题。在实际应用中，系统的最大可预报时间尺度可利用λ1的倒数进行估计，而式（2.34）的倒数定义了可能预报的平均时间尺度。研究者通常利用二阶关联熵K2来估计Kolmogorov熵。下面介绍一种二阶关联熵K2的常用计算方法。设相空间中不重合的两点为

X（i）=﹛x（i），x（i—τ），…，x[i—（n—1）τ]﹜T

X（j）=﹛x（j），x（j—τ），…，x[j—（n—1）τ]﹜T（i≠j）

定义2.2[21，22]给定一临界距离r，则相空间Rn中吸引子上的两点之间的距离小于r的概率称为关联函数，记为

其中，rij=‖X（i）—X（j）‖为相空间中两点的距离，M 为相点个数，θ（·）为Heaviside函数，即

计算K2熵为

其中，τ为时间间隔，n为嵌入维数，Δn为嵌入维数变化量。Grassberger和Procaccia[23，24]给出了K2和K的关系为

K≥K2

3.拓扑熵

历史上，Kolmogorov熵的引入先于拓扑熵，拓扑熵h是比Kolmogorov熵K更弱的混沌判据，一般有h≥K≥0。正的拓扑熵不能保证Kolmogorov熵为正，而正Kolmogorov熵一定导致正拓扑熵。用正拓扑熵定义的混沌称为拓扑混沌，它只意味着运动中含有有规则的成分，并不保证相应的混沌运动可以观测。

拓扑熵是由Adler、Konhein及Mc Andrew在1965年提出的，它是研究拓扑共轭不变量应运而生的。可以证明拓扑熵是拓扑共轭的一个不变量，即两个拓扑共轭的连续映射有相同的拓扑熵。事实上两个拓扑共轭的连续映射在本质上给出相同的遍历性质，因此拓扑熵数学地刻画了不同共轭类的拓扑动力系统（Topolnical Dynamical System）的性质。由于拓扑熵只由不同轨道的计数问题决定，常用下式计算：

式中：h为拓扑熵；N（n）为长度为n的不同轨道点的数目。