交换作为自然的马尔科夫过程的求解方法

科尔曼的理论中对方程12.29和12.30还有一种解释，也就是用另一种求解方法来处理同样的方程，这种解释很自然就把问题引到了马尔科夫过程之一概念上。首先给定已知向量集合｛ri（t）｝和｛Vk（t）｝，t+1时这些变量的新解法可用方程12.37和12.38计算出来。在下一次迭代时，可用方程12.39和12.40，然后这些解法能反馈到方程12.39和12.40中，整个过程持续下去。这个迭代解法的自然过程有一些非常有意思的特性，因为它用期望值和实际值同时定义了两个变量的收敛。下面重新用这个解法来计算新值在t+1时的状态

和

很容易知道当m是偶数时，

且

当m是奇数时，(www.xing528.com)

且

因此，当m为偶数时，这个解法表现了方程12.33和12.34给出的基本马尔科夫过程中计算出来的实际值，而当m是奇数时，可算出同样变量的期望值。之前的计算结果可保证这些过程是收敛的。然而，如果只有一种初始分布是确定的，那么解题过程中就只出现一条相关的马尔科夫链，也只会出现一个期望值。例如，如果给定rj（t），那么Vℓ（t+1）可按上述过程算出，但是这样确定的

这种情况下，算出的值是实际值，而的值是期望值。实际上，后面这种解题过程明显比前面那种要快，但两种都是为了证明马尔科夫模型和科尔曼的理论是完全一致的，同时也都是有用的解释所有行动者达到均衡的一种方式。

上一章中，我们阐述了设计机可以设计出与行动者交流信息的过程有关的奖惩结构优化。科尔曼模型中可以很直观地加入选择好的可优化奖惩功能的关系，第11章介绍了具体操作方法。这里我们将不再详述，因为现在有必要把这个模型延伸到有关规划设计的对象和事件的更广泛的问题上面。因此，我们将再次延伸这个模型，之后再阐述这个模型在一系列半真实的城市问题中的应用。