Discrete-Time Markov Chains: Two-Time-Scale Methods and Applications

G. George Yin, Qing Zhang9780387219486, 0-387-21948-X

This book focuses on the theory and applications of discrete-time two-time-scale Markov chains. Much effort in this book is devoted to designing system models arising from these applications, analyzing them via analytic and probabilistic techniques, and developing feasible computational algorithms so as to reduce the inherent complexity. This book presents results including asymptotic expansions of probability vectors, structural properties of occupation measures, exponential bounds, aggregation and decomposition and associated limit processes, and interface of discrete-time and continuous-time systems. One of the salient features is that it contains a diverse range of applications on filtering, estimation, control, optimization, and Markov decision processes, and financial engineering. This book will be an important reference for researchers in the areas of applied probability, control theory, operations research, as well as for practitioners who use optimization techniques. Part of the book can also be used in a graduate course of applied probability, stochastic processes, and applications.

---

Table of contents :
1……Page 16
3……Page 17
4……Page 18
5……Page 19
6……Page 20
7……Page 21
8……Page 22
9……Page 23
Binder9.pdf……Page 0
i……Page 1
ii……Page 2
iii……Page 3
iv……Page 4
vii……Page 5
viii……Page 6
ix……Page 7
x……Page 8
xi……Page 9
xii……Page 10
xiii……Page 11
xix……Page 12
xvi……Page 13
xvii……Page 14
xviii……Page 15
10……Page 24
11……Page 25
12……Page 26
13……Page 27
14……Page 28
15……Page 29
16……Page 30
17……Page 31
18……Page 32
19……Page 33
20……Page 34
21……Page 35
22……Page 36
23……Page 37
25……Page 38
26……Page 39
27……Page 40
28……Page 41
29……Page 42
30……Page 43
31……Page 44
32……Page 45
33……Page 46
34……Page 47
35……Page 48
36……Page 49
37……Page 50
38……Page 51
39……Page 52
40……Page 53
43……Page 54
44……Page 55
45……Page 56
46……Page 57
47……Page 58
48……Page 59
49……Page 60
50……Page 61
51……Page 62
52……Page 63
53……Page 64
54……Page 65
55……Page 66
56……Page 67
57……Page 68
58……Page 69
59……Page 70
60……Page 71
61……Page 72
62……Page 73
63……Page 74
64……Page 75
65……Page 76
66……Page 77
67……Page 78
68……Page 79
69……Page 80
70……Page 81
71……Page 82
72……Page 83
73……Page 84
74……Page 85
75……Page 86
76……Page 87
77……Page 88
78……Page 89
79……Page 90
80……Page 91
81……Page 92
82……Page 93
83……Page 94
84……Page 95
85……Page 96
86……Page 97
87……Page 98
88……Page 99
89……Page 100
90……Page 101
91……Page 102
92……Page 103
93……Page 104
94……Page 105
95……Page 106
96……Page 107
97……Page 108
98……Page 109
99……Page 110
100……Page 111
101……Page 112
102……Page 113
103……Page 114
104……Page 115
105……Page 116
106……Page 117
107……Page 118
108……Page 119
109……Page 120
110……Page 121
111……Page 122
112……Page 123
113……Page 124
114……Page 125
115……Page 126
116……Page 127
117……Page 128
118……Page 129
119……Page 130
120……Page 131
121……Page 132
122……Page 133
123……Page 134
124……Page 135
125……Page 136
126……Page 137
127……Page 138
128……Page 139
129……Page 140
130……Page 141
133……Page 142
134……Page 143
135……Page 144
136……Page 145
137……Page 146
138……Page 147
139……Page 148
140……Page 149
141……Page 150
142……Page 151
143……Page 152
144……Page 153
145……Page 154
146……Page 155
147……Page 156
148……Page 157
149……Page 158
150……Page 159
151……Page 160
152……Page 161
153……Page 162
154……Page 163
155……Page 164
156……Page 165
157……Page 166
158……Page 167
159……Page 168
160……Page 169
161……Page 170
162……Page 171
163……Page 172
164……Page 173
165……Page 174
166……Page 175
167……Page 176
168……Page 177
169……Page 178
170……Page 179
171……Page 180
172……Page 181
173……Page 182
174……Page 183
175……Page 184
176……Page 185
177……Page 186
178……Page 187
179……Page 188
180……Page 189
181……Page 190
182……Page 191
183……Page 192
184……Page 193
185……Page 194
186……Page 195
187……Page 196
188……Page 197
189……Page 198
190……Page 199
191……Page 200
192……Page 201
193……Page 202
195……Page 203
196……Page 204
197……Page 205
198……Page 206
199……Page 207
200……Page 208
201……Page 209
202……Page 210
203……Page 211
204……Page 212
205……Page 213
206……Page 214
207……Page 215
208……Page 216
209……Page 217
210……Page 218
211……Page 219
212……Page 220
213……Page 221
214……Page 222
215……Page 223
216……Page 224
217……Page 225
218……Page 226
219……Page 227
220……Page 228
221……Page 229
222……Page 230
223……Page 231
225……Page 232
226……Page 233
227……Page 234
228……Page 235
229……Page 236
230……Page 237
231……Page 238
232……Page 239
233……Page 240
234……Page 241
235……Page 242
236……Page 243
237……Page 244
238……Page 245
239……Page 246
240……Page 247
241……Page 248
242……Page 249
243……Page 250
244……Page 251
245……Page 252
246……Page 253
247……Page 254
248……Page 255
249……Page 256
250……Page 257
251……Page 258
252……Page 259
253……Page 260
254……Page 261
255……Page 262
256……Page 263
257……Page 264
258……Page 265
259……Page 266
260……Page 267
261……Page 268
262……Page 269
263……Page 270
264……Page 271
265……Page 272
266……Page 273
267……Page 274
268……Page 275
269……Page 276
270……Page 277
271……Page 278
272……Page 279
273……Page 280
274……Page 281
275……Page 282
276……Page 283
277……Page 284
278……Page 285
279……Page 286
280……Page 287
281……Page 288
282……Page 289
283……Page 290
284……Page 291
285……Page 292
286……Page 293
287……Page 294
288……Page 295
289……Page 296
290……Page 297
291……Page 298
292……Page 299
293……Page 300
294……Page 301
295……Page 302
296……Page 303
297……Page 304
298……Page 305
299……Page 306
300……Page 307
301……Page 308
302……Page 309
303……Page 310
304……Page 311
305……Page 312
306……Page 313
307……Page 314
308……Page 315
309……Page 316
310……Page 317
311……Page 318
312……Page 319
313……Page 320
315……Page 321
316……Page 322
317……Page 323
318……Page 324
319……Page 325
320……Page 326
321……Page 327
322……Page 328
323……Page 329
324……Page 330
325……Page 331
326……Page 332
327……Page 333
328……Page 334
329……Page 335
330……Page 336
331……Page 337
332……Page 338
333……Page 339
334……Page 340
335……Page 341
336……Page 342
337……Page 343
338……Page 344
339……Page 345
340……Page 346
341……Page 347
342……Page 348
343……Page 349
344……Page 350
345……Page 351
346……Page 352
347……Page 353