Markoffsche Entscheidungsprozesse

Der vorliegende Text befaBt sich mit der Kontrolle von Markoff­ Ketten. Es wird insbesondere eine einheitliche Darstellung fUr die folgenden drei Problemkreise angestrebt: Stochastische Dynamische Optimierung, GIUcksspiele (Gambling), Optimales Stoppen. 1m ersten Teil werden die Grundlagen aus der Theorie der Markoff­ Ketten bereitgestellt. Dieser Band ist eine Uberarbeitete Fassung einer Vorlesungsausarbeitung, die als Nr. 33 in der Vorlesungsreihe des Sonderforschungsbereiches 72 am Institut fUr Angewandte Mathematik der Universitat Bonn erschienen ist. Durch die Beschrankung auf abzahlbare Zustandsraume genUgen zum Verstandnis des Uberwiegenden Teils des Textes die Kenntnisse aus einer einfUhrenden Wahrscheinlichkeitstheorievorlesung. Lediglich fUr die Modellbildung werden MaBe auf Produktraumen mit abzahlbar vielen Faktoren benotigt. In §18 wird darUberhinaus der Hauptgrenz­ wertsatz fUr Martingale benutzt. Gleichungen, Aussagen und Satze werden hierarchisch durchnumeriert. Die als Bemerkungen formulierten Aussagen werden in dem jeweils folgenden Stoff nicht benotigt. Eine Reihe von Aussagen wird nicht bewiesen. Ihre Beweise werden als Obungsaufgaben gestellt. Am Ende des Vorworts werden die Abhangigkeiten der Paragraphen dargestellt. Dabei werden nur die gezeigt, die sich fUr das logische Verstandnis, und nicht die, die sich lediglich aus GrUnden der Motivation ergeben. Wird das Schwergewicht auf Markoff-Ketten gelegt, so konnen §1-7, 9-11, 14, 16 gelesen werden. Steht die Dynamische Optimie­ rung im Vordergrund, so genUgen §§9-1S. 1st man vor allem an GIUcksspielmodellen interessiert, so empfehlen sich §§ 1, 9-11, 18, 19. Die in Paragraph 17 dargestellte VerallQ"emeinerun!1 von VI §8 kann auch bereits nach 16.19 verstanden werden, wenn man wie in §8 keine laufenden Einschrittgewinne berticksichtigt.