Понимание эргодичности в процессах принятия решений Маркова

Понимание эргодичности в процессах принятия решений Маркова

2 июля 2025 г.

Аннотация и 1. Введение

1.1 Связанная работа

  1. Предварительные

    2.1 Системная модель

    2.2 Цель эгоистичной добычи

    2.3 Процессы принятия решений Маркова

  2. Эгоистичная горнодобывающая атака

    3.1 Обзор

    3.2 Формальная модель

    3.3 Формальный анализ

    3.4 Ключевые функции и ограничения

  3. Экспериментальная оценка

  4. Заключение, подтверждение и ссылки

A. NAS Mining Цели

B. Системы эффективных доказательств

C. Доказательство теоремы 3.1

C доказательство теоремы 3.1

Доказательство. Прежде чем мы докажем теорему, мы начнем с того, что делаем несколько наблюдений и введем дополнительные обозначения. Доказательство предполагает знакомство с основными представлениями о цепях Маркова и MDP, для которых мы передаем читателя [22, 26]. Во -первых, мы наблюдаем, что каждая стратегия в MDP M = (𝑆, 𝐴, 𝑃, 𝑠0) приводит к эргодической цепи Маркова. Чтобы увидеть это, заметите, что исходное состояние 𝑠0 достигается с положительной вероятностью от любого другого состояния в MDP, поскольку честные шахтеры с положительной вероятностью шахты и добавляют новые блоки в основную цепочку для последовательных временных шагов, на которые MDP вернется к начальному состоянию 𝑠0.

Далее мы определяем две функции вспомогательного вознаграждения в MDP M:

We are now ready to prove the theorem. To prove the first part of the theorem claim, observe that for each 𝛽 ∈ [0, 1] and for each strategy 𝜎 we have

Авторы:

(1) Krishnendu Chatterjee, IST Австрия, Австрия (Krishnendu.chatterjee@ist.ac.at);

(2) Амирали Эбрагимзаде, Технологический университет Шарифа, Иран (ebrahimzadeh.amirali@gmail.com);

(3) Мехрдад Карраби, Ист Австрия, Австрия (Mehrdad.karrabi@ist.ac.at);

(4) Krzysztof Pietrzak, IST Австрия, Австрия (Krzysztof.pietrzak@ist.ac.at);

(5) Мишель Йео, Национальный университет Сингапура, Сингапур (mxyeo@nus.edu.sg);

(6) ðorđe žikelić, Сингапурский университет управления, Сингапур (dzikelic@smu.edu.sg).


Эта статья естьДоступно на ArxivПод CC по лицензии 4.0.


Оригинал
PREVIOUS ARTICLE
NEXT ARTICLE