Ver la fonte de Cadena de Márkov

Na [[teoría de la probabilidá]], conozse como '''cadena de Márkov''' o '''modelu de Márkov''' a un tipu especial de [[procesu estocástico]] 
discretu nel que la probabilidá de qu'asoceda un eventu depende ''solamente'' del eventu darréu anterior. Esta carauterística de falta de memoria recibe'l nome de ''propiedá de Markov''.
[[Ficheru:Markovkate 01.svg|thumb|Cadena simple biestable de Markov.]]
Recibe'l so nome del [[matemáticu]] [[Rusia|rusu]] [[Andréi Márkov]] (1856-1922), que lo introdució en [[1907]].<ref>{{cita publicación |apellíu=Basharin |nome=Gely P. |apellíu2=Langville |nome2=Amy N. |apellíu3=Naumov |nome3=Valeriy A. |títulu=The Life and Work of A. A. Markov |url=http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.4.4887 |idioma=inglés |publicación=Linear Algebra and its Applications |fecha=2004 |volume=386 |páxines=3-26 |fechaaccesu=31 de marzu de 2010}}</ref>

Estos modelos estadísticos cunten con un gran númberu d'aplicaciones reales.

== Definición formal ==
En [[matemática]] defínese como un [[procesu estocástico]] discretu que cumple cola [[propiedá de Márkov]], esto ye, si conoz la hestoria del sistema hasta'l so intre actual, el so estáu presente resume tola información relevante pa describir en probabilidá'l so estáu futuru.

Una cadena de Márkov ye una secuencia ''X<sub>1</sub>'', ''X<sub>2</sub>'', ''X<sub>3</sub>'',... de variables aleatories. El dominiu d'estes variables ye llamáu espaciu tao; el valor de ''X<sub>n</sub>'' ye l'estáu del procesu nel tiempu ''n''. Si la distribución de probabilidá condicional de ''X''<sub>''n''+1</sub> n'estaos pasaos ye una función de ''X''<sub>''n''</sub> por sigo sola, entós:

: <math> P(X_{n+1}=x_{n+1}|X_n=x_n, X_{n-1}=x_{n-1}, \ldots, X_2=x_2, X_1=x_1) = P(X_{n+1}=x_{n+1}|X_n=x_n). \, </math>

Onde ''x<sub>i</sub>'' ye l'estáu del procesu nel intre ''i''. La identidá amosada ye la '''[[propiedá de Márkov]]'''.

== Notación útil ==

=== Cadenes homoxénees y non homoxénees ===

* Una cadena de Márkov dizse ''homoxénea'' si la probabilidá de dir del estáu i al estáu j nun pasu nun depende del tiempu nel que s'atopa la cadena, esto ye:

:<math>P(X_n=j|X_{n-1}=i)=P(X_1=j|X_0=i) \,</math> pa tou n y pa cualesquier i, j.

Si pa dalguna pareya d'estaos y pa dalgún tiempu n la propiedá antes mentada nun se cumple vamos dicir que la cadena de Márkov ye ''non homoxénea''.

=== Probabilidaes de transición y matriz de transición ===

* La probabilidá de dir del estáu ''i'' al estáu ''j'' en ''n'' unidaes de tiempu ye

:<math>p_{ij}^{(n)} = \Pr(X_n=j\mid X_0=i) \,</math>,

na probabilidá de transición nun pasu omítese'l superíndice de cuenta que queda

:<math>p_{ij} = \Pr(X_1=j\mid X_0=i). \,</math>

* Un fechu importante ye que les probabilidaes de transición en n pasos satisfaen la [[Llei de Chapman-Kolmogórov|ecuación de Chapman-Kolmogórov]], esto ye, pa cualesquier ''k'' tal que 0&nbsp;<&nbsp;''k''&nbsp;<&nbsp;''n'' cumplir que

:<math>p_{ij}^{(n)} = \sum_{r \in Y} p_{dir}^{(k)} p_{rj}^{(n-k)}</math>

onde Y denota l'espaciu d'estaos.

* Cuando la cadena de Márkov ye homoxénea, munches de les sos propiedaes útiles pueden llograse al traviés de la so matriz de transición, definida entrada a entrada como <math>A_{i,j} = p_{i j}\,</math>

esto ye, la entrada i, j correspuende a la probabilidá de dir del estáu i a j nun pasu.

De la mesma puede llograse la matriz de transición en n pasos como:

<math>A_{i,j}^{(n)}=P_{i j}^{(n)}</math>, onde <math>P_{i j}^{(n)}=P(X_n=j|X_0=i)</math>.

=== Vector de probabilidá invariante ===

* Defínese la distribución inicial <math>\pi (x) = P(X_0=x) \,</math>.

* Vamos Dicir qu'un vector de probabilidá (finito o infinitu numerable) ye invariante pa una cadena de Márkov si 

:<math>\nu P = \nu \,</math>

onde P denota la matriz de transición de la cadena de Márkov. Al vector de probabilidá invariante tamién se-y llama ''distribución estacionaria'' o ''distribución d'equilibriu''.

=== Clases de comunicación ===

* Pa dos estaos ''i'',''j'' nel espaciu d'estaos '''Y''', vamos dicir que de ''i'' aportar a ''j'' (y se denotará <math>i \rightarrow j</math>) si

:<math>p_{ij}^{(n)} > 0 \,</math> pa dalgún ''n'',

si <math>i \rightarrow j</math> y <math>j \rightarrow i</math> entós vamos dicir que ''i'' ''comunica'' con ''j'' y se denotará i↔j.

La propiedá "↔" ye una [[rellación d'equivalencia]]. Esta rellación induz una partición nel espaciu d'estaos. A estes clases d'equivalencia vamos llamar ''clases de comunicación''.

Dau un estáu ''x'', denotaremos a la so clase de comunicación como '''C(x)'''.

* Vamos Dicir qu'un subconxuntu C del espaciu d'estaos (al que denotaremos '''Y''') ye zarráu si nengún estáu de '''Y'''-C pue ser aportáu dende un estáu de C, esto ye, si <math>p_{x,y}^{(m)} = 0</math> pa tou x∈C, pa tou y∈'''Y'''-C y pa tou natural m>0.

=== Tiempos d'entrada ===
Si <math>C \subset Y</math>, definimos el primer ''tiempu d'entrada'' a C como la [[variable aleatoria]]
{{ecuación|
<math> T_C = 
 \begin{cases} 
 \min\{n > 0 | X_n \in C \} & \mbox{si } \{ n>0 | X_n \in C \} \ne \empty \\ 
 \mathcal{1} \, &\mbox{si } \{ n>0 | X_n \in C \} = \empty
 \end{cases} </math>
||left}}
esto ye, <math>T_C\,</math> denota la primer vegada que la cadena entra al conxuntu d'estaos C.

=== Recurrencia ===

Nuna cadena de Márkov con espaciu d'estaos '''Y''', si ''x''∈'''Y''' defínese <math>L_x = \mathbb{P} \,(X_n = x \ pa \ algun \ n \in \mathbb{N} \, | X_0=x)</math> y vamos dicir que:

* x ye tao ''recurrente'' si <math>L_x = 1\,</math>.
* x ye ''transitoriu'' si <math>L_x < 1\,</math>
* x ye ''absorbente'' si <math>p_{x,x} = 1\,</math>
* Una clase de comunicación ye ''clase recurrente'' si tolos sos estaos son recurrentes.

Sía <math>\mu_x = \mathbb{Y} \, (T_x|X_0 = x) </math>, si x∈'''Y'''vamos dicir que:

* x ye ''cero-recurrente'' si <math>\mu_x = \mathcal{1} \,</math>
* x ye ''positivu-recurrente'' si <math>\mu_x < \mathcal{1} \,</math>

El real <math>\mu_x</math> interprétase como'l tiempu permediu de recurrencia.

=== Periodicidad ===

* El ''periodu'' d'un estáu x∈'''Y''' defínese como:

:<math>d(x) = {\rm mcd}\{ n: P_{x,x}^{(n)} > 0\} </math>

onde <math>{\rm mcd}</math> denota el [[máximu común divisor]].

* Si d(x)=1 vamos dicir que x ye un estáu ''aperiódico''.

* Una cadena de Márkov dizse ''aperiódica'' si tolos sos estaos son ''aperiódicos''.

== Tipos de cadenes de Márkov ==

=== Cadenes errátiques ===

Una cadena de Márkov dizse ''irreducible'' si cumple cualesquier de les siguientes condiciones (equivalentes ente sigo):

# Dende cualquier estáu de '''Y''' puede aportase a cualesquier otru.
# Tolos estaos comunicar ente sigo.
# C(x)='''Y''' pa dalgún x∈'''Y'''.
# C(x)='''Y''' pa tou x∈'''Y'''.
# L'únicu conxuntu zarráu ye'l total.

La [[cadena de Ehrenfest]] o la [[camín aleatoriu|caminada aleatoria]] ensin barreres absorbentes son exemplos de cadenes de Márkov irreducibles.

=== Cadenes positivu-recurrentes ===

Una cadena de Márkov dizse ''positivu-recurrente'' si tolos sos estaos son positivu-recurrentes. Si la cadena ye amás irreducible ye posible demostrar qu'esiste un únicu vector de probabilidá invariante y ta dau por:

:<math>\pi_x = 1/\mu_x \,</math>

=== Cadenes regulares ===

Una cadena de Márkov dizse ''regular'' (tamién ''primitiva'' o ''ergódica'') si esiste dalguna potencia positiva de la matriz de transición que les sos entraes sían toes puramente mayores que cero.

Cuando l'espaciu d'estaos '''Y''' ye finito, si '''P''' denota la matriz de transición de la cadena tiense que:

:<math>\lim_{n \to \mathcal{1} \,}P^n= W</math> 

onde W ye una matriz con tolos sos renglones iguales a un mesmu vector de probabilidá '''w''', que resulta ser el vector de probabilidá invariante de la cadena. Nel casu de cadenes regulares, ésti vector invariante ye únicu.

=== Cadenes absorbentes ===

Una cadena de Márkov con espaciu d'estaos finito dizse absorbente si cumplir los dos condiciones siguientes:

# La cadena tien siquier un estáu absorbente.
# De cualesquier estáu non absorbente aportar a dalgún estáu absorbente.

Si denotamos como '''A''' al conxuntu de tolos estaos absorbentes y al so complementu como '''D''', tenemos les siguientes resultaos:

* El so matriz de transición siempres puede llevase a una de la forma 

:<math>P =
 \begin{pmatrix}
 Q & R \\
 0 & I \end{pmatrix}</math>.
 

onde la submatriz Q correspuende a los estaos del conxuntu D, I ye la matriz identidá, 0 ye la matriz nula y R dalguna submatriz.

* <math>P_x(T_A < \mathcal{1} \,) = 1 </math>, esto ye, nun importa onde s'atope la cadena, eventualmente va terminar nun estáu absorbente.

=== Cadenes de Márkov en tiempu continuu ===
Si en llugar de considerar una secuencia discreta ''X<sub>1</sub>, X<sub>2</sub>,..., X<sub>i</sub>,..'' con ''i'' indexado nel conxuntu <math>\mathbb{N}\;\!</math> de númberos naturales, considérense les variables aleatories ''X<sub>t</sub>'' con ''t'' que varia nun intervalu continuu del conxuntu <math>\mathbb{R}\;\!</math> de númberos reales, vamos tener una cadena en tiempu continuu. Pa esti tipu de cadenes en tiempu continuu la [[propiedá de Márkov]] espresar de la siguiente manera:
{{ecuación|
<math> P(X(t_{n+1})=x_{n+1} | X(t_n)=x_n, \ldots, X(t_1)=x_1) = P(X(t_{n+1})=x_{n+1}|X(t_n)=x_n)</math> tal que <math> t_{n+1} > t_n > t_{n-1} > \dots > t_1 </math>
||left}}
Pa una cadena de Márkov continua con un númberu finito d'estaos puede definise una matriz estocástica dada por:
{{ecuación|
<math>\mathbf{P}(t_1,t_2)=[p_{ij}(t_1,t_2)]_{i,j=1,\dots,N}, \qquad
p_{ij}(t_1,t_2) = P[X(t_2)=j|X(t_1)=i],\ 0\ge t_1< t_2 </math>
||left}}
La cadena denominar homoxénea si <math>\mathbf{P}(t_1,t_2)=\mathbf{P}(t_2-t_1)</math>. Pa una cadena de Márkov en tiempu continuu homoxénea y con un númberu finito d'estaos puede definise'l llamáu xenerador infinitesimal como:<ref>Masaki Kijima, 1997, p. 175</ref>
{{ecuación|
<math>\mathbf{Q}= \lim_{h\to 0^+} \frac{\mathbf{P}(h)-\mathbf{I}}{h}</math>
||left}}
Y puede demostrase que la matriz estocástica vien dada por:
{{ecuación|
<math>\mathbf{P}(t)= y^{\mathbf{Q}t} = \sum_{n=0}^\infty \frac{\mathbf{Q}^n t^n}{n!} </math>
||left}}

== Aplicaciones ==

=== Meteorología ===
Si consideramos el tiempu atmosféricu d'una rexón al traviés de distintos díes, ye plausible asumir que l'estáu actual namái depende del últimu estáu y non de tola historia en sí, de cuenta que pueden usase cadenes de Márkov pa formular modelos climatolóxicos básicos. Por casu, desenvolviéronse modelos de recurrencia de les agües basaos en cadenes de Márkov.<ref>[http://onlinelibrary.wiley.com/doi/10.1002/qj.49708837511/abstract;jsessionid=13F79369B87DF0Y62F46Y141489D1AC7.f01t02?deniedAccessCustomisedMessage=&userIsAuthenticated=falseK. R. Gabriel & J. Neumann (2006): ''A Markov chain model for daily rainfall occurrence at Tel Aviv'']</ref>

=== Modelos epidemiolóxicos ===

Una importante aplicación de les cadenes de Márkov atopar nel [[procesu Galton-Watson]]. Ésti ye un procesu de ramificación que puede usase, ente otres coses, pa modelar el desenvolvimientu d'una epidemia (vease [[modelaje matemáticu d'epidemies]]).

=== Internet ===

El [[pagerank]] d'una páxina web (usáu por [[Google]] nos sos motores de busca) defínese al traviés d'una cadena de Márkov, onde la posición que va tener una páxina nel buscador va ser determinada pol so pesu na distribución estacionaria de la cadena.

=== Simulación ===
Les cadenes de Márkov son utilizaes p'aprovir una solución analítica a ciertos problemes de simulación, por casu en [[teoría de coles]] el [[Modelu M/M/1]]<ref>Masaki Kijima, 1997, páxs. 287-290.</ref> ye de fechu un modelu de cadenes de Márkov.

=== Xuegos d'azar ===

Son munchos los xuegos d'azar que pueden modelase al traviés d'una cadena de Márkov. El modelu de la [[ruina del xugador]], ([[:en:Gambler's ruin|''Gambler's ruin'']]), qu'establez la probabilidá de qu'una persona qu'apuesta nun xuegu d'azar finalmente termine ensin dineru, ye una de les aplicaciones de les cadenes de Márkov nesti rubro.

=== Economía y finances ===
Les cadenes de Márkov pueden utilizase en modelos simples de valuación d'opciones pa determinar cuándo esiste oportunidá d'[[arbitraxe (economía)|arbitraxe]], según nel modelu de colapsos d'una [[bolsa de valores]] o pa determinar la [[volatilidá (finances)|volatilidá de los precios]]. Nos negocios, les cadenes de Márkov utilizáronse p'analizar los patrones de compra de los [[deldores morosos]], pa entamar les necesidaes d'[[alministración de personal personal]] y p'analizar el reemplazu d'equipu.

=== Xenética ===

Empléguense cadenes de Márkov en teoría de xenética de poblaciones, pa describir el cambéu de frecuencies xéniques nuna población pequeña con xeneraciones discretes, sometida a [[deriva xenética]]. Foi emplegada na construcción del modelu d'espardimientu de [[Motō Kimura]].

=== Música ===

Diversos [[algoritmu de composición musical|algoritmos de composición musical]] usen cadenes de Márkov, por casu el software [[Csound]] o [[Max (programa)|Max]]

=== Operaciones empleguen cadenes de Márkov n'inventarios, caltenimientu, fluxu de procesu

=== Redes Neuronales ===
Utilizar nes [[Máquina de Boltzmann|máquines de Boltzmann]] (redes neuronales)

== Referencies ==
{{llistaref|estilolista=}}

== Bibliografía ==
* A.A. Márkov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". ''Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete'', 2-yá seriya, tom 15, pp.&nbsp;135–156, 1906.
* A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. ''Dynamic Probabilistic Systems, volume 1: Markov Chains''. John Wiley and Sons, 1971.
* Classical Text in Translation: A. A. Markov, An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains, trans. David Link. Science in Context 19.4 (2006): 591–600. Online: http://journals.cambridge.org/production/action/cjoGetFulltext?fulltextid=637500
* Leo Breiman. ''Probability''. Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-296-3. ''(See Chapter 7.)''
* J.L. Doob. ''Stochastic Processes''. New York: John Wiley and Sons, 1953. ISBN 0-471-52369-0.
* S. P. Meyn and R. L. Tweedie. ''Markov Chains and Stochastic Stability''. London: Springer-Verlag, 1993. ISBN 0-387-19832-6. online: [https://web.archive.org/web/20100619010320/https://netfiles.uiuc.edu/meyn/www/spm_files/book.html] . Second edition to appear, [[Cambridge University Press]], 2009.
* S. P. Meyn. ''Control Techniques for Complex Networks''. Cambridge University Press, 2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn & Tweedie. online: https://web.archive.org/web/20100619011046/https://netfiles.uiuc.edu/meyn/www/spm_files/CTCN/CTCN.html
* {{cita llibru |apellíos=Booth| nome=Taylor L. | títulu=Sequential Machines and Automata Theory |edición=1st |editorial=John Wiley and Sons, Inc. |allugamientu=Nueva York |añu=1967| id=Library of Congress Card Catalog Number 67-25924}} Extensive, wide-ranging book meant for specialists, written for both theoretical computer scientists as well as electrical engineers. With detailed explanations of state minimization techniques, FSMs, Turing machines, Markov processes, and undecidability. Excellent treatment of Markov processes pp.&nbsp;449ff. Discusses Z-transforms, D transforms in their context.
* {{cita llibru |apellíos=Kemeny| nome=John G. |nome2=Hazleton |apellíu2=Mirkil |nome3=J. Laurie |apellíu3=Snell |nome4=Gerald L. |apellíu4=Thompson |títulu=Finite Mathematical Structures| edición=1st |editorial=Prentice-Hall, Inc. |allugamientu=Englewood Cliffs, N.J. |añu=1959| id=Library of Congress Card Catalog Number 59-12841}} Classical text. cf Chapter 6 ''Finite Markov Chains'' pp.&nbsp;384ff.
* {{cita llibru |apellíos=Kijima| nome=Masaaki |títulu=Markov Processes for Stochastic Modeling| edición=1st |editorial=Chapman & Hall |allugamientu= Cambridge |añu=1997| isbn= 0 412 60660 7}}
* Y. Nummelin. "Xeneral irreducible Markov chains and non-negative operators". Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X

== Enllaces esternos ==
* [http://www.investigaciondeoperaciones.net/cadenes_de_markov.html Cadenes de Markov en tiempu discretu]
* {{Enllaz rotu|1= |2=http://www.gestiondeoperaciones.net/cadenes-de-markov/exemplu-de-una |date=August 2024 |bot=InternetArchiveBot }} cadena-de-markov-en tiempu discretu/ 
* [http://jasss.soc.surrey.ac.uk/12/1/6.html Techniques to Understand Computer Simulations: Markov Chain Analysis]
* [https://web.archive.org/web/20140506010450/http://sistemasquestionanswering.es/pagina-principal/desambiguacionmarkov.html Dixebra por aciu Cadenes de Markov]
* [http://setosa.io/blog/2014/07/26/markov-chains/index.html Una esplicación visual por Victor Powell]






{{Tradubot|Cadena de Márkov}}

{{control d'autoridaes}}
[[Categoría:Computabilidá]]
[[Categoría:Métodu de Montecarlu]]
[[Categoría:Procesos estocásticos]]
[[Categoría:Modelos de Markov]]
[[Categoría:Wikipedia:Páxines con enllaces interllingüísticos]]