Investigación Naive Bayes

DIVISIÓN DE ESTUDIO DE POSTGRADO E
INVESTIGACIÓN.
MAESTRÍA EN CIENCIAS DE LA
COMPUTACIÓN
TÍTULO DEL TRABAJO:

TEÓRIA DEL CLASIFICADOR NAÏVE BAYES.
MATERIA:
RECONOCIMIENTO DE PATRONES
CATEDRÁTICO:
DR. RAÚL SANTIAGO MONTERO
PRESENTA:
LUIS EDUARDO RONQUILLO ORDOÑEZ
Fecha: 03-MAYO-2019
Teoría del clasificador Naïve Bayes.
La regla de Bayes es un caso especial de la probabilidad condicional
que se aplica cuando se desea calcular la probabilidad condicional de un
evento que ocurrió primero dado lo que ocurrió después.
Los conceptos de probabilidad condicional e independencia surgieron

de manera natural en el proceso de encontrar la solución a algunos
problemas provenientes de situaciones reales.
PROBABILIDAD CONDICIONAL. Sean A y B dos eventos en

donde B es tal que su probabilidad es estrictamente positiva. La
probabilidad condicional del evento A dado el B denotada por 𝑃(𝐴|𝐵), se
define como:
𝑃(𝐴 ∩ 𝐵)
𝑃 (𝐴 |𝐵 ) =
𝑃(𝐵)
La expresión 𝑃 (𝐴|𝐵 ) se lee probabilidad condicional del evento A

dado el evento B, o simplemente probabilidad de A dado B. Para que la
definición tenga sentido se necesita suponer que 𝑃(𝐵) > 0 y por otro lado
no existe definición para 𝑃 (𝐴|𝐵) cuando 𝑃(𝐵) = 0.
Ejemplo. Considere el experimento de lanzar un dado equilibrado. El

espacio muestral es Ω = {1,2,3,4,5,6}, el cual por hipótesis es
equiprobable. Sean los eventos 𝐴 = {2} 𝑦 𝐵 = {2,4,6} = "𝐶𝑎𝑒 𝑝𝑎𝑟" .
1
Entonces 𝑃(𝐴) = 6 mientras que
𝑃({2} ∩ {2,4,6}) 𝑃({2}) 1/6 1

𝑃 (𝐴 |𝐵 ) = = = =
𝑃({2,4,6}) 𝑃({2,4,6}) 3/6 3
Se observa que conocer la información de la ocurrencia del evento B,

ha afectado la probabilidad del evento A, es decir, dada la información
que el resultado del dado es un numero par, la probabilidad de obtener “2”
es ahora 1/3.
INDEPENDENCIA DE EVENTOS. Se dice que dos eventos
cualesquiera A y B son independientes si se cumple la condición
𝑃(𝐴 ∩ 𝐵) = 𝑃 (𝐴)𝑃(𝐵). Esta igualdad es equivalente a la expresión
𝑃(𝐴|𝐵) = 𝑃(𝐴) 𝑐𝑢𝑎𝑛𝑑𝑜 𝑃(𝐵) > 0. La ventaja de esta última expresión
es que posee una interpretación sencilla: dice que la probabilidad del
evento A es la misma cuando sabemos que ha ocurrido el evento B, y
cuando no sabemos nada. Es decir, cuando la ocurrencia del evento B no
afecta la probabilidad del evento A y por lo tanto son independientes. De
manera similar puede interpretarse la igualdad equivalente 𝑃 (𝐵|𝐴) =
𝑃(𝐵) 𝑐𝑢𝑎𝑛𝑑𝑜 𝑃(𝐴) > 0.
La definición de independencia de dos eventos puede generalizarse al

caso de varios eventos de la siguiente forma: Decimos que 𝑛 eventos
𝐴1 , 𝐴2 , … , 𝐴𝑛 son independientes si se satisfacen todas y cada una de las
condiciones siguientes:
𝑃(𝐴𝑖 ∩ 𝐴𝑗 ) = 𝑃(𝐴𝑖 )𝑃(𝐴𝑗 ), 𝑖 ≠ 𝑗.
𝑃(𝐴𝑖 ∩ 𝐴𝑗 ∩ 𝐴𝑘 ) = 𝑃(𝐴𝑖 )𝑃(𝐴𝑗 )𝑃(𝐴𝑘 ), 𝑖≠𝑗≠𝑘

⋮
𝑃(𝐴1 ∩ … ∩ 𝐴𝑛 ) = 𝑃(𝐴1 ) … 𝑃(𝐴𝑛 ).
En general para verificar que 𝑛 eventos son independiente es

necesario comprobar todas y cada una de las desigualdades anteriores. Es
decir, cualquiera de estas igualdades no implica, en general, la validez de
alguna otra.
TEOREMA DE BAYES. Este es un resultado interesante que

involucra probabilidades condicionales. Fue publicado por primera vez en
1763, dos años después de la muerte de su creador, el matemático inglés
Thomas Bayes.
Proposición (Regla de bayes).

Sean 𝐴1 , 𝐴2 , … , 𝐴𝑛 una partición de S y B un evento cualquiera en S.
𝑃(𝐴𝑖 ) 𝑃(𝐵|𝐴𝑖 )
Entonces: 𝑃 (𝐴𝑖 |𝐵) = 𝑘
∑𝑖=1 𝑃(𝐴𝑖 )𝑃(𝐵|𝐴𝑖 )
Esto nos permite encontrar las probabilidades de diferentes eventos
𝐴1 , 𝐴2 , … , 𝐴𝑛 que pueden hacer que ocurra A. Por esta razón, con
frecuencia se hace referencia al teorema de Bayes como el teorema de la
probabilidad de las causas.
CLASIFICADOR NAÏVE BAYES. En Machine Learning es uno de

los clasificadores que pertenecen a la familia de clasificadores
probabilísticos, basado en la aplicación del teorema de bayes asumiendo
la independencia entre las características.
Se trata de una técnica de clasificación y predicción supervisada que

construye modelos que predicen la probabilidad de posibles resultados.
Constituye una técnica supervisada porque necesita tener ejemplos
clasificados para que funcione.
El problema de clasificación supervisada consiste en asignar un vector

𝑥 = (𝑥1 , … , 𝑥𝑛 ) a una de las clases de la variable 𝐶 (clasificación). Y se
puede apreciar como una función 𝑓(𝑥) que asigna etiquetas a patrones de
entrada. Es decir:
𝛾: (𝑥1 , … , 𝑥𝑛 ) → {1,2, … , 𝑟0 }
A pesar de tener una larga tradición en la comunidad de

reconocimiento de patrones el clasificador Naïve Bayes aparece por
primera vez en la literatura del aprendizaje automático a finales de los 80´s
con el objetivo de comparar su capacidad predictiva con la de métodos
más sofisticados. De manera gradual los investigadores de esta comunidad
de aprendizaje automático se han dado cuenta de su potencialidad y
robustez en problemas de clasificación supervisada.
Del paradigma Naïve bayes el cual le debe su nombre a la hipótesis de

independencia condicional de las variable predictor dada la variable clase
sobre las que se construye este clasificador.
ALGORTIMO. Para la construcción del modelo se instan 4 pasos:

1. Calcular las probabilidades a priori de cada una de las clases.
2. Para cada clase realizar un recuento de los valores de atributos que
toma cada ejemplo. Se debe distribuir por separado para mayor
comodidad y eficiencia del algoritmo.
3. Normalizar para obtener un rango de valores [0,1].
4. Aplicar la fórmula de Naïve Bayes.
1. Bibliografía
[1] Rincón, L. (2007). Curso elemental de PROBABILIDAD Y

ESTADÍSTICA. México.
[2] Spiegel, M., Schiller, J., & Srinivasan, A. (2003). Probabilidad y
Estadística. México: McGraw-Hill.

Investigación Naive Bayes

Cargado por

Copyright:

Formatos disponibles

Investigación Naive Bayes

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Investigación Naive Bayes

Cargado por

Copyright:

Formatos disponibles

DIVISIÓN DE ESTUDIO DE POSTGRADO E

TÍTULO DEL TRABAJO:

Los conceptos de probabilidad condicional e independencia surgieron

PROBABILIDAD CONDICIONAL. Sean A y B dos eventos en

La expresión 𝑃 (𝐴|𝐵 ) se lee probabilidad condicional del evento A

Ejemplo. Considere el experimento de lanzar un dado equilibrado. El

𝑃({2} ∩ {2,4,6}) 𝑃({2}) 1/6 1

Se observa que conocer la información de la ocurrencia del evento B,

La definición de independencia de dos eventos puede generalizarse al

𝑃(𝐴𝑖 ∩ 𝐴𝑗 ) = 𝑃(𝐴𝑖 )𝑃(𝐴𝑗 ), 𝑖 ≠ 𝑗.

𝑃(𝐴𝑖 ∩ 𝐴𝑗 ∩ 𝐴𝑘 ) = 𝑃(𝐴𝑖 )𝑃(𝐴𝑗 )𝑃(𝐴𝑘 ), 𝑖≠𝑗≠𝑘

En general para verificar que 𝑛 eventos son independiente es

TEOREMA DE BAYES. Este es un resultado interesante que

Proposición (Regla de bayes).

CLASIFICADOR NAÏVE BAYES. En Machine Learning es uno de

Se trata de una técnica de clasificación y predicción supervisada que

El problema de clasificación supervisada consiste en asignar un vector

A pesar de tener una larga tradición en la comunidad de

Del paradigma Naïve bayes el cual le debe su nombre a la hipótesis de

ALGORTIMO. Para la construcción del modelo se instan 4 pasos:

[1] Rincón, L. (2007). Curso elemental de PROBABILIDAD Y

También podría gustarte