Le principe du théorème ou formule de Bayes est la recherche des probabilités des causes d'événements donnés.
Prenons un exemple simple:

• Considérons deux urnes U₁ et U₂. L'urne U₁ contient 2 boules blanches et 3 boules noires. L'urne U₂ contient 1 boule blanche et 4 boules noires. Appelons B l'événement "tirer une boule blanche" et N l'événement "tirer une boule noire". Dans chaque urne, il y a équiprobabilité du choix des boules.
  On choisit une urne au hasard, chaque urne ayant la même probabilité d'être chosie que l'autre, puis on tire une boule de cette urne.
  Question:
  On sait que qu'une boule blanche a été tirée. Quelle est la probabilité d'avoir choisi l'urne U₁?
  Si on appelle U l'événement "choisir U₁" et V l'événement "choisir l'urne U₂", on peut voir que la question posée revient à chercher la probabilité de l'événement " U sachant B".
  A priori, les données du texte ne permettent pas de répondre directement à la question, mais en revenant à ces données, on peut voir que:
  1: On sait que P_U(B) =0,40 car il y a 2 boules blanches parmi les 5 boules de U1.
  2: On sait que P(U) = P(V) = 0,50 car les deux urnes ont la même probabilité d'être choisies.
  3: On sait que P_V(B) = 0,20 car il y a 1 boule blanche parmi les 5 boules de U₂.
  Pour calculer la probabilité de P_B(U), d'après le principe des probabilités contionnelles, il suffit de connaitre : P( U B) et P(B). Or, on sait que :
  P(B) = P_U(B)P(U) + P_V(B)P(V) d'après la loi des Probabilités Totales, et que
  P(U B) = P_U(B)P(U).
  D'où :
  Un simple calcul alors permet de voir que : P_B(U) = .
  SI on sait qu'une boule blanche a été tirée, il y a une probabilité de que cette boule vienne de l'urne U₁, ou encore, que l'urne U₁ soit la cause du fait d'avoir tirer une boule blanche.

Le cas de la relation (1) ci-dessus est valable, bien sur, pour des événements U, V et B d'un espace probabilisé quelconque. Dans le cas général, on obtient, en reprenant le raisonnement précédent:
Formule de Bayes:
Si {A₁ ; A₂ ; ... ;A_n} est une partition d'un univers W muni d'un probabilité P, alors pour tout événement B , on  a :
   
Les probabilités des A_k sont appelées "probabilités à priori " et
les probabilités des "B sachant A_k" sont appelées " probabilités à postériori ".

Un contexte d'utlisation de la formule de Bayes est la "vérification", après une expérience, d'une hypothèse. Si un événement peut avoir plusieurs causes avec des probabilités connues, on peut, par la formule de Bayes, avoir une idée si l'hypothèse formulée sur les probabilités de ces causes est plausible ou non.

Exemples:

1. On estime qu'une personne ayant correctement révisé ses cours pour cet examen a une probabilité de 20% d'échouer à l'examen. En revanche, on estime qu'une personne n'ayant pas révisé ses cours a une probabilité de 60% d'échouer à cet examen. On sait aussi que 50% des personne ont correctement révisé leurs cours et 50% n'ont pas correctement révisé leurs cours
   Une personne passe deux fois de suite cet examen et échoue par deux fois mais affirme pourtant avoir parfaitement réviser. Est-ce plausible?
   Appelons E l'événement "echouer 2 fois" , A l'événement "la personne a révisé ses cours " et B l'événement contraire de A.
   La probabilité de "E sachant A" est (0,20)² = 0,04.
   La probabilité de "E sachant B" est (0,60)² = 0,36.
   A priori, on suppose que la personne qui a échoué 2 fois à l'examen a correctement révisé avec une probabilité de 0,50.
   On a donc P(A) = P(B) = 0,50
   La formule de Bayes donne alors :
   Probabilité d'avoir réviser sachant que l'on a échoué 2 fois = 0,10.
   Probabilité de ne pas avoir réviser sachant que l'on a échoué 2 fois = 0,90.
   Il y a donc une probabilité de 0,90 que la personne n'a pas révisé. Ce qu'elle dit est peu plausible!
   
   
2. On estime que le gérant d'un portefeuille boursier bien informé a, pour une action donnée achetée, une probabilité égale à 0,80 de voir l'action monter. On estime aussi qu'un gérant mal informé a une probabilité égale à 0,50 de voir l'action baisser.
   On estime aussi que 30% des gérants de portefeuilles boursiers sont bien informés, les autres ne l'étant pas.
   Un gérant donné achête 5 actions indépendantes les unes des autres. 3 montent et 2 baissent.
   Est-il bien informé ou non ?
   Appelons A l'événement "le gérant est bien informé" , B l'événement contraire de A et E l'événement " 3 actions sur 5 montent et 2 baissent".
   La probabilité à priori, que le gérant soit bien informé est 0,30.
   On a donc P(A) = 0,30  et  P(B) = 0,70 .
   Alors, on a :
   
   Et d'après la formule de Bayes, on a donc:
   
   A postériori, ce gérant n'a pas l'air très bien informé, malgré sa réussite "3 fois sur 5"