假设得到一个待识别量的特征X＝（x₁，x₂，…，x_n）^T后，通过样本库可以计算先验概率P（ω_i）及类别条件概率密度函数P（X∣ω_i），得到呈现状态X时，该样本分属各类别的概率。显然这个概率值可以作为识别对象判属的依据。基于最小错误概率的贝叶斯决策就是按后验概率的大小判决的。

对于两类分类问题，最小错误率贝叶斯分类的指导思想是：对于模式X，如果它属于模式类ω₁的概率大于模式类ω₂的概率，则决策模式X属于模式类ω₁；反之，决策模式X属于模式类ω₂。用数学语言描述为

若P（ω₁∣X）＞P（ω₂∣X），则X∈ω₁

若P（ω₁∣X）＜P（ω₂∣X），则X∈ω₂

其中，P（ω_i∣X）为状态的后验概率。

由贝叶斯公式，并且考虑到P（X）＞0，则上述决策规则可写成依据类条件概率密度的形式

若P（X∣ω₁）P（ω₁）＞P（X∣ω₂）P（ω₂），则X∈ω₁

若P（X∣ω₁）P（ω₁）＜P（X∣ω₂）P（ω₂），则X∈ω₂

若两类样本都满足正态分布，则最小错误概率的贝叶斯分类器判别函数为

若两类样本不仅呈正态分布，而且协方差矩阵相等，即S₁＝S₂＝S，则贝叶斯分类器可进一步简化为

而对于多类分类问题，若样本分为M类ω₁，ω₂，…，ω_M，各类的先验概率分别为P（ω₁），P（ω₂），…，P（ω_M），各类的类条件概率密度分别为P（X∣ω₁），P（X∣ω₂），…，P（X∣ω_M），M个判别函数，在取得一个特征X后，可以通过比较各个判别函数来确定X的类别。

由于先验概率通常是非常容易求出的，贝叶斯分类器的核心问题就是求出类条件概率密度函数。在大多数情况下，类条件概率密度函数可以采用多维变量的正态密度函数来模拟，此时正态分布的贝叶斯分类器判别函数为

若ω₁，ω₂，…，ω_M均服从正态分布，则判别函数可以写成

若ω₁，ω₂，…，ω_M不仅服从正态分布，而且协方差矩阵相等，则判别函数可以简化为