Muitos problemas exigem uma estimativa de probabilidade como saída. A regressão logística é um mecanismo extremamente eficiente para calcular probabilidades. Na prática, é possível usar a probabilidade retornada de uma destas duas maneiras:
- "Como está"
- Convertido para uma categoria binária.
Vamos analisar como podemos usar a probabilidade "no estado em que se encontram." Suponha que criemos um modelo de regressão logística para prever a probabilidade de um cachorro latir durante a noite. Vamos chamá-lo de probabilidade:
\[p(bark | night)\]
Se o modelo de regressão logística previr \(p(bark | night) = 0.05\), ao longo de um ano, os proprietários dos cães precisarão ser acordados aproximadamente 18 vezes:
\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]
Em muitos casos, você mapeará a saída da regressão logística na solução para um problema de classificação binária em que o objetivo é prever corretamente um dos dois rótulos possíveis (por exemplo, "spam" ou "não é spam"). Um próximo módulo se concentra nisso.
Você pode estar se perguntando como um modelo de regressão logística pode garantir uma saída que sempre fique entre 0 e 1. Como acontece, uma função sigmoide, definida a seguir, produz um resultado com as mesmas características:
A função sigmoide gera o seguinte gráfico:
Figura 1: função sigmoide.
Se \(z\) representar a saída da camada linear de um modelo treinado com regressão logística, \(sigmoid(z)\) vai gerar um valor (uma probabilidade) entre 0 e 1. Em termos matemáticos:
onde:
- \(y'\) é a saída do modelo de regressão logística de um exemplo específico.
- \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
- Os valores \(w\) são os pesos aprendidos do modelo, e \(b\) é o viés.
- Os valores \(x\) são os valores de recurso de um exemplo específico.
Observe que \(z\) também é conhecido como log-odds, porque o inverso dos sigmoides \(z\) pode ser definido como o registro da probabilidade do rótulo \(1\) (por exemplo, "latidos de cachorro") dividido pela probabilidade do identificador \(0\)(por exemplo, "cachorro não/#39;não latir"):
Veja a função sigmoide com identificadores de ML:
Figura 2: saída da regressão logística.
Clique no ícone de adição para ver um exemplo de cálculo da inferência de regressão logística.
Suponha que tínhamos um modelo de regressão logística com três atributos que aprenderam o viés e pesos a seguir:
$$\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} $$Além disso, suponha os seguintes valores de recurso para um determinado exemplo:
$$\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} $$Portanto, as mensagens de registro:
será:
$$(1) + (2)(0) + (-1)(10) + (5)(2) = 1$$Consequentemente, a previsão de regressão logística para este exemplo específico será 0,731:
Figura 3: probabilidade de 73,1% .