Probabilidade

Treinamento de Probabilidade e Inferência Estatística (31/08/2022)

Parte 1: Probabilidade

Em ciência de dados é importante entender corretamente as ferramentas que estamos utilizando para não afirmar coisas que não são possíveis de se afirmar. Fazemos isso compreendendo bem probabilidade, o que ela mede, quais detalhes estão escondidos atrás da intuição e suas limitações.


Definição de probabilidade

Intuição

Imagine que queremos modelar o experimento de lançamento de um dado. Neste caso, os valores possíveis são {1,2,3,4,5,6}\{ 1,2,3,4,5,6\}.

A probabilidade responde qual a chance de acontecer um evento que é um subconjunto dos possíveis valores do experimento aleatório. Por exemplo, podemos estar interessados em entender qual a chance de o dado sair com a face para cima sendo um número par (isto é, qual a probabilidade de acontecer o subconjunto {2,4,6}\{2,4,6\} no experimento aleatório).

Definição a partir de objetos matemáticos

Definição (espaço amostral): O espaço amostral Ω\Omega de um experimento aleatório é o conjunto de todos os resultados possíveis. Os resultados possíveis são chamados de pontos amostrais ω∈Ω\omega \in \Omega e incluem todas as informações sobre o experimento.

"Definição" (evento): Um evento EE é um subconjunto do espaço amostral, isto é, E∈℘(Ω)E\in\wp(\Omega). Estes são os argumentos da nossa função de probabilidade: poderemos perguntar qual a probabilidade de um determinado evento ocorrer.

Pergunta: Imagine o experimento de lançamento de uma moeda. Qual é o espaço amostral e quais são os possíveis eventos?

  • Os possíveis resultados são ω=H\omega = H ou ω=T\omega = T, portanto Ω={H,T}\Omega = \{ H, T \}.
  • Os eventos aqui são dados pelos conjuntos ∅\varnothing, {H}\{H\}, {T}\{T \} e {H,T}\{H,T\}.

Ainda não definimos o que é uma probabilidade. Ela vai ser algo que vai medir "o quão provável um evento é de acontecer". É esperado que ela satisfaça algumas condições razoáveis.

  • Primeiro, a probabilidade precisa ser um valor entre 00 e 11.
  • Além disso, a probabilidade de algum dos resultados possíveis acontecer tem que ser 1. Isto é, a probabilidade do espaço amostral deve ser 1, pois ele é o conjunto de todos os resultados possíveis.

  • Por fim, se a probabilidade de, em um dado, tirar um 11 é 3/103/10 e a probabilidade de tirar 22 é 1/101/10 então a probabilidade de tirar 11 ou 22 deve ser 3/10+1/10=4/103/10+1/10=4/10.

"Definição" (probabilidade): Uma probabilidade P\mathbb{P} é uma função com domínio no conjunto de eventos ℘(Ω)\wp(\Omega) e contradomínio em [0,1][0,1], isto é, P:℘(Ω)→[0,1]\mathbb{P}:\wp(\Omega)\to[0,1] que satisfaz as seguintes propriedades:

P(Ω)=1, e P(E1∪E2)=P(E1)+P(E2),\mathbb{P}(\Omega) = 1 \textrm{, e }\mathbb{P}\left( E_1\cup E_2\right) = \mathbb{P}\left( E_1 \right) + \mathbb{P}\left( E_2 \right),

para E1E_1 e E2E_2 conjuntos disjuntos de Ω\Omega.

Suponha, agora, que jogue três moedas honestas. Qual é o espaço amostral, quais são os possíveis eventos e qual é a função de probabilidade?

  • Agora temos que Ω={H,T}3\Omega = \{ H , T \}^3 ={(ω1,ω2,ω3):ωi∈{H,T}}== \{(\omega_1, \omega_2, \omega_3):\omega_i\in\{H,T\} \}= {(H,H,H)\{ (H,H,H), (T,H,H)(T,H,H), (H,T,H)(H,T,H), (H,H,T)(H,H,T), (H,T,T)(H,T,T), (T,H,T)(T,H,T), (T,T,H)(T,T,H), (T,T,T)}(T,T,T) \}.

  • Os eventos aqui são dados pelo conjunto das partes de Ω\Omega. Alguns exemplos são ∅\varnothing, {(H,T,H)}\{ (H,T,H)\}, {(H,H,H),(T,T,T)}\{(H,H,H),(T,T,T)\}, {ω∈Ω:primeiro lanc¸amento eˊ cara}\{ \omega \in \Omega : \textrm{primeiro lançamento é cara} \}.

  • A probabilidade de cada elemento individualmente de Ω\Omega é 1/81/8. A probabilidade de um evento qualquer é 1/81/8 vezes o número de elementos naquele evento.

Comentários extras

∮\oint A probabilidade é um objeto matemático usualmente apresentado a partir de suas propriedades, como fizemos aqui. Entretanto, os estatísticos bayesianos gostam de defini-la como um objeto que quantifica uma relação transitiva representando um conceito de crença sobre eventos possíveis. Essa estratégia é um jeito de matematizar de forma rigorosa a nossa intuição. O livro Optimal statistical decisions do DeGroot é uma ótima referência para quem quiser conhecer melhor o assunto.

∮\oint Na prática, dependendo das propriedades que você gostaria que sua probabilidade satisfizesse, nem todo conjunto poderá ter probabilidade. Isso nos faz reduzir o domínio da probabilidade para um subconjunto F\mathcal{F} do conjunto das partes. Esse subconjunto F\mathcal{F} precisa satisfazer algumas propriedades razoáveis como Ω∈F\Omega \in \mathcal{F}, A∈F  ⟹  AC∈FA \in \mathcal{F} \implies A^C \in \mathcal{F} e é chamado de σ\sigma-álgebra.

∮\oint Alinhada com essa definição formal do domínio, a definição da probabilidade também muda. Na prática, a gente precisa da σ\sigma-aditividade, que significa que a probabilidade de uma união enumerável de conjuntos disjuntos é a soma infinita das probabilidades de cada um dos conjuntos: P(⋃i=1∞Ei)=∑i=1∞P(Ei).\mathbb{P}\left( \bigcup_{i=1}^\infty E_i\right) = \sum_{i=1}^\infty \mathbb{P}\left( E_i \right).

∮\oint Não vou mais fazer esses comentários levando em conta σ\sigma-algébras e outros aspectos mais formais, mas tenha em mente que todas as definições que estamos fazendo, inclusive quando falarmos de inferência estatística, são formalizadas por essa linguagem. Um ótimo recurso para começar a ver isso é o canal A Ciência da Estatística. Em um dos seus vídeos, o professor Alexandre Patriota comenta sobre os diferentes níveis de se encarar a probabilidade: elementar, básico, intermediário e avançado (essa nomenclatura não foi inventada, vide o ótimo livro do IMPA Probabilidade: Um Curso em Nível Intermediário, do Barry James). Neste treinamento, trataremos os assuntos num nível básico, mas fica o convite para o estudo do nível intermediário (que vem com muita análise real e que é muito útil para encarar algoritmos numéricos).


Variáveis Aleatórias

"Definição" (variável aleatória): Uma variável aleatória XX é uma função que sai do espaço amostral Ω\Omega e chega na reta R\mathbb{R}, isto é, X:Ω→RX:\Omega\to\mathbb{R}.

No exemplo anterior uma possível variável aleatória poderia ser o número de caras. Para cada elemento ω=(ω1,ω2,ω3)∈Ω\omega= (\omega_1, \omega_2, \omega_3) \in \Omega, conto o número de vezes que ocorre HH.

Uma outra possível seria

X(ω1,ω2,ω3)={1, se ω1=ω2=ω3,0, caso contraˊrio.X(\omega_1, \omega_2, \omega_3) = \begin{cases} 1, \textrm{ se }\omega_1=\omega_2=\omega_3,\\ 0, \textrm{ caso contrário.} \end{cases}

Como uma variável aleatória é uma função, é possível falar sobre sua pré-imagem!

Por exemplo, repare que X−1(1)={ω∈Ω:X(ω)=1}={(H,H,H),(T,T,T)}X^{-1}({1}) = \{\omega \in \Omega : X(\omega) = 1 \} = \{ (H,H,H), (T,T,T) \}. Essa pré-imagem nos permite formalizar a probabilidade diretamente no contradomínio da nossa função: a reta real.


Probabilidade induzida

A probabilidade definida em Ω\Omega se transfere de maneira natural para R\mathbb{R}!

Por exemplo, no caso anterior de lançamento de três moedas, seja XX o número de caras. Para entender a probabilidade de XX ser igual a 22, simplesmente olho para a pré-imagem de 22 em Ω\Omega, ou seja, os ω∈Ω\omega\in\Omega tais que X(ω)=2X(\omega)=2 e vejo qual a probabilidade desse evento!

Temos que {ω∈Ω:X(ω)=2}={(H,H,T),(H,T,H),(T,H,H)}\{ \omega \in \Omega: X(\omega) = 2\} = \{ (H,H,T), (H,T,H), (T,H,H) \}

Com isso, podemos definir

PR(X=2)=P({ω∈Ω:X(ω)=2})=P({(H,H,T),(H,T,H),(T,H,H)})=P({(H,H,T)})+P({(H,T,H)})+P({(T,H,H)})=3⋅18.\mathbb{P}_{\mathbb{R}}(X=2) = \mathbb{P}(\{ \omega \in \Omega: X(\omega) = 2\}) = \mathbb{P}(\{ (H,H,T), (H,T,H), (T,H,H) \}) =\\= \mathbb{P}(\{(H,H,T)\}) + \mathbb{P}(\{(H,T,H)\}) + \mathbb{P}(\{(T,H,H)\}) = 3 \cdot \frac{1}{8}.

De forma análoga, podemos definir probabilidade para subconjuntos de números reais agora! Em particular, vamos estar bastante interessados em medir a probabilidade de intervalos!

Podemos fazer então a função PX:℘(R)→[0,1]\mathbb{P}_X:\wp(\mathbb{R})\to [0,1] que recebe um conjunto da reta, vê quais são os valores de Ω\Omega que são mapeados dentro daquele conjunto e então calcula a probabilidade desse conjunto!

Seja A⊂RA\subset \mathbb{R}, podemos fazer

PX(A)=P({ω∈Ω:X(ω)∈A}). \mathbb{P}_{X}(A) = \mathbb{P}(\{ \omega \in \Omega: X(\omega) \in A\}).

Função de distribuição acumulada (FDA) e função densidade de probabilidade (fdp)

Alguns intervalos importantes são os da forma (−∞,t](-\infty, t]. Por exemplo, no caso anterior, poderíamos querer calcular a probabilidade de o número de caras ser menor ou igual a 1.

Como fizemos no caso anterior, vamos olhar para quais valores do espaço amostral são mapeados pela nossa variável aleatória como sendo menores ou iguais a 1. Escrevendo na forma de conjunto, temos

{ω∈Ω:X(ω)≤1}={(T,T,T),(H,T,T),(T,H,T),(T,T,H)}. \{ \omega \in \Omega: X(\omega) \leq1 \} = \{ (T,T,T), (H,T,T), (T,H,T), (T,T,H) \}.

E daí, a probabilidade

PX((−∞,1])=P({ω∈Ω:X(ω)≤1})=4⋅18. \mathbb{P}_{X}((-\infty,1]) = \mathbb{P}(\{ \omega \in \Omega: X(\omega) \leq1 \}) = 4 \cdot \frac{1}{8}.

De fato, os conjuntos do tipo (−∞,t](-\infty, t] são tão importantes que definimos uma função chamada função de distribuição acumulada dada por

FX(t)=PX((−∞,t])=P({ω∈Ω:X(ω)≤t}). F_X(t) = \mathbb{P}_{X}((-\infty,t]) = \mathbb{P}(\{ \omega \in \Omega: X(\omega) \leq t \}) .

Suporte

O conjunto dos possíveis valores que uma variável aleatória pode assumir é chamado de suporte e muitas vezes é representado por X\mathfrak{X}.

Nos problemas que estamos analisando até agora, estamos trabalhando com um número contável de valores possíveis para a variável aleatória. Neste caso, podemos calcular a probabilidade desses eventos unitários. Guardá-los pode ser útil, pois são os únicos valores possíveis que têm "massa".

A função de distribuição acumulada, nesse caso, soma as massas de probabilidade até tt

FX(t)=∑x∈Xx≤tP(X=x),\begin{equation*} F_X(t) = \sum_{\substack{x\in \mathfrak{X}\\ x \leq t}} \mathbb{P}(X=x) , \end{equation*}

e dizemos que nossa variável aleatória é discreta.

Em alguns casos poderemos escrever FX(t)F_X(t) na forma

FX(t)=∫−∞tfX(x) dx,\begin{equation*} F_X(t) = \int_{-\infty}^t f_X(x) \, dx, \end{equation*}

e fXf_X será chamada de densidade de probabilidade de XX e diremos que nossa variável aleatória é absolutamente contínua.

Com a função de distribuição acumulada podemos calcular a probabilidade de intervalos:

PX((t1,t2])=PX((−∞,t2])−PX((−∞,t1])=FX(t2)−FX(t1).\begin{equation*} \mathbb{P}_{X}((t_1,t_2]) = \mathbb{P}_{X}((-\infty,t_2]) - \mathbb{P}_{X}((-\infty,t_1]) = F_X(t_2) - F_X(t_1). \end{equation*}

No caso discreto ficamos com

PX((t1,t2])=∑x∈Xt1<x≤t2P(X=x),\begin{equation*} \mathbb{P}_{X}((t_1,t_2]) = \sum_{\substack{x\in \mathfrak{X}\\ t_1<x \leq t_2}} \mathbb{P}(X=x) , \end{equation*}

e no caso contínuo temos

PX((t1,t2])=∫t1t2fX(x) dx.\begin{equation*} \mathbb{P}_{X}((t_1,t_2]) = \int_{t_1}^{t_2} f_X(x) \, dx. \end{equation*}

Distribuições clássicas: suas funções (densidade) de probabilidade

Diferentes variáveis aleatórias terão funções de massa ou funções de densidade de probabilidade diferentes.

Discretas

Dizemos que uma variável aleatória XX discreta tem distribuição Bernoulli de parâmetro p∈(0,1)p\in(0,1) (X∼Bernoulli(p)X\sim \textrm{Bernoulli}(p)) quando

P(X=k)=pk(1−p)1−k se k∈{0,1}, e 0, caso contraˊrio.\begin{equation*} \mathbb{P}(X=k)=p^k(1-p)^{1-k} \textrm{ se }k\in\{0,1\}\textrm{, e }0,\textrm{ caso contrário.} \end{equation*}

Dizemos que uma variável aleatória XX discreta tem distribuição Binomial de parâmetros n∈N∗n\in\mathbb{N}^* e p∈(0,1)p\in(0,1) (X∼Binomial(n,p)X\sim \textrm{Binomial}(n,p))

P(X=k)=(nk)pk(1−p)n−k.\begin{equation*} \mathbb{P}(X=k)=\left(\begin{array}{c}n\\k\end{array}\right) p^k(1-p)^{n-k}. \end{equation*}
Código da célula
for n, p in zip([40, 15, 20], [0.7, 0.5, 0.15]):
    k = np.arange(0,41,1)
    plt.plot(k, scipy.stats.binom.pmf(n=n, p=p, k=k), '-o', alpha=0.8, label=f"{n=}, {p=}")
plt.legend()
plt.show()
Gráfico da célula

Dizemos que uma variável aleatória XX discreta tem distribuição Poisson de parâmetro μ>0\mu > 0 (X∼Poisson(μ)X\sim \textrm{Poisson}(\mu))

P(X=k)=e−μμkk!.\begin{equation*} \mathbb{P}(X=k)=\frac{e^{-\mu}\mu^k}{k!}. \end{equation*}
Código da célula
for mu in [1, 4, 10]:
    k = np.arange(0,21,1)
    plt.plot(k, scipy.stats.poisson.pmf(mu=mu, k=k), '-o', alpha=0.8, label=f"{mu=}")
plt.legend()
plt.show()
Gráfico da célula

Contínuas

Dizemos que uma variável aleatória XX contínua tem distribuição uniforme no intervalo (a,b)(a,b) para a<ba<b, a,b∈Ra,b\in\mathbb{R} (X∼Unif(a,b)X\sim \textrm{Unif}(a,b)) quando

fX(x)=1(b−a), para x∈(a,b), e 0, caso contraˊrio.\begin{equation*} f_X(x) = \frac{1}{(b-a)}, \textrm{ para }x\in(a,b), \textrm{ e } 0, \textrm{ caso contrário.} \end{equation*}
Código da célula
for a, b in zip([0, 2, -3], [1, 2.5, 2.25]):
    x = np.linspace(-3.5,3.5, 1000)
    plt.plot(x, scipy.stats.uniform(loc=a, scale=b-a).pdf(x=x), alpha=0.8, label=f"{a=}, {b=}")
plt.legend()
plt.show()
Gráfico da célula

Dizemos que uma variável aleatória XX contínua tem distribuição Exponencial com parâmetro λ \lambda , λ>0 \lambda > 0 (X∼Exp(λ)X\sim \textrm{Exp}(\lambda)) quando

fX(x)={λe−λx se x≥00 se x < 0\begin{equation*} f_X(x) = \left\{\begin{array}{l}\lambda e^{-\lambda x} \ \hbox{se} \ x\geq 0\\0 \ \hbox{se} \ x \ < \ 0\end{array}\right. \end{equation*}
Código da célula
for lamda in [0.5, 1, 1.5]:
    x = np.linspace(0, 6, 1000)
    plt.plot(x, scipy.stats.expon(scale=1/lamda).pdf(x=x), alpha=0.8, label=f"{lamda=}")
plt.legend()
plt.show()
Gráfico da célula

Dizemos que uma variável aleatória XX contínua tem distribuição Normal de média μ∈R\mu\in\mathbb{R} e variância σ2>0\sigma^2>0 (X∼N(μ,σ2)X\sim \mathcal{N}(\mu,\sigma^2)) quando

fX(x)=12πσ2exp⁡[−12(x−μσ)2].\begin{equation*} f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right]. \end{equation*}
Código da célula
for mu, sigma in zip([20, 15, 25], [2, 1, 5]):
    x = np.linspace(10, 30, 1000)
    plt.plot(x, scipy.stats.norm(loc=mu, scale=sigma).pdf(x=x), alpha=0.8, label=f"{mu=}, {sigma=}")
plt.legend()
plt.show()
Gráfico da célula

Exemplo: Calculando probabilidades de distribuições contínuas

Calculando a probabilidade de um intervalo para uma distribuição uniforme utilizando a forma vista anteriormente:

PX((t1,t2])=∫t1t2fX(x) dx.\begin{equation*} \mathbb{P}_{X}((t_1,t_2]) = \int_{t_1}^{t_2} f_X(x) \, dx. \end{equation*}


Esperança

A esperança de uma variável aleatória é a soma ponderada pela distribuição. A intuição é que, se fizermos vários experimentos, obtendo diferentes valores de XX, em média ficaremos próximos da esperança (essa afirmação é formalizada por limites de convergência).

Para uma variável aleatória contínua temos

E(X)=∫−∞∞x fX(x) dx,\begin{equation*} \mathbb{E}(X) = \int_{-\infty}^{\infty} x \,f_X(x)\, dx, \end{equation*}

e para uma variável aleatória discreta fazemos

E(X)=∑x∈XxP(X=x).\begin{equation*} \mathbb{E}(X) = \sum_{x\in \mathfrak{X}} x \mathbb{P}(X=x). \end{equation*}

Transformações de variáveis aleatórias

Se tivermos uma função g:R→Rg:\mathbb{R}\to\mathbb{R} podemos criar uma nova variável aleatória a partir de XX, a composta g(X)g(X). Repare que, se X é uma função com domínio em Ω\Omega e contradomínio R\mathbb{R}, então g(X)g(X) também é dessa forma e por isso é uma variável aleatória no mesmo espaço.

Quando gg é uma função bijetora, é possível obter a distribuição de Y=g(X)Y = g(X) através do teorema da mudança de variáveis, que nos mostra como calcular a nova função densidade de probabilidade como fY(y)=fX(g−1(y))∣ddyg−1(y)∣.f_Y(y) = f_X(g^{-1}(y)) \left| \frac{d}{dy} g^{-1}(y)\right|.

∮\oint Se sua função não é bijetora, você precisa quebrar em regiões que o são (usualmente garantindo que a imagem é a mesma região). Um processo muito chato pra um matemático, como eu, que não gosta de fazer conta.

Parece complicado de calcular porque na maior parte das vezes é. Para nossa sorte, se só estamos interessados na esperança da variável aleatória transformada, podemos calcular a esperança de g(X)g(X), a partir de XX, fazendo

E(g(X))=∫−∞∞g(x) fX(x) dx,\begin{equation*} \mathbb{E}(g(X)) = \int_{-\infty}^{\infty} g(x) \,f_X(x)\, dx, \end{equation*}

para o caso contínuo e

E(g(X))=∑x∈Xg(x)P(X=x),\begin{equation*} \mathbb{E}(g(X)) = \sum_{x\in \mathfrak{X}} g(x) \mathbb{P}(X=x), \end{equation*}

para o caso discreto.


Variância

A última observação nos permite construir uma nova quantidade, a variância:

Var(X)=E((X−E(X))2).\begin{equation*} \textrm{Var}(X) = \mathbb{E}( (X-\mathbb{E}(X))^2). \end{equation*}

Quando ela é finita, podemos calculá-la fazendo Var(X)=E(X2)−E(X)2\textrm{Var}(X)= \mathbb{E}(X^2) - \mathbb{E}(X)^2. Essa quantidade é utilizada como medida de dispersão da variável aleatória (estamos medindo o quanto, em média, nossa variável aleatória está distante do seu ponto "central", a esperança/média).


Vetor aleatório e densidade de probabilidade conjunta

"Definição" (vetor aleatório): Dizemos que X~=(X1,X2,⋯ ,Xn)\tilde{X} = (X_1,X_2,\cdots,X_n) é um vetor aleatório se cada uma de suas componentes é uma variável aleatória. Ou, equivalentemente, X~:Ω→Rn\tilde{X}:\Omega\to\mathbb{R}^n.

As noções de variáveis aleatórias se estendem para vetores aleatórios. Podemos definir a esperança de um vetor aleatório como a esperança de cada uma de suas componentes. Outras quantidades se estendem analogamente e conseguimos calcular outras medidas nesse contexto, como covariância etc.

Uma quantidade interessante que também está presente no contexto de vetores aleatórios são as funções massa de probabilidade e densidade de probabilidade. A ideia agora é que, ao invés de calcular P(X=x)\mathbb{P}(X=x), estamos calculando P(X~=x~)=P(X1=x1,⋯ ,Xn=xn)\mathbb{P}(\tilde{X}=\tilde{x})= \mathbb{P}(X_1=x_1,\cdots,X_n=x_n).

A função densidade de probabilidade conjunta fX~f_{\tilde{X}} que antes tinha como domínio a reta, agora tem como domínio Rn\mathbb{R}^n. Antes, sua integral na reta tinha que ser 1 para que ela fosse uma função válida. Agora, sua integral em Rn\mathbb{R}^n precisa ser 1.

Exemplo:


Independência entre variáveis aleatórias

Definição (independência entre variáveis aleatórias): Dizemos que variáveis aleatórias X1X_1 e X2X_2 são independentes se suas funções (densidade) de probabilidades se fatoram no produto, isto é,

fX~(x~)=f(X1,X2)(x1,x2)=fX1(x1)⋅fX2(x2), f_{\tilde{X}}(\tilde{x}) = f_{(X_1,X_2)}(x_1,x_2) = f_{X_1}(x_1) \cdot f_{X_2}(x_2),

ou

P(X~=x~)=P(X1=x1,X2=x2)=P(X1=x1)⋅P(X2=x2). \mathbb{P}(\tilde{X}=\tilde{x}) = \mathbb{P}(X_1=x_1,X_2=x_2) = \mathbb{P}(X_1=x_1)\cdot\mathbb{P}(X_2=x_2).


Probabilidade Condicional

Definição (probabilidade condicional): Definimos a probabilidade condicional de um evento A⊂ΩA\subset \Omega dado um outro evento B⊂ΩB\subset \Omega como

P(A∣B)=P(A∩B)P(B). \mathbb{P}(A|B) = \frac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)}.

Vale que P(⋅∣B)\mathbb{P}(\cdot|B) é uma medida de probabilidade no (novo) espaço amostral BB. Por exemplo, vale que P(B∣B)=1\mathbb{P}(B|B)=1. As outras propriedades decorrem de P\mathbb{P} ser medida de probabilidade. A interpretação intuitiva é justamente essa: estamos reduzindo o espaço amostral para um subconjunto que "aconteceu". Como se você ganhasse mais informação sobre o seu sistema quando entende que BB ocorreu.

Lembrando sempre que quando falamos P(X=x)\mathbb{P}(X=x), na verdade estamos fazendo P({ω∈Ω:X(ω)=x})\mathbb{P}(\{ \omega \in \Omega: X(\omega) = x \}) e que {ω∈Ω:X(ω)=x}∈℘(Ω)\{ \omega \in \Omega: X(\omega) = x \} \in \wp(\Omega), é razoável generalizar a probabilidade condicional para variáveis aleatórias e calcular coisas como P(X=x∣Y≥y)\mathbb{P}(X = x| Y \geq y).

Definição (variável aleatória condicional): Seja (X,Y)(X,Y) um vetor aleatório com função densidade (massa) de probabilidade f(X,y)(x,y)f_{(X,y)}(x,y). A variável aleatória XX pode ser condicionada em um determinado valor de Y=yY=y (tal que fY(y)>0f_Y(y)>0), definindo a variável aleatória condicional X∣Y=yX|Y=y com função densidade (massa) de probabilidade

fX∣Y=y(x)=f(X,Y)(x,y)fY(y). f_{X|Y=y}(x) = \frac{f_{(X,Y)}(x,y)}{f_Y(y)}.

Exemplo: Sejam XX e YY vetores aleatórios. Temos que (X∣Y=y)∼X(X|Y=y)\sim X para qualquer escolha de yy no suporte de YY:

fX∣Y=y(x)=f(X,Y)(x,y)fY(y)=fX(x)fY(y)fY(y)=fX(x). f_{X|Y=y}(x) = \frac{f_{(X,Y)}(x,y)}{f_Y(y)} = \frac{f_{X}(x) f_{Y}(y)}{f_Y(y)} = f_{X}(x).

Distribuição marginal

A ideia de marginalizar um vetor aleatório é descobrir a distribuição de alguma das componentes desse vetor (ou de um subconjunto dessas componentes) tendo apenas acesso à função densidade (massa) de probabilidade conjunta fX~(x~)f_{\tilde{X}}(\tilde{x}).

Por exemplo, se temos um vetor aleatório (X,Y,W)(X, Y, W) e queremos calcular a distribuição de XX, fazemos

fX(x)=∫R2f(X,Y,W)(x,y,w)dydw. f_X(x) = \int_{\mathbb{R}^2} f_{(X, Y, W)}(x, y, w) dy dw.

Para ter a distribuição de (X,W)(X, W) fazemos

fX(x)=∫Rf(X,Y,W)(x,y,w)dy, f_X(x) = \int_{\mathbb{R}} f_{(X, Y, W)}(x, y, w) dy,

e assim por diante. A ideia para o caso discreto é análoga a partir do somatório com a função massa de probabilidade.

Exemplo: Seja (X,Y)(X,Y) vetor aleatório tal que f(X,Y)(x,y)=32f_{(X,Y)}(x,y) = \frac{3}{2} para x2≤y≤1x^2\leq y\leq 1 e 0<x<10<x<1. Vamos calcular a distribuição condicional de YY dado X=xX=x.

Código da célula
fig, ax = plt.subplots(figsize=(4,4))
ax.fill_between(np.linspace(0, 1), np.linspace(0, 1)**2, y2=1, alpha=0.4)
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.tight_layout()
Gráfico da célula

Para achar a distribuição de Y∣X=xY|X=x, precisamos primeiro achar a distribuição de XX. Para isso, fazemos

fX(x)=∫x2132dy=[32y]x21=32(1−x2). f_X(x) = \int_{x^2}^1 \frac{3}{2} dy = \left[\frac{3}{2} y \right]_{x^2}^{1} = \frac{3}{2} (1-x^2).

para 0<x<10<x<1. E daí, temos que

fY∣X=x(y)=f(X,Y)(x,y)fX(x)=3232(1−x2)=11−x2, f_{Y | X=x}(y) = \frac{f_{(X,Y)}(x,y)}{f_X(x)} = \frac{\frac{3}{2}}{\frac{3}{2}(1-x^2) } = \frac{1}{1-x^2},

para x2≤y≤1x^2\leq y\leq 1 (mantendo a restrição sempre que 0<x<10<x<1).

Repare que a variável aleatória Y∣X=x∼Unif(x2,1)Y|X=x \sim \textrm{Unif}(x^2, 1).

É possível definir ainda a esperança condicional como sendo a esperança da variável aleatória condicionada. Para o nosso exemplo, faríamos

E(Y∣X=x)=∫RyfY∣X=x(y)dy=∫x21y11−x2dy=[11−x2y22]x21=1−x42(1−x2)\mathbb{E}(Y|X=x) = \int_{\mathbb{R}} y f_{Y|X=x}(y) dy = \int_{x^2}^1 y \frac{1}{1-x^2} dy = \left[\frac{1}{1-x^2} \frac{y^2}{2} \right]_{x^2}^{1} = \frac{1 - x^4}{2(1-x^2)}
Código da célula
fig, ax = plt.subplots(figsize=(4,4))
x_ = np.linspace(0, 1, 10002)[1:-1]
ax.fill_between(x_, x_**2, y2=1, alpha=0.4)
ax.plot(x_, (1-x_**4)/(2*(1-x_**2)))
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.tight_layout()
Gráfico da célula

Essa é a base para problemas supervisionados de regressão.


Derivada de Radon–Nikodym

Em muitos casos práticos, vamos querer calcular quantidades de interesse (como a esperança) para alguma variável aleatória, entretanto, não teremos acesso a ela por completo. Para exemplificar, imagine que temos acesso a uma amostra com um viés de seleção alto (exemplo: só temos a marcação de inadimplência ou não para pessoas que foram atrás de um empréstimo no passado e de fato foram aprovadas no processo de análise de crédito anterior).

Mas em alguns casos, vamos querer inferir informações gerais para uma população a que não temos acesso.

Código da célula
def radon_nik_example(p=[0.4, 0.3, 0.3], size=10000):
    map_dic = {'18-30': 0.6, '31-50': 0.3, '>50': 0.5}
    x = np.random.RandomState(42).choice(['18-30', '31-50', '>50'], p=p, size=size)
    y = np.array(list(map(lambda x: np.random.binomial(1, map_dic[x]), x)))
    return x, y

x_real, y_real = radon_nik_example()
x_obs, y_obs = radon_nik_example([0.1, 0.7, 0.2])
Código da célula
def plot_hist(x, label):
    unique, counts = np.unique(x, return_counts=True)
    plt.barh(unique, counts, alpha=0.7, label=label)

plot_hist(x_real, 'real')
plot_hist(x_obs, 'observado')
plt.legend()
plt.show()
Gráfico da célula

Imagine que o nosso problema é estimar a média de YY da população "real". Será que é possível fazer inferência sobre y_real utilizando x_real, x_obs e y_obs?

Suponha que YrY_r é uma transformação sem componentes aleatórias de XrX_r da forma Yr=g(Xr)Y_r=g(X_r). Neste caso, calcular a esperança de YrY_r é da forma

E(g(Xr))=∑x∈Xg(x)P(Xr=x).\begin{equation*} \mathbb{E}(g(X_r)) = \sum_{x\in \mathfrak{X}} g(x) \mathbb{P}(X_r=x). \end{equation*}

Para simplificar a notação, vamos chamar fr(x)=P(Xr=x)f_r(x) = \mathbb{P}(X_r=x). Então

E(g(Xr))=g(’18-30’)fr(’18-30’)+g(’31-50’)fr(’31-50’)+g(’>50’)fr(’>50’).\begin{equation*} \mathbb{E}(g(X_r)) = g(\textrm{'18-30'}) f_r(\textrm{'18-30'}) + g(\textrm{'31-50'}) f_r(\textrm{'31-50'}) + g(\textrm{'>50'}) f_r(\textrm{'>50'}). \end{equation*}

Repare que se multiplicamos cada termo do somatório por

fo(x)fo(x)=1, \frac{f_o(x)}{f_o(x)}=1,

em que fo(x)=P(Xo=x)f_o(x)=\mathbb{P}(X_o=x), então não estamos mudando o valor final da expressão:

E(g(Xr))=∑x∈Xg(x)fr(x)=∑x∈Xg(x)fr(x)fo(x)fo(x)=∑x∈Xg(x)fr(x)fo(x)fo(x)=E(g(Xo) fr(Xo)fo(Xo)).\begin{align*} \mathbb{E}(g(X_r)) &= \sum_{x\in \mathfrak{X}} g(x) f_r(x) = \sum_{x\in \mathfrak{X}} g(x) f_r(x) \frac{f_o(x)}{f_o(x)} \\ &= \sum_{x\in \mathfrak{X}} g(x) \frac{f_r(x)}{f_o(x)} f_o(x) = \mathbb{E}\left(g(X_o) \, \frac{f_r(X_o)}{f_o(X_o)}\right) . \end{align*}

Logo, é possível calcular a esperança para YrY_r utilizando amostras de YoY_o:

Código da célula
y_real.mean(), y_obs.mean()
(0.4864, 0.3788)
Código da célula
sum(((x_real==x).mean()/(x_obs==x).mean())*((y_obs[x_obs==x]).sum()) for x in ['18-30', '31-50', '>50'])/len(y_obs)
0.49286165867418613

∮\oint Não demonstramos o caso de maior interesse, que é quando YY se relaciona com XX, mas não de forma determinística. O legal é que, se essa relação se mantém, isto é, se P(Yr∣Xr)=P(Yo∣Xo)\mathbb{P}(Y_r | X_r) = \mathbb{P}(Y_o | X_o), então os argumentos são análogos e podemos utilizar esses pesos fr(x)fo(x)\frac{f_r(x)}{f_o(x)} como fizemos aqui.

∮\oint A derivada de Radon–Nikodym da distribuição de XrX_r em relação à distribuição de XoX_o é esse termo fr(x)fo(x)\frac{f_r(x)}{f_o(x)}. Note que estamos assumindo algumas coisas como que se fo(x)=0f_o(x)=0, então fr(x)=0f_r(x)=0 (ou seja, que a distribuição de XrX_r é dominada pela de XoX_o).

Essa técnica é muito utilizada para dar importância para grupos sub-representados na sua amostra de desenvolvimento no contexto de aprendizado supervisionado. Ela é chamada de adaptação de domínio. A ideia é utilizar esses pesos para calcular a esperança que define o risco do classificador R(h)=E(X,Y)∼D[ℓ(h(X),Y)]. R(h) = \underset{(X,Y) \sim \mathscr{D}}{\mathbb{E}} \left[ \ell(h(X), Y) \right].

∮\oint A função densidade de probabilidade é uma derivada de Radon-Nikodym da nossa variável aleatória contínua em relação à medida de Lebesgue (uma medida segue as mesmas regras de uma probabilidade, com a diferença que não é limitada superiormente por 1). Repare que estamos fazendo a integração "normal" da reta, apenas adicionando um termo extra e isso equivale a fazer a integração naquele espaço de medida. O mesmo acontece para variáveis aleatórias discretas, em que a função massa de probabilidade é uma derivada de Radon–Nikodym da variável aleatória em relação à medida da contagem (que diz que a medida de um conjunto é o número de elementos dentro dele).


Teste KS

A função de distribuição acumulada é parte fundamental na definição da variável aleatória. Como vimos anteriormente, podemos calcular a probabilidade de intervalos a partir dela. Se temos duas funções de distribuição acumulada parecidas, então podemos concluir que suas distribuições são parecidas. Isso nos inspira a criar o teste KS.

Nele, comparamos as funções de distribuição acumulada de duas distribuições e identificamos a maior "distância" entre elas.

A definição formal de métrica nos permite criar distâncias em espaços quaisquer, não necessariamente no Rn\mathbb{R}^n. Podemos por exemplo criar distância no espaço de funções. (Veja mais sobre distâncias no meu blog - shameless self promotion).

Sejam ff e gg funções definidas em R\mathbb{R}, podemos calcular uma distância entre essas funções como

d(f,g)=sup⁡∣f(x)−g(x)∣.d(f,g) =\sup|f(x)−g(x)|.

Ou seja, a distância entre duas funções é dada pelo máximo do módulo da diferença em cada ponto.

Por exemplo, se queremos calcular a distância entre as funções f(x)=(x−0.4)2 e g(x)=2.5, temos que achar o valor que maximiza a função h(x)=|(x−0.4)2−2.5|. O valor da distância será o local em que as curvas estão mais distantes.

Se tivermos duas variáveis aleatórias XX e YY e quisermos saber se são parecidas ou não, podemos aplicar essa distância às suas funções de distribuição acumulada!

Exemplo

Vamos calcular a distância de X∼Exp(1)X\sim\textrm{Exp}(1) e Y∼Uniforme(0,2)Y\sim\textrm{Uniforme}(0,2).

Código da célula
def acumulada_uniforme(t):
    return np.select([t < 0, (t >= 0) & (t <= 2), t > 2], [0, t/2, 1]) 

def acumulada_exponencial(t):
    return np.select([t < 0, t >= 0], [0, 1 - np.exp(-t)]) 
Código da célula
t_vals = np.linspace(-1,4,1000)
ac_u, ac_e = acumulada_uniforme(t_vals), acumulada_exponencial(t_vals)

plt.plot(t_vals, ac_u, label='uniforme')
plt.plot(t_vals, ac_e, label='exponencial')

argmax = np.argmax(np.abs(ac_u-ac_e))
plt.vlines(t_vals[argmax], ac_u[argmax], 
           ac_e[argmax], 'k',
           label=f'distância = {np.max(np.abs(ac_u-ac_e)).round(3)}')

plt.legend()
plt.show()
Gráfico da célula

Teste KS com amostras

Se eu não tenho a função de distribuição acumulada exata, mas tenho uma amostra, é possível calcular uma estimativa pra essa função.

Relembrando o significado de FX(t)F_X(t) como

FX(t)=PX((−∞,t])=P(X≤t)F_X(t) = \mathbb{P}_{X}((-\infty,t]) = \mathbb{P}(X\leq t)

Podemos olhar na nossa amostra qual a proporção de elementos que têm valor menor ou igual a tt!

Neste caso, temos

F^X(t)=nuˊmero de amostras menores ou iguais a tnuˊmero total de elementos. \widehat{F}_X(t) = \frac{ \textrm{número de amostras menores ou iguais a t}}{\textrm{número total de elementos}} .

Código da célula
n = 500

amostra1 = np.random.RandomState(42).uniform(0, 2, n)
amostra2 = np.random.RandomState(42).exponential(1, n)
Código da célula
_, bins, _ = plt.hist(amostra2, alpha=0.5, density=True, bins=10)
plt.hist(amostra1, alpha=0.5, density=True, bins=bins)
plt.show()
Gráfico da célula
Código da célula
def return_acumulada_estimada(x):
    def acumulada(t):
        return [(x<=t_).sum()/len(x) for t_ in t]
    return acumulada
Código da célula
plt.plot(return_acumulada_estimada(amostra1)(t_vals))
plt.plot(return_acumulada_estimada(amostra2)(t_vals))
plt.show()
Gráfico da célula
Código da célula
from scipy.stats import ks_2samp
# from scipy.stats import kstest, ks_1samp
ks, pvalue = ks_2samp(amostra1, amostra2)
ks
0.154

KS como métrica de classificação

Como o teste KS mede bem o quanto duas distribuições estão separadas, é comum utilizá-lo para avaliar o quão bem um classificador separa amostras de classes diferentes.

Por exemplo, se fizermos um problema toy de regressão:

Código da célula
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

X, y = make_classification(n_samples=1000, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

log_reg = LogisticRegression().fit(X_train,y_train)

y_prev_prob = log_reg.predict_proba(X_test)[:,1]

Gostaríamos que o nosso classificador jogasse todos os elementos da classe 0 para valores perto do 0 e todos os elementos da classe 1 para valores perto de 1. Pela natureza ruidosa do problema, mesmo um classificador muito bom não consegue fazer isso e existe alguma intersecção entre os valores previstos para os dois subgrupos.

Código da célula
plt.hist(y_prev_prob[y_test==0], bins=np.linspace(0,1,11), alpha=0.8, label='y_test == 0')
plt.hist(y_prev_prob[y_test==1], bins=np.linspace(0,1,11), alpha=0.8, label='y_test == 1')
plt.legend()
plt.show()
Gráfico da célula

A ideia aqui é justamente quantificar o quão separados esses subgrupos ficaram nesse espaço de scores cuspidos pelo modelo. Para isso aplicamos o teste KS medindo a distância entre as distribuições dos scores das classes 1 e 0.

Código da célula
ks, pvalue = ks_2samp(y_prev_prob[y_test==0], y_prev_prob[y_test==1])
print(f"{ks=}")

plt.plot(return_acumulada_estimada(y_prev_prob[y_test==0])(np.linspace(0,1)), label='y_prob para y_test==0')
plt.plot(return_acumulada_estimada(y_prev_prob[y_test==1])(np.linspace(0,1)), label='y_prob para y_test==1')
plt.legend()
plt.show()
ks=0.7268652878292495
Gráfico da célula