Em ciência de dados é importante entender corretamente as ferramentas que estamos utilizando para não afirmar coisas que não são possíveis de se afirmar. Fazemos isso compreendendo bem probabilidade, o que ela mede, quais detalhes estão escondidos atrás da intuição e suas limitações.
Definição de probabilidade
Intuição
Imagine que queremos modelar o experimento de lançamento de um dado. Neste caso, os valores possíveis são .
A probabilidade responde qual a chance de acontecer um evento que é um subconjunto dos possíveis valores do experimento aleatório. Por exemplo, podemos estar interessados em entender qual a chance de o dado sair com a face para cima sendo um número par (isto é, qual a probabilidade de acontecer o subconjunto no experimento aleatório).
Definição a partir de objetos matemáticos
Definição (espaço amostral): O espaço amostral de um experimento aleatório é o conjunto de todos os resultados possíveis. Os resultados possíveis são chamados de pontos amostrais e incluem todas as informações sobre o experimento.
"Definição" (evento): Um evento é um subconjunto do espaço amostral, isto é, . Estes são os argumentos da nossa função de probabilidade: poderemos perguntar qual a probabilidade de um determinado evento ocorrer.
Pergunta: Imagine o experimento de lançamento de uma moeda. Qual é o espaço amostral e quais são os possíveis eventos?
- Os possíveis resultados são ou , portanto .
- Os eventos aqui são dados pelos conjuntos , , e .
Ainda não definimos o que é uma probabilidade. Ela vai ser algo que vai medir "o quão provável um evento é de acontecer". É esperado que ela satisfaça algumas condições razoáveis.
- Primeiro, a probabilidade precisa ser um valor entre e .
Além disso, a probabilidade de algum dos resultados possíveis acontecer tem que ser 1. Isto é, a probabilidade do espaço amostral deve ser 1, pois ele é o conjunto de todos os resultados possíveis.
Por fim, se a probabilidade de, em um dado, tirar um é e a probabilidade de tirar é então a probabilidade de tirar ou deve ser .
"Definição" (probabilidade): Uma probabilidade é uma função com domínio no conjunto de eventos e contradomínio em , isto é, que satisfaz as seguintes propriedades:
para e conjuntos disjuntos de .
Suponha, agora, que jogue três moedas honestas. Qual é o espaço amostral, quais são os possíveis eventos e qual é a função de probabilidade?
Agora temos que , , , , , , , .
Os eventos aqui são dados pelo conjunto das partes de . Alguns exemplos são , , , .
A probabilidade de cada elemento individualmente de é . A probabilidade de um evento qualquer é vezes o número de elementos naquele evento.
Comentários extras
A probabilidade é um objeto matemático usualmente apresentado a partir de suas propriedades, como fizemos aqui. Entretanto, os estatísticos bayesianos gostam de defini-la como um objeto que quantifica uma relação transitiva representando um conceito de crença sobre eventos possíveis. Essa estratégia é um jeito de matematizar de forma rigorosa a nossa intuição. O livro Optimal statistical decisions do DeGroot é uma ótima referência para quem quiser conhecer melhor o assunto.
Na prática, dependendo das propriedades que você gostaria que sua probabilidade satisfizesse, nem todo conjunto poderá ter probabilidade. Isso nos faz reduzir o domínio da probabilidade para um subconjunto do conjunto das partes. Esse subconjunto precisa satisfazer algumas propriedades razoáveis como , e é chamado de -álgebra.
Alinhada com essa definição formal do domínio, a definição da probabilidade também muda. Na prática, a gente precisa da -aditividade, que significa que a probabilidade de uma união enumerável de conjuntos disjuntos é a soma infinita das probabilidades de cada um dos conjuntos:
Não vou mais fazer esses comentários levando em conta -algébras e outros aspectos mais formais, mas tenha em mente que todas as definições que estamos fazendo, inclusive quando falarmos de inferência estatística, são formalizadas por essa linguagem. Um ótimo recurso para começar a ver isso é o canal A Ciência da Estatística. Em um dos seus vídeos, o professor Alexandre Patriota comenta sobre os diferentes níveis de se encarar a probabilidade: elementar, básico, intermediário e avançado (essa nomenclatura não foi inventada, vide o ótimo livro do IMPA Probabilidade: Um Curso em Nível Intermediário, do Barry James). Neste treinamento, trataremos os assuntos num nível básico, mas fica o convite para o estudo do nível intermediário (que vem com muita análise real e que é muito útil para encarar algoritmos numéricos).
Variáveis Aleatórias
"Definição" (variável aleatória): Uma variável aleatória é uma função que sai do espaço amostral e chega na reta , isto é, .
No exemplo anterior uma possível variável aleatória poderia ser o número de caras. Para cada elemento , conto o número de vezes que ocorre .
Uma outra possível seria
Como uma variável aleatória é uma função, é possível falar sobre sua pré-imagem!
Por exemplo, repare que . Essa pré-imagem nos permite formalizar a probabilidade diretamente no contradomínio da nossa função: a reta real.
Probabilidade induzida
A probabilidade definida em se transfere de maneira natural para !
Por exemplo, no caso anterior de lançamento de três moedas, seja o número de caras. Para entender a probabilidade de ser igual a , simplesmente olho para a pré-imagem de em , ou seja, os tais que e vejo qual a probabilidade desse evento!
Temos que
Com isso, podemos definir
De forma análoga, podemos definir probabilidade para subconjuntos de números reais agora! Em particular, vamos estar bastante interessados em medir a probabilidade de intervalos!
Podemos fazer então a função que recebe um conjunto da reta, vê quais são os valores de que são mapeados dentro daquele conjunto e então calcula a probabilidade desse conjunto!
Seja , podemos fazer
Função de distribuição acumulada (FDA) e função densidade de probabilidade (fdp)
Alguns intervalos importantes são os da forma . Por exemplo, no caso anterior, poderíamos querer calcular a probabilidade de o número de caras ser menor ou igual a 1.
Como fizemos no caso anterior, vamos olhar para quais valores do espaço amostral são mapeados pela nossa variável aleatória como sendo menores ou iguais a 1. Escrevendo na forma de conjunto, temos
E daí, a probabilidade
De fato, os conjuntos do tipo são tão importantes que definimos uma função chamada função de distribuição acumulada dada por
Suporte
O conjunto dos possíveis valores que uma variável aleatória pode assumir é chamado de suporte e muitas vezes é representado por .
Nos problemas que estamos analisando até agora, estamos trabalhando com um número contável de valores possíveis para a variável aleatória. Neste caso, podemos calcular a probabilidade desses eventos unitários. Guardá-los pode ser útil, pois são os únicos valores possíveis que têm "massa".
A função de distribuição acumulada, nesse caso, soma as massas de probabilidade até
e dizemos que nossa variável aleatória é discreta.
Em alguns casos poderemos escrever na forma
e será chamada de densidade de probabilidade de e diremos que nossa variável aleatória é absolutamente contínua.
Com a função de distribuição acumulada podemos calcular a probabilidade de intervalos:
No caso discreto ficamos com
e no caso contínuo temos
Distribuições clássicas: suas funções (densidade) de probabilidade
Diferentes variáveis aleatórias terão funções de massa ou funções de densidade de probabilidade diferentes.
Discretas
Dizemos que uma variável aleatória discreta tem distribuição Bernoulli de parâmetro () quando
Dizemos que uma variável aleatória discreta tem distribuição Binomial de parâmetros e ()
Código da célula
for n, p in zip([40, 15, 20], [0.7, 0.5, 0.15]):
k = np.arange(0,41,1)
plt.plot(k, scipy.stats.binom.pmf(n=n, p=p, k=k), '-o', alpha=0.8, label=f"{n=}, {p=}")
plt.legend()
plt.show()Dizemos que uma variável aleatória discreta tem distribuição Poisson de parâmetro ()
Código da célula
for mu in [1, 4, 10]:
k = np.arange(0,21,1)
plt.plot(k, scipy.stats.poisson.pmf(mu=mu, k=k), '-o', alpha=0.8, label=f"{mu=}")
plt.legend()
plt.show()Contínuas
Dizemos que uma variável aleatória contínua tem distribuição uniforme no intervalo para , () quando
Código da célula
for a, b in zip([0, 2, -3], [1, 2.5, 2.25]):
x = np.linspace(-3.5,3.5, 1000)
plt.plot(x, scipy.stats.uniform(loc=a, scale=b-a).pdf(x=x), alpha=0.8, label=f"{a=}, {b=}")
plt.legend()
plt.show()Dizemos que uma variável aleatória contínua tem distribuição Exponencial com parâmetro , () quando
Código da célula
for lamda in [0.5, 1, 1.5]:
x = np.linspace(0, 6, 1000)
plt.plot(x, scipy.stats.expon(scale=1/lamda).pdf(x=x), alpha=0.8, label=f"{lamda=}")
plt.legend()
plt.show()Dizemos que uma variável aleatória contínua tem distribuição Normal de média e variância () quando
Código da célula
for mu, sigma in zip([20, 15, 25], [2, 1, 5]):
x = np.linspace(10, 30, 1000)
plt.plot(x, scipy.stats.norm(loc=mu, scale=sigma).pdf(x=x), alpha=0.8, label=f"{mu=}, {sigma=}")
plt.legend()
plt.show()Exemplo: Calculando probabilidades de distribuições contínuas
Calculando a probabilidade de um intervalo para uma distribuição uniforme utilizando a forma vista anteriormente:
Esperança
A esperança de uma variável aleatória é a soma ponderada pela distribuição. A intuição é que, se fizermos vários experimentos, obtendo diferentes valores de , em média ficaremos próximos da esperança (essa afirmação é formalizada por limites de convergência).
Para uma variável aleatória contínua temos
e para uma variável aleatória discreta fazemos
Transformações de variáveis aleatórias
Se tivermos uma função podemos criar uma nova variável aleatória a partir de , a composta . Repare que, se X é uma função com domínio em e contradomínio , então também é dessa forma e por isso é uma variável aleatória no mesmo espaço.
Quando é uma função bijetora, é possível obter a distribuição de através do teorema da mudança de variáveis, que nos mostra como calcular a nova função densidade de probabilidade como
Se sua função não é bijetora, você precisa quebrar em regiões que o são (usualmente garantindo que a imagem é a mesma região). Um processo muito chato pra um matemático, como eu, que não gosta de fazer conta.
Parece complicado de calcular porque na maior parte das vezes é. Para nossa sorte, se só estamos interessados na esperança da variável aleatória transformada, podemos calcular a esperança de , a partir de , fazendo
para o caso contínuo e
para o caso discreto.
Variância
A última observação nos permite construir uma nova quantidade, a variância:
Quando ela é finita, podemos calculá-la fazendo . Essa quantidade é utilizada como medida de dispersão da variável aleatória (estamos medindo o quanto, em média, nossa variável aleatória está distante do seu ponto "central", a esperança/média).
Vetor aleatório e densidade de probabilidade conjunta
"Definição" (vetor aleatório): Dizemos que é um vetor aleatório se cada uma de suas componentes é uma variável aleatória. Ou, equivalentemente, .
As noções de variáveis aleatórias se estendem para vetores aleatórios. Podemos definir a esperança de um vetor aleatório como a esperança de cada uma de suas componentes. Outras quantidades se estendem analogamente e conseguimos calcular outras medidas nesse contexto, como covariância etc.
Uma quantidade interessante que também está presente no contexto de vetores aleatórios são as funções massa de probabilidade e densidade de probabilidade. A ideia agora é que, ao invés de calcular , estamos calculando .
A função densidade de probabilidade conjunta que antes tinha como domínio a reta, agora tem como domínio . Antes, sua integral na reta tinha que ser 1 para que ela fosse uma função válida. Agora, sua integral em precisa ser 1.
Exemplo:
Independência entre variáveis aleatórias
Definição (independência entre variáveis aleatórias): Dizemos que variáveis aleatórias e são independentes se suas funções (densidade) de probabilidades se fatoram no produto, isto é,
ou
Probabilidade Condicional
Definição (probabilidade condicional): Definimos a probabilidade condicional de um evento dado um outro evento como
Vale que é uma medida de probabilidade no (novo) espaço amostral . Por exemplo, vale que . As outras propriedades decorrem de ser medida de probabilidade. A interpretação intuitiva é justamente essa: estamos reduzindo o espaço amostral para um subconjunto que "aconteceu". Como se você ganhasse mais informação sobre o seu sistema quando entende que ocorreu.
Lembrando sempre que quando falamos , na verdade estamos fazendo e que , é razoável generalizar a probabilidade condicional para variáveis aleatórias e calcular coisas como .
Definição (variável aleatória condicional): Seja um vetor aleatório com função densidade (massa) de probabilidade . A variável aleatória pode ser condicionada em um determinado valor de (tal que ), definindo a variável aleatória condicional com função densidade (massa) de probabilidade
Exemplo: Sejam e vetores aleatórios. Temos que para qualquer escolha de no suporte de :
Distribuição marginal
A ideia de marginalizar um vetor aleatório é descobrir a distribuição de alguma das componentes desse vetor (ou de um subconjunto dessas componentes) tendo apenas acesso à função densidade (massa) de probabilidade conjunta .
Por exemplo, se temos um vetor aleatório e queremos calcular a distribuição de , fazemos
Para ter a distribuição de fazemos
e assim por diante. A ideia para o caso discreto é análoga a partir do somatório com a função massa de probabilidade.
Exemplo: Seja vetor aleatório tal que para e . Vamos calcular a distribuição condicional de dado .
Código da célula
fig, ax = plt.subplots(figsize=(4,4))
ax.fill_between(np.linspace(0, 1), np.linspace(0, 1)**2, y2=1, alpha=0.4)
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.tight_layout()Para achar a distribuição de , precisamos primeiro achar a distribuição de . Para isso, fazemos
para . E daí, temos que
para (mantendo a restrição sempre que ).
Repare que a variável aleatória .
É possível definir ainda a esperança condicional como sendo a esperança da variável aleatória condicionada. Para o nosso exemplo, faríamos
Código da célula
fig, ax = plt.subplots(figsize=(4,4))
x_ = np.linspace(0, 1, 10002)[1:-1]
ax.fill_between(x_, x_**2, y2=1, alpha=0.4)
ax.plot(x_, (1-x_**4)/(2*(1-x_**2)))
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.tight_layout()Essa é a base para problemas supervisionados de regressão.
Derivada de Radon–Nikodym
Em muitos casos práticos, vamos querer calcular quantidades de interesse (como a esperança) para alguma variável aleatória, entretanto, não teremos acesso a ela por completo. Para exemplificar, imagine que temos acesso a uma amostra com um viés de seleção alto (exemplo: só temos a marcação de inadimplência ou não para pessoas que foram atrás de um empréstimo no passado e de fato foram aprovadas no processo de análise de crédito anterior).
Mas em alguns casos, vamos querer inferir informações gerais para uma população a que não temos acesso.
Código da célula
def radon_nik_example(p=[0.4, 0.3, 0.3], size=10000):
map_dic = {'18-30': 0.6, '31-50': 0.3, '>50': 0.5}
x = np.random.RandomState(42).choice(['18-30', '31-50', '>50'], p=p, size=size)
y = np.array(list(map(lambda x: np.random.binomial(1, map_dic[x]), x)))
return x, y
x_real, y_real = radon_nik_example()
x_obs, y_obs = radon_nik_example([0.1, 0.7, 0.2])Código da célula
def plot_hist(x, label):
unique, counts = np.unique(x, return_counts=True)
plt.barh(unique, counts, alpha=0.7, label=label)
plot_hist(x_real, 'real')
plot_hist(x_obs, 'observado')
plt.legend()
plt.show()Imagine que o nosso problema é estimar a média de da população "real". Será que é possível fazer inferência sobre y_real utilizando x_real, x_obs e y_obs?
Suponha que é uma transformação sem componentes aleatórias de da forma . Neste caso, calcular a esperança de é da forma
Para simplificar a notação, vamos chamar . Então
Repare que se multiplicamos cada termo do somatório por
em que , então não estamos mudando o valor final da expressão:
Logo, é possível calcular a esperança para utilizando amostras de :
Código da célula
y_real.mean(), y_obs.mean()(0.4864, 0.3788)
Código da célula
sum(((x_real==x).mean()/(x_obs==x).mean())*((y_obs[x_obs==x]).sum()) for x in ['18-30', '31-50', '>50'])/len(y_obs)0.49286165867418613
Não demonstramos o caso de maior interesse, que é quando se relaciona com , mas não de forma determinística. O legal é que, se essa relação se mantém, isto é, se , então os argumentos são análogos e podemos utilizar esses pesos como fizemos aqui.
A derivada de Radon–Nikodym da distribuição de em relação à distribuição de é esse termo . Note que estamos assumindo algumas coisas como que se , então (ou seja, que a distribuição de é dominada pela de ).
Essa técnica é muito utilizada para dar importância para grupos sub-representados na sua amostra de desenvolvimento no contexto de aprendizado supervisionado. Ela é chamada de adaptação de domínio. A ideia é utilizar esses pesos para calcular a esperança que define o risco do classificador
A função densidade de probabilidade é uma derivada de Radon-Nikodym da nossa variável aleatória contínua em relação à medida de Lebesgue (uma medida segue as mesmas regras de uma probabilidade, com a diferença que não é limitada superiormente por 1). Repare que estamos fazendo a integração "normal" da reta, apenas adicionando um termo extra e isso equivale a fazer a integração naquele espaço de medida. O mesmo acontece para variáveis aleatórias discretas, em que a função massa de probabilidade é uma derivada de Radon–Nikodym da variável aleatória em relação à medida da contagem (que diz que a medida de um conjunto é o número de elementos dentro dele).
Teste KS
A função de distribuição acumulada é parte fundamental na definição da variável aleatória. Como vimos anteriormente, podemos calcular a probabilidade de intervalos a partir dela. Se temos duas funções de distribuição acumulada parecidas, então podemos concluir que suas distribuições são parecidas. Isso nos inspira a criar o teste KS.
Nele, comparamos as funções de distribuição acumulada de duas distribuições e identificamos a maior "distância" entre elas.
A definição formal de métrica nos permite criar distâncias em espaços quaisquer, não necessariamente no . Podemos por exemplo criar distância no espaço de funções. (Veja mais sobre distâncias no meu blog - shameless self promotion).
Sejam e funções definidas em , podemos calcular uma distância entre essas funções como
Ou seja, a distância entre duas funções é dada pelo máximo do módulo da diferença em cada ponto.
Por exemplo, se queremos calcular a distância entre as funções f(x)=(x−0.4)2 e g(x)=2.5, temos que achar o valor que maximiza a função h(x)=|(x−0.4)2−2.5|. O valor da distância será o local em que as curvas estão mais distantes.
Se tivermos duas variáveis aleatórias e e quisermos saber se são parecidas ou não, podemos aplicar essa distância às suas funções de distribuição acumulada!
Exemplo
Vamos calcular a distância de e .
Código da célula
def acumulada_uniforme(t):
return np.select([t < 0, (t >= 0) & (t <= 2), t > 2], [0, t/2, 1])
def acumulada_exponencial(t):
return np.select([t < 0, t >= 0], [0, 1 - np.exp(-t)]) Código da célula
t_vals = np.linspace(-1,4,1000)
ac_u, ac_e = acumulada_uniforme(t_vals), acumulada_exponencial(t_vals)
plt.plot(t_vals, ac_u, label='uniforme')
plt.plot(t_vals, ac_e, label='exponencial')
argmax = np.argmax(np.abs(ac_u-ac_e))
plt.vlines(t_vals[argmax], ac_u[argmax],
ac_e[argmax], 'k',
label=f'distância = {np.max(np.abs(ac_u-ac_e)).round(3)}')
plt.legend()
plt.show()Teste KS com amostras
Se eu não tenho a função de distribuição acumulada exata, mas tenho uma amostra, é possível calcular uma estimativa pra essa função.
Relembrando o significado de como
Podemos olhar na nossa amostra qual a proporção de elementos que têm valor menor ou igual a !
Neste caso, temos
Código da célula
n = 500
amostra1 = np.random.RandomState(42).uniform(0, 2, n)
amostra2 = np.random.RandomState(42).exponential(1, n)Código da célula
_, bins, _ = plt.hist(amostra2, alpha=0.5, density=True, bins=10)
plt.hist(amostra1, alpha=0.5, density=True, bins=bins)
plt.show()Código da célula
def return_acumulada_estimada(x):
def acumulada(t):
return [(x<=t_).sum()/len(x) for t_ in t]
return acumuladaCódigo da célula
plt.plot(return_acumulada_estimada(amostra1)(t_vals))
plt.plot(return_acumulada_estimada(amostra2)(t_vals))
plt.show()Código da célula
from scipy.stats import ks_2samp
# from scipy.stats import kstest, ks_1samp
ks, pvalue = ks_2samp(amostra1, amostra2)
ks0.154
KS como métrica de classificação
Como o teste KS mede bem o quanto duas distribuições estão separadas, é comum utilizá-lo para avaliar o quão bem um classificador separa amostras de classes diferentes.
Por exemplo, se fizermos um problema toy de regressão:
Código da célula
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
X, y = make_classification(n_samples=1000, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
log_reg = LogisticRegression().fit(X_train,y_train)
y_prev_prob = log_reg.predict_proba(X_test)[:,1]Gostaríamos que o nosso classificador jogasse todos os elementos da classe 0 para valores perto do 0 e todos os elementos da classe 1 para valores perto de 1. Pela natureza ruidosa do problema, mesmo um classificador muito bom não consegue fazer isso e existe alguma intersecção entre os valores previstos para os dois subgrupos.
Código da célula
plt.hist(y_prev_prob[y_test==0], bins=np.linspace(0,1,11), alpha=0.8, label='y_test == 0')
plt.hist(y_prev_prob[y_test==1], bins=np.linspace(0,1,11), alpha=0.8, label='y_test == 1')
plt.legend()
plt.show()A ideia aqui é justamente quantificar o quão separados esses subgrupos ficaram nesse espaço de scores cuspidos pelo modelo. Para isso aplicamos o teste KS medindo a distância entre as distribuições dos scores das classes 1 e 0.
Código da célula
ks, pvalue = ks_2samp(y_prev_prob[y_test==0], y_prev_prob[y_test==1])
print(f"{ks=}")
plt.plot(return_acumulada_estimada(y_prev_prob[y_test==0])(np.linspace(0,1)), label='y_prob para y_test==0')
plt.plot(return_acumulada_estimada(y_prev_prob[y_test==1])(np.linspace(0,1)), label='y_prob para y_test==1')
plt.legend()
plt.show()ks=0.7268652878292495