Peixes, meias e simulações: uma introdução intuitiva (e divertida) à estatística bayesiana


Como tinha dito anteriormente, gostei muito do tutorial do Rasmus no useR! 2105 e estava apenas esperando ele publicar online para divulgar por aqui.

Rasmus resolveu introduzir estatística Bayesiana com simulações, de uma forma bem intuitiva, e acho que funcionou muito bem –  pretendo descaradamente  roubar  adotar essa estratégia para cursos introdutórios. Você pode baixar o material aqui.

Além do tutorial, outra apresentação divertida do Rasmus foi o uso de estatística bayesiana para resolver um problema, de certo modo, trivial, mas também bastante didático: se todas as 11 primeiras meias que você tirou de um cesto de roupas não fazem par, qual o provável total de meias no cesto? Ficou curioso, dê uma conferida no material (acompanhe escrevendo os códigos)!

socks

 

Previsões do primeiro turno: Google Trends (e Vidente Carlinhos)?


Os resultados do primeiro turno saíram e, mesmo com as evidências de ontem que apontavam para uma alta de Aécio Neves, surpreenderam: o candidato mineiro amealhou quase 34% dos votos, quando há pouco se estimava que conseguiria 15%! Os modelos de previsão, apesar de favorecerem Aécio quando atualizados com as pesquisas de sábado, não conseguiram capturar a magnitude da mudança, apontando para estimativas entre  21 a 26%.

Faz parte. Prever em meio a tanta incerteza (e pesquisas de metodologia duvidosa) é uma tarefa ingrata.

Por outro lado, o Google Trends (depois de corrigido com a dica do Gabriel Ferreira – valeu!) trouxe um indício bastante forte da subida de Aécio. E com uma coincidência aritmética, digamos, “mística”, quase ao estilo Vidente Carlinhos.  Uma regra de 3 com os dados do trends de sexta, considerando 40% para Dilma como base, trazia valores estimados de 35% para Aécio e 21% para Marina. Quase cravado.

Evidentemente, isso não passou de sorte, pois utilizando os dados disponíveis agora você estimaria que Aécio ultrapassou Dilma. Mas tampouco é somente algo curioso. Isto mostra o potencial do Google Trends no auxílio do “nowcasting”  das eleições, complementando os resultados das pesquisas para entender as tendências do eleitorado. O grande desafio aqui é separar o sinal do ruído, tanto das pesquisas, quanto das redes sociais e dos mecanismos de buscas, além de saber como juntar essas evidências de forma complementar e coerente.

No caso do Google, certamente o teor das buscas importa, lembre do caso do Pastor Everaldo.  E as buscas relacionadas que mais estavam crescendo eram aquelas que diziam respeito aos números dos candidatos. Ou seja, tinham relação direta com intenção de voto.

Aecio_numeroDepois dessa, é capaz de muita gente ficar de olho no Trends durante o segundo turno. Só espero que o Google tenha bons algoritmos para impedir que os bots dos partidos manipulem o indicador. Ou ainda, será que a relação continuará valendo, uma vez que as pessoas já tenham tido tempo de decorar os números de seus candidatos?

Nate Silver, Frequentistas, Bayesianos e Economistas


Havíamos comentado sobre o livro de Nate Silver.  Em particular, falamos sobre o capítulo 8 do livro, uma crítica aos testes cegos de significância estatística. E este capítulo, apesar de super simples, está dando o que falar. Por basicamente dois motivos: (i) Nate utiliza a palavra “frequentismo” para denominar o que critica; e, (ii) o livro se tornou muito popular.

O problema do rótulo “frequentismo” é que ele é utilizado para diversas correntes e técnicas estatísticas, sejam no campo teórico ou aplicado. Dessa forma, muitos daqueles que se denominam “frequentistas” não se enxergam na caracterização feita por Silver. Sentem-se ameaçados e injustiçados – passando a apontar limitações do Bayesianismo, que obviamente existem – a despeito de esses mesmos “frequentistas” também concordarem que as práticas expostas por Nate sejam ruins.

Andrew Gelman tem dois posts (1 e 2) sobre o assunto que merecem ser lidos (e lá você encontrará links para os demais posts de outros blogs). Vale destacar algumas passagens de Gelman.

Com relação à mensagem geral da crítica aos testes de significância:

if Nate’s message is that modern statistics is about models rather than p-values, I support that message even if it’s not phrased in the most technically correct manner.

Uma ênfase sobre o que o economista deve tomar como lição desta discussão:

One thing I’d like economists to get out of this discussion is: statistical ideas matter. To use Smith’s terminology, there is a there there. P-values are not the foundation of all statistics (indeed analysis of p-values can lead people seriously astray). A statistically significant pattern doesn’t always map to the real world in the way that people claim.

Indeed, I’m down on the model of social science in which you try to “prove something” via statistical significance. I prefer the paradigm of exploration and understanding. (See here for an elaboration of this point in the context of a recent controversial example published in an econ journal.)

Here’s another example (also from economics) where the old-style paradigm of each-study-should-stand-on-its-own led to troubles.

E uma crítica à crença incorreta (mas bastante comum) sobre como são aplicados os testes de hipótese na prática:

(…) hypothesis testing typically means that you do what’s necessary to get statistical significance, then you make a very strong claim that might make no sense at all. Statistically significant but stupid. Or, conversely, you slice the data up into little pieces so that no single piece is statistically significant, and then act as if the effect you’re studying is zero. The sad story of conventional hypothesis testing is that it is all to quick to run with a statistically significant result even if it’s coming from noise.

Sobre os pontos levantados na discussão, já tratamos neste blog da confusão gerada em testes de significância aqui (exemplo com teste de normalidade), aqui (exemplo com mercados eficientes) e aqui (uma brincadeira com confundir não rejeitar a hipótese nula com aceitá-la).

Em que sentido a noção de probabilidade frequentista é objetiva?


Já vi algumas pessoas contrastarem as concepções de probabilidade Bayesiana e Frequentista do seguinte modo: os primeiros consideram que a aleatoriedade é um problema de conhecimento, subjetivo, enquanto os segundos interpretam a aleatoriedade como inerente ao processo físico, algo objetivo.

Esta contraposição não me parece a principal, além de ser bastante imprecisa.

Grosso modo, a probabilidade frequentista é definida da seguinte maneira. Suponha um conjunto arbitrário de condições complexas S. Defina a probabilidade p do evento A como o limite de ocorrências do evento A sob tais circunstâncias S,  p=P(A/S).

Em que sentido esta definição de probabilidade – e de aleatoriedade –  seria objetiva?

Kolmogorov expõe:

Para dadas condições S as propriedades de o evento A ser aleatório e de ter a probabilidade p=P(A/S) expressa o caráter objetivo da conexão entre S e o evento A. Em outras palavras, não existe nenhum evento absolutamente aleatório; um evento é aleatório ou determinístico dependendo da conexão sob a qual é considerado, mas sob certas condições um evento pode ser aleatório em um sentido completamente não subjetivo, i.e., independentemente do conhecimento de qualquer observador. Se nós imaginarmos um observador que domine todos os detalhes e circunstâncias particulares do lançamento de um projétil, e portanto é capaz de prever para cada um seu desvio com relação à trajetória média, sua presença ainda assim não impediria os projéteis de se dispersarem conforme as leis da probabilidade, desde que, obviamente, o tiro fosse feito da maneira usual, e não conforme as instruções de nosso atirador imaginário.

Ou seja, a aleatoriedade “percebida” pelo sujeito é determinada pelos conjuntos ou subconjuntos de S que este é capaz de distinguir.

Para aquele que apenas consegue discernir que o projétil foi disparado pelas condições S, A trata-se de um evento aleatório cuja probabilidade, em um tiro específico, é p=P(A/S). Já, por exemplo, para um outro observador capaz de distinguir cada subconjunto específico do lançamento S’, o evento A é determinístico, e este é capaz de dizer de antemão, para cada projétil, se p’=P(A/S’) é igual a zero ou um – muito embora sua capacidade não modifique a distribuição sob S.

Isto é, nesta definição, existe tanto um caráter “físico” da aleatoriedade (a distribuição de resultados sob S é definida independentemente do seu conhecimento), quanto um caráter “subjetivo” e informacional para a aleatoriedade “percebida” (a probabilidade que você percebe para o evento A, em um teste específico, depende do seu conhecimento).

O que é a probabilidade a posteriori


Deborah Mayo achou que o vídeo do post anterior, sobre as más interpretações do p-valor, parte implicitamente do pressuposto de que, caso o resultado tivesse sido divulgado em forma de uma probabilidade a posteriori, não haveria problemas de interpretação.

Mayo propõe, assim, um rejoinder, com um diálogo evidenciando as dificuldades – em alguns casos maiores – da inversão bayesiana.