Frequentismo

Nate Silver, Frequentistas, Bayesianos e Economistas

Publicado por

0


Havíamos comentado sobre o livro de Nate Silver.  Em particular, falamos sobre o capítulo 8 do livro, uma crítica aos testes cegos de significância estatística. E este capítulo, apesar de super simples, está dando o que falar. Por basicamente dois motivos: (i) Nate utiliza a palavra “frequentismo” para denominar o que critica; e, (ii) o livro se tornou muito popular.

O problema do rótulo “frequentismo” é que ele é utilizado para diversas correntes e técnicas estatísticas, sejam no campo teórico ou aplicado. Dessa forma, muitos daqueles que se denominam “frequentistas” não se enxergam na caracterização feita por Silver. Sentem-se ameaçados e injustiçados – passando a apontar limitações do Bayesianismo, que obviamente existem – a despeito de esses mesmos “frequentistas” também concordarem que as práticas expostas por Nate sejam ruins.

Andrew Gelman tem dois posts (1 e 2) sobre o assunto que merecem ser lidos (e lá você encontrará links para os demais posts de outros blogs). Vale destacar algumas passagens de Gelman.

Com relação à mensagem geral da crítica aos testes de significância:

if Nate’s message is that modern statistics is about models rather than p-values, I support that message even if it’s not phrased in the most technically correct manner.

Uma ênfase sobre o que o economista deve tomar como lição desta discussão:

One thing I’d like economists to get out of this discussion is: statistical ideas matter. To use Smith’s terminology, there is a there there. P-values are not the foundation of all statistics (indeed analysis of p-values can lead people seriously astray). A statistically significant pattern doesn’t always map to the real world in the way that people claim.

Indeed, I’m down on the model of social science in which you try to “prove something” via statistical significance. I prefer the paradigm of exploration and understanding. (See here for an elaboration of this point in the context of a recent controversial example published in an econ journal.)

Here’s another example (also from economics) where the old-style paradigm of each-study-should-stand-on-its-own led to troubles.

E uma crítica à crença incorreta (mas bastante comum) sobre como são aplicados os testes de hipótese na prática:

(…) hypothesis testing typically means that you do what’s necessary to get statistical significance, then you make a very strong claim that might make no sense at all. Statistically significant but stupid. Or, conversely, you slice the data up into little pieces so that no single piece is statistically significant, and then act as if the effect you’re studying is zero. The sad story of conventional hypothesis testing is that it is all to quick to run with a statistically significant result even if it’s coming from noise.

Sobre os pontos levantados na discussão, já tratamos neste blog da confusão gerada em testes de significância aqui (exemplo com teste de normalidade), aqui (exemplo com mercados eficientes) e aqui (uma brincadeira com confundir não rejeitar a hipótese nula com aceitá-la).

Em que sentido a noção de probabilidade frequentista é objetiva?

Publicado por

3


Já vi algumas pessoas contrastarem as concepções de probabilidade Bayesiana e Frequentista do seguinte modo: os primeiros consideram que a aleatoriedade é um problema de conhecimento, subjetivo, enquanto os segundos interpretam a aleatoriedade como inerente ao processo físico, algo objetivo.

Esta contraposição não me parece a principal, além de ser bastante imprecisa.

Grosso modo, a probabilidade frequentista é definida da seguinte maneira. Suponha um conjunto arbitrário de condições complexas S. Defina a probabilidade p do evento A como o limite de ocorrências do evento A sob tais circunstâncias S,  p=P(A/S).

Em que sentido esta definição de probabilidade – e de aleatoriedade –  seria objetiva?

Kolmogorov expõe:

Para dadas condições S as propriedades de o evento A ser aleatório e de ter a probabilidade p=P(A/S) expressa o caráter objetivo da conexão entre S e o evento A. Em outras palavras, não existe nenhum evento absolutamente aleatório; um evento é aleatório ou determinístico dependendo da conexão sob a qual é considerado, mas sob certas condições um evento pode ser aleatório em um sentido completamente não subjetivo, i.e., independentemente do conhecimento de qualquer observador. Se nós imaginarmos um observador que domine todos os detalhes e circunstâncias particulares do lançamento de um projétil, e portanto é capaz de prever para cada um seu desvio com relação à trajetória média, sua presença ainda assim não impediria os projéteis de se dispersarem conforme as leis da probabilidade, desde que, obviamente, o tiro fosse feito da maneira usual, e não conforme as instruções de nosso atirador imaginário.

Ou seja, a aleatoriedade “percebida” pelo sujeito é determinada pelos conjuntos ou subconjuntos de S que este é capaz de distinguir.

Para aquele que apenas consegue discernir que o projétil foi disparado pelas condições S, A trata-se de um evento aleatório cuja probabilidade, em um tiro específico, é p=P(A/S). Já, por exemplo, para um outro observador capaz de distinguir cada subconjunto específico do lançamento S’, o evento A é determinístico, e este é capaz de dizer de antemão, para cada projétil, se p’=P(A/S’) é igual a zero ou um – muito embora sua capacidade não modifique a distribuição sob S.

Isto é, nesta definição, existe tanto um caráter “físico” da aleatoriedade (a distribuição de resultados sob S é definida independentemente do seu conhecimento), quanto um caráter “subjetivo” e informacional para a aleatoriedade “percebida” (a probabilidade que você percebe para o evento A, em um teste específico, depende do seu conhecimento).

O que é a probabilidade a posteriori

Publicado por

0


Deborah Mayo achou que o vídeo do post anterior, sobre as más interpretações do p-valor, parte implicitamente do pressuposto de que, caso o resultado tivesse sido divulgado em forma de uma probabilidade a posteriori, não haveria problemas de interpretação.

Mayo propõe, assim, um rejoinder, com um diálogo evidenciando as dificuldades – em alguns casos maiores – da inversão bayesiana.