Vale à pena conferir a entrevista, abaixo, de Nate Silver com Hal Varian no Google:
Mais sobre Nate Silver neste blog aqui.
Via Simply Statistics.
PS: Em futuros posts, alguns comentários sobre papers da ANPEC/SBE 2012.
estatística
Statistics – Fox Style
A estatística não trata só de cálculos – saber comunicar os resultados, inclusive graficamente, é algo fundamental. Gelman, por exemplo, é um autor que gosta de discutir extensivamente a apresentação visual da informação.
Neste quesito, o canal de televisão Fox News tem “inovado” bastante, criando formas curiosas de apresentar dados.
O blog Simply Statistics trouxe vários exemplos. Vejam um deles, o gráfico de pizza abaixo.
Que “beleza”!
(Dica do Rafael Dantas)
Culto da significância estatística I: um exemplo do teste de normalidade
A maioria dos trabalhos econométricos aplicados parece confundir significância estatística com significância prática ou econômica. Apesar de ser um problema simples, por ser uma prática bastante difundida, percebe-se que ainda há certa dificuldade de entender como e quando isso ocorre.
Aproveitando o post do Dave Giles, vamos dar um exemplo corriqueiro: um teste de normalidade.
Ao tomar um artigo aplicado que utilize o teste de normalidade, é provável que você se depare com o seguinte procedimento.
1) O autor escolherá algum teste frequentista disponível, como o bastante utilizado teste de Jarque-Bera.
2) O teste de Jarque-Bera tem como hipótese nula a normalidade. Assim, se o p-valor for menor do que 5% (ou 10%), p<0,05 (p<0,10), então o autor rejeita a normalidade. Já se p>0,05, aceita-se a normalidade.
O que acabamos de descrever acima é algo bastante comum e é um dos exemplos da confusão entre significância estatística e significância prática ou econômica.
Por quê?
Porque você, muito provavelmente, não quer saber se a distribuição é exatamente normal, mas sim se ela é aproximadamente normal. E o teste, da forma como está formulado, não responde a última pergunta.
Apenas o p-valor não irá te dizer o quão grande é o desvio em relação à normalidade.
O teste Jarque-Bera utiliza como parâmetros os coeficientes de curtose e assimetria (que na normal são de 3 e 0, respectivamente). Queremos saber se nossa distribuição é aproximadamente normal porque, desvios muitos grandes, como, por exemplo, uma curtose acima de 4 e assimetria acima de 1 invalidaria nossos erros-padrão e intervalos de confiança.
Agora imagine que sua distribuição tenha os coeficientes iguais a 3,000000000001 e 0,00000000000001. Podemos dizer que a distribuição seria, para fins práticos, igual a uma normal, pois assumir normalidade não prejudicaria sua inferência. Mas, com uma amostra enorme, você consegue ter um p-valor arbitrariamente baixo, como p<0,00001 – um resultado “significante” – e você rejeitaria a normalidade quando ela é cabível.
Vide o caso do post do Dave Giles, em que com uma amostra de 10.000 observações você poderia rejeitar a normalidade “a 10% de significância”, sendo que, para fins práticos, muito provavelmente os desvios sugeridos poderiam ser negligenciáveis.
Por outro lado, você poderia ter uma distribuição cujos coeficientes fossem iguais a 5 e 2, mas, devido ao reduzido tamanho amostral, o p-valor poderia ser moderado, como p=0,30. O resultado não é “significante”. Mas, neste caso, você aceitaria a normalidade em uma situação em que qualquer inferência posterior seria completamente prejudicada.
O poder da estatística, ou como você é tão previsível 2
No mundo de dados abundantes, como disse Hal Varian, saber tratá-los e interpretá-los (bem) torna-se cada vez mais fundamental, e a (boa) estatística já se torna a profissão sexy da vez.
As aplicações são as mais diversas: desde prever, pelos hábitos de compra, quando sua cliente está grávida e quando o bebê irá nascer; passando, também, por utilizar buscas do Google para fazer “previsões em tempo real”; até prever o resultado de duas eleições presidenciais.
Sobre este último ponto, o livro do Nate Silver
em breve eventualmente!
Em que sentido a noção de probabilidade frequentista é objetiva?
Já vi algumas pessoas contrastarem as concepções de probabilidade Bayesiana e Frequentista do seguinte modo: os primeiros consideram que a aleatoriedade é um problema de conhecimento, subjetivo, enquanto os segundos interpretam a aleatoriedade como inerente ao processo físico, algo objetivo.
Esta contraposição não me parece a principal, além de ser bastante imprecisa.
Grosso modo, a probabilidade frequentista é definida da seguinte maneira. Suponha um conjunto arbitrário de condições complexas S. Defina a probabilidade p do evento A como o limite de ocorrências do evento A sob tais circunstâncias S, p=P(A/S).
Em que sentido esta definição de probabilidade – e de aleatoriedade – seria objetiva?
Kolmogorov expõe:
Para dadas condições S as propriedades de o evento A ser aleatório e de ter a probabilidade p=P(A/S) expressa o caráter objetivo da conexão entre S e o evento A. Em outras palavras, não existe nenhum evento absolutamente aleatório; um evento é aleatório ou determinístico dependendo da conexão sob a qual é considerado, mas sob certas condições um evento pode ser aleatório em um sentido completamente não subjetivo, i.e., independentemente do conhecimento de qualquer observador. Se nós imaginarmos um observador que domine todos os detalhes e circunstâncias particulares do lançamento de um projétil, e portanto é capaz de prever para cada um seu desvio com relação à trajetória média, sua presença ainda assim não impediria os projéteis de se dispersarem conforme as leis da probabilidade, desde que, obviamente, o tiro fosse feito da maneira usual, e não conforme as instruções de nosso atirador imaginário.
Ou seja, a aleatoriedade “percebida” pelo sujeito é determinada pelos conjuntos ou subconjuntos de S que este é capaz de distinguir.
Para aquele que apenas consegue discernir que o projétil foi disparado pelas condições S, A trata-se de um evento aleatório cuja probabilidade, em um tiro específico, é p=P(A/S). Já, por exemplo, para um outro observador capaz de distinguir cada subconjunto específico do lançamento S’, o evento A é determinístico, e este é capaz de dizer de antemão, para cada projétil, se p’=P(A/S’) é igual a zero ou um – muito embora sua capacidade não modifique a distribuição sob S.
Isto é, nesta definição, existe tanto um caráter “físico” da aleatoriedade (a distribuição de resultados sob S é definida independentemente do seu conhecimento), quanto um caráter “subjetivo” e informacional para a aleatoriedade “percebida” (a probabilidade que você percebe para o evento A, em um teste específico, depende do seu conhecimento).
Uma partida de futebol pode mudar o resultado das eleições?
Tomando como analogia este estudo, sim.
A hipótese é a de que, quando você está de bom (mau) humor, você tende a gastar mais tempo avaliando o lado positivo (negativo) das coisas, inclusive do atual governante.
Os autores buscaram testar esta hipótese analisando os jogos esportivos locais. Sabe-se que os resultados desses jogos afetam o bem-estar das pessoas e não são frutos de decisões políticas.
Em tese, portanto, você não deveria mudar a avaliação sobre um governante simplesmente porque seu time ganhou um jogo na última semana.
Contudo, os resultados encontrados indicam que, na média, as pessoas mudam o voto – e os valores encontrados foram relativamente altos! Uma vitória do time local, 10 dias antes das eleições, poderia aumentar os votos para o candidato da situação em até 1.13 pontos percentuais.
A primeira reação a esse valor pode ser – como foi a minha – a de pensar que estamos diante de uma correlação espúria. Ora, não é possível que um mero resultado de um jogo mude tanto os resultados de uma eleição… Mas os autores são cuidadosos e têm uma retórica persuasiva. Primeiro, eles controlam para outros fatores e isso não muda muito a magnitude do coeficiente. Segundo, eles realizam um teste placebo, buscando verificar se jogos futuros afetam as eleições no passado (o que seria absurdo) e encontram coeficientes quase iguais a zero e estatisticamente insignificantes.
Mas, além dos dados acima – não experimentais – os autores aplicam questionários durante um campeonato de basquete universitário. Neste caso, é possível controlar com mais cuidado fatores diversos que permitiriam encontrar uma correlação espúria. Os resultados foram similares – cada vitória elevava a aprovação de Obama, na média, em 2.3 pontos percentuais. E, fato interessante, quando os participantes foram informados dos resultados dos jogos antes de se perguntar sobre Obama, o efeito desapareceu! Isto é, uma vez que o sujeito se torna consciente do que está afetando seu bom humor, ele não deixa isso afetar outras áreas de sua vida, como o julgamento sobre o desempenho de um político.
Com dados eleitorais e esportivos abundantes no Brasil, acredito que seja possível replicar este estudo por aqui.
Via Andrew Gelman e Marginal Revolution.
P-valor não é probabilidade a posteriori!
Quando saiu a “descoberta” do Bóson de Higgs, praticamente todos os jornais divulgaram a notícia confundindo o p-valor da pesquisa como a probabilidade a posteriori de se cometer um erro. Esta confusão é muito mais comum do que se imagina, inclusive entre os próprios professores e livros de estatística (vide, por exemplo, Haller e Kraus, 2002 ou Gigerenzer, 2000).
A esse respeito, neste último final de semana, vi uma apresentação de uma aula de métodos quantitativos de um ótimo curso de pós-graduação em que se afirmava que o p-valor indicaria, “informalmente”, a probabilidade de a hipótese nula ser verdadeira. Isso não é verdade, nem informalmente – essas duas probabilidades podem até coincidir, mas apenas em circunstâncias específicas, pois ambas podem ser arbitrariamente distantes, a depender dos pressupostos a priori (vide DeGroot, 1973 ou Casella e Berger, 1987 para casos em que coincidem. Vide Berger e Selke 1987, para casos gerais em que não).
Vale a pena, portanto, recolocar aqui o link para um breve video sobre o p-valor. Provavelmente voltarei a este assunto em breve (p<5% ?).
HALLER, H.; KRAUSS, S. Misinterpretations of significance: A problem students share with their teachers? Methods of Psychological Research Online. v.7(1), p. 1–20. 2002.
GIGERENZER, G. Adaptive Thinking—Rationality in the Real World. Oxford Univ. Press, New York. 2000.
DEGROOT, M. H. Doing What Comes Naturally: Interpreting a Tail Area as a Posterior Probability or as a Likelihood Ratio. Journal of the American Statistical Association, 68, p. 966-969, 1973.
CASELLA, G.; BERGER, R. L. Testing Precise Hypotheses: Comment. Statistical Science, v.2(3), p. 344-347, 1987b.
BERGER, J. O.; SELLKE, T. Testing a point null hypothesis: The irreconcilability of P values and evidence. Journal of the American Statistical Association, v.82(397), p. 112-122, 1987
Pombos são mais espertos do que humanos?
Segundo este estudo, pelo menos no que tange ao problema de Monty Hall*, sim.
(Este é um problema que envolve uma pegadinha de probabilidade na qual quase todo ser humano cai. Aparentemente, os pombos aprendem. Para saber o que é o problema de Monty Hall, leia abaixo ou o link do wikipedia acima. Para quem assistiu ao filme Quebrando a Banca, este problema aparece logo no início.)
O estudo aplicou o problema de Monty Hall a pombos e verificou que durante o experimento os pássaros foram se adaptando ao problema. Ao final, os pombos adotaram uma estratégia ótima que maximizasse o retorno esperado do prêmio.
Já os humanos, não. No primeiro dia de experimento, ambos, humano e pombo, adotavam uma estratégia razoavelmente similar. Ao final do trigésimo dia de experimento, como os pombos aprenderam rapidamente, os participantes humanos eram 30,67% menos propensos do que os pombos a adotarem a estratégia correta.
*O que é o problema de Monty Hall?
Suponha que você esteja participando de um jogo com três portas e que atrás de uma delas tenha um carro como prêmio. O apresentador do jogo pede a você que escolha uma porta. Se você escolher a porta que tem o carro, você ganha o carro.
Entretanto, após você escolher sua porta, o apresentador abre uma outra porta do jogo e mostra que aquela porta está vazia. Atrás dela não está o prêmio. O apresentador, então, pergunta: “Você quer mudar de porta?”. Há apenas duas portas sobrando, aquela que você escolheu primeiro e aquela que não foi aberta.
Você mudaria de porta? Qual a probabilidade de você ganhar o prêmio, se mudar de porta?
Em geral, as pessoas acham que é 50%. Afinal, ou o prêmio está na porta que você escolheu, ou está na outra porta que sobrou. Mas essa resposta não é correta.
A forma mais fácil de visualizar isso é a seguinte. Vamos nomear as portas de “porta premiada”, “porta não premiada 1” e “porta não premiada 2”. Ao escolher a sua porta, você tinha 1/3 de probabilidade de escolher cada uma delas.
Se você escolher a “porta premiada” e mudar, você perde. Este evento tem probabilidade de 1/3.
Se você escolher a “porta não premiada 1”, o apresentador irá abrir a “porta não premiada 2”, restando unicamente a “porta premiada”. Então se você mudar, você ganha. Este evento tem probabilidade de 1/3
O mesmo raciocínio acima vale para caso você escolha a “porta não premiada 2”. E, novamente, este evento tem probabilidade 1/3.
Logo, a probabilidade de você ganhar caso mude de porta é 1/3+1/3=2/3=66,66%.
Ao que parece, os pombos aprendem rapidamente que mudar de porta dá mais prêmios ao longo do tempo. Já os humanos têm uma dificuldade enorme de aprender o problema acima, mesmo depois de duas centenas de tentativas, conforme o experimento do estudo!
O que é o p-valor
Já havíamos falado do p-valor aqui, aqui, aqui e aqui. Agora veja este vídeo sobre o p-valor, explicando que, diferentemente do que as pessoas fazem na prática, você: (i) não pode inverter a probabilidade; (ii) não pode comparar diferentes p-valores com amostras diferentes como medida de evidência (isto é, um p-valor menor não quer dizer evidência mais forte); (iii) e que significância estatística não é a mesma coisa de significância prática.
Confusão eterna! A “descoberta” do Bóson de Higgs
Como havíamos falado em post anterior, quase todo mundo confunde o significado dos p-valores ou intervalos de confiança. E não é que lendo a matéria da FAPESP sobre o bóson de Higgs, uma notícia de uma agência de financiamento oficial, vemos a mesma confusão!
Na física das partículas, 5 Sigma indica 99,9% de probabilidade de o resultado da medida estar correto e de que há uma chance em 1,75 milhão de se tratar de um desvio estatístico.
A interpretação correta aqui é de que, caso o resultado fosse derivado de um “desvio estatístico”, isto é, caso o resultado fosse derivado apenas por sorte, as chances de se obter uma observação tão extrema ou mais extrema do que a observada pelos cientistas seria de uma em 1,75 milhão. Isso não é a mesma coisa de dizer que “há uma chance em 1,75 milhão de se tratar de um desvio estatístico”.
Análise Real 