Dizem que não há má publicidade. Ontem li a Econgirl e seu diálogo (imaginário) com Michael Sandel. Hoje Mankiw aponta para a devastadora crítica da Deirdre McCloskey. Resultado: tive que comprar o livro de Sandel, What Money Can’t Buy: The Moral Limits of Markets
A África cresce mais do que pensamos? Mercados para casamentos falidos e Econgirl vs Michael Sandel
Pouca procrastinação, posts mais corridos. Seguem três leituras interessantes:
– Economic Logician traz um working paper sobre a África, que sugere que os dados oficiais subestimam o crescimento econômico do continente.
– Via Al Roth: mercados para casamentos falidos. Coração partido, cancelou seu casamento em cima da hora? Minimize o prejuízo vendendo para um casal ansioso e pão-duro econômico.
É racional votar?
Vimos que as pessoas podem não ser tão racionais na hora da escolha de seu candidato, deixando fatores externos, como uma partida de futebol, alterarem suas preferências. Mas e o próprio ato de se dar ao trabalho de comparecer às urnas, seria racional?
As chances de uma eleição ser decidida por apenas um voto são muito pequenas, quase nulas. Nos Estados Unidos, por exemplo, Gelman estima que essa probabilidade seja de 1 em 1 milhão. Deste modo, um agente racional muito provavelmente decidiria não votar, certo? Afinal, existe um custo para votar e o retorno esperado seria, virtualmente, zero.
Bom, depende.
Se você avalia o resultado das eleições apenas pelo seu benefício direto, sim, seria irracional ir às urnas. Você somente iria se achasse o ato de votar prazeroso em si, por exemplo. A partir deste pressuposto, a alta taxa de comparecimento verificada nas eleições seria um paradoxo.
Mas, se você considera que a vitória de um candidato traz benefícios não somente para você, mas para toda a população, e você se importa com a satisfação dos outros, então o valor esperado do resultado das eleições pode ser positivo – aliás, pode ser muito alto. Suponha que você julgue que a vitória de seu candidato traga um benefício líquido de R$10,00 para cada indivíduo no Brasil. Neste caso, o resultado das eleições equivaleria a ganhar um prêmio de R$2 bilhões. Gelman modela esta situação e mostra como o ato de comparecer às eleições pode ser mais racional do que se imagina.
O culto da significância estatística II: Nate Silver
Após atuar com métodos estatísticos para previsão no Basebol, Nate Silver foi destaque nas previsões para a eleição presidencial dos Estados Unidos. Com a popularidade alcançada, seu livro “The Signal and the Noise: Why So Many Predictions Fail-but Some Don’t” virou best-seller na Amazon.
O livro é voltado para o público geral, e trata dos percalços enfrentados no mundo da previsão, tentando distinguir quando e como a estatística pode ser utilizada e boas previsões podem ser feitas. Nate discute o trabalho de Kahneman sobre vieses cognitivos muito comuns, presentes principalmente quando lidamos com incerteza e probabilidade; discute o trabalho de Tetlock, que mostrou como, na média, “experts” políticos não são muito melhores do que um simples “cara-e-coroa” – a não ser que eles tenham certas características, como uma visão plural e interdisciplinar, conhecimento sobre a própria ignorância entre outros fatores. Essas são armadilhas que todos que lidam com dados devem estar cientes, para buscar evitá-las.
Nate defende a necessidade de se ter uma teoria sólida para se tratar os dados – e que essa necessidade aumenta no mundo com dados cada vez mais abundantes. Alega que, em geral, áreas em que previsões geralmente falham são aquelas em que a teoria ainda é nebulosa e que recorrem demasiadamente a modelos data-driven. Ele aborda também a dificuldade inerente a sistemas não-lineares, sistemas dinâmicos, leis de potência entre outras fatores que, se negligenciados, podem resultar em péssimas previsões.
Nate traz diversos exemplos (às vezes chega a ser exaustivo) para ilustrar seu ponto, passando por Basebol, Clima, Terremotos, Economia, Pôquer etc.
Mas, o capítulo 8 do livro foi o que me mais chamou a atenção. Em um livro para o público geral, e que virou best-seller, Nate resgata a literatura sobre as críticas aos testes de significância estatística (uma discussão mais extensa aqui, wikipedia aqui, alguns temas no blog aqui). Ele cita:
– o texto do Nickerson “Null Hypothesis Significance Testing: A Review of an Old and Continuing Controversy”;
– o texto do Cohen “The Earth Is Round (p < .05)”;
– o texto do Gill “The insignificance of null hypothesis significance testing”;
Entre outros. O tom que ele usa não é leve, atribuindo grande parte da culpa pelos métodos atualmente utilizados a Fisher. Seguem alguns trechos:
“Fisher é provavelmente mais responsável do que qualquer outro indivíduo pelos métodos estatísticos que ainda permanecem em amplo uso hoje. Ele desenvolveu a terminologia do teste de significância estatística e muito de sua metodologia” (p. 353).
“Estes métodos [testes de significância] desencorajam o pesquisador de considerar o contexto ou a plausibilidade de suas hipóteses […] assim, você verá artigos aparentemente sérios sobre como sapos podem prever terremotos, ou como lojas como a Target geram grupos de ódio racial, que aplicam testes frequentistas para produzir resultados “estatisticamente significantes” (mas manifestamente ridículos)” (p.253).
“Os métodos fisherianos não nos encorajam a pensar sobre quais correlações implicam em causalidade e quais não. Talvez não seja surpresa que depois de passar uma vida interia pensando assim, Fisher perdeu a habilidade de dizer a diferença [entre causalidade e correlação] (p.255). Nate faz referência ao fato de Fisher defender que fumar não causa câncer.
Como o livro se tornou um best-seller, é bem provável que isso desperte a curiosidade do aluno, que geralmente aprende passivamente um algoritmo qualquer na sala de aula; e também que chame mais a atenção dos pesquisadores (e professores) sobre a forma como estão fazendo inferência. Por este motivo, acho que o impacto do livro será bastante positivo. O Nate propõe o uso de métodos Bayesianos; mas, como o livro não é técnico – e o universo bayesiano bastante amplo – difícil saber quais ele realmente defende. De qualquer forma, não caberiar aqui discutir isso agora (o Larry Wasserman chegou ao ponto de dizer que vai mostrar ao próprio Nate que ele não é baeysiano, mas sim que é um raving frequentista, desfilando como bayesiano. Vamos ver o que vai sair disso…).
Em resumo, vale lembrar que este não é um livro técnico e que, tampouco, Nate irá te ensinar a fazer previsões. Mas conseguirá fazer você refletir sobre as possibilidades e limitações, tanto dos pesquisadores quanto dos métodos estatísticos, em uma leitura agradável e recheada de exemplos práticos.
Culto da significância estatística I: um exemplo do teste de normalidade
A maioria dos trabalhos econométricos aplicados parece confundir significância estatística com significância prática ou econômica. Apesar de ser um problema simples, por ser uma prática bastante difundida, percebe-se que ainda há certa dificuldade de entender como e quando isso ocorre.
Aproveitando o post do Dave Giles, vamos dar um exemplo corriqueiro: um teste de normalidade.
Ao tomar um artigo aplicado que utilize o teste de normalidade, é provável que você se depare com o seguinte procedimento.
1) O autor escolherá algum teste frequentista disponível, como o bastante utilizado teste de Jarque-Bera.
2) O teste de Jarque-Bera tem como hipótese nula a normalidade. Assim, se o p-valor for menor do que 5% (ou 10%), p<0,05 (p<0,10), então o autor rejeita a normalidade. Já se p>0,05, aceita-se a normalidade.
O que acabamos de descrever acima é algo bastante comum e é um dos exemplos da confusão entre significância estatística e significância prática ou econômica.
Por quê?
Porque você, muito provavelmente, não quer saber se a distribuição é exatamente normal, mas sim se ela é aproximadamente normal. E o teste, da forma como está formulado, não responde a última pergunta.
Apenas o p-valor não irá te dizer o quão grande é o desvio em relação à normalidade.
O teste Jarque-Bera utiliza como parâmetros os coeficientes de curtose e assimetria (que na normal são de 3 e 0, respectivamente). Queremos saber se nossa distribuição é aproximadamente normal porque, desvios muitos grandes, como, por exemplo, uma curtose acima de 4 e assimetria acima de 1 invalidaria nossos erros-padrão e intervalos de confiança.
Agora imagine que sua distribuição tenha os coeficientes iguais a 3,000000000001 e 0,00000000000001. Podemos dizer que a distribuição seria, para fins práticos, igual a uma normal, pois assumir normalidade não prejudicaria sua inferência. Mas, com uma amostra enorme, você consegue ter um p-valor arbitrariamente baixo, como p<0,00001 – um resultado “significante” – e você rejeitaria a normalidade quando ela é cabível.
Vide o caso do post do Dave Giles, em que com uma amostra de 10.000 observações você poderia rejeitar a normalidade “a 10% de significância”, sendo que, para fins práticos, muito provavelmente os desvios sugeridos poderiam ser negligenciáveis.
Por outro lado, você poderia ter uma distribuição cujos coeficientes fossem iguais a 5 e 2, mas, devido ao reduzido tamanho amostral, o p-valor poderia ser moderado, como p=0,30. O resultado não é “significante”. Mas, neste caso, você aceitaria a normalidade em uma situação em que qualquer inferência posterior seria completamente prejudicada.
O poder da estatística, ou como você é tão previsível 2
No mundo de dados abundantes, como disse Hal Varian, saber tratá-los e interpretá-los (bem) torna-se cada vez mais fundamental, e a (boa) estatística já se torna a profissão sexy da vez.
As aplicações são as mais diversas: desde prever, pelos hábitos de compra, quando sua cliente está grávida e quando o bebê irá nascer; passando, também, por utilizar buscas do Google para fazer “previsões em tempo real”; até prever o resultado de duas eleições presidenciais.
Sobre este último ponto, o livro do Nate Silver
em breve eventualmente!
Em que sentido a noção de probabilidade frequentista é objetiva?
Já vi algumas pessoas contrastarem as concepções de probabilidade Bayesiana e Frequentista do seguinte modo: os primeiros consideram que a aleatoriedade é um problema de conhecimento, subjetivo, enquanto os segundos interpretam a aleatoriedade como inerente ao processo físico, algo objetivo.
Esta contraposição não me parece a principal, além de ser bastante imprecisa.
Grosso modo, a probabilidade frequentista é definida da seguinte maneira. Suponha um conjunto arbitrário de condições complexas S. Defina a probabilidade p do evento A como o limite de ocorrências do evento A sob tais circunstâncias S, p=P(A/S).
Em que sentido esta definição de probabilidade – e de aleatoriedade – seria objetiva?
Kolmogorov expõe:
Para dadas condições S as propriedades de o evento A ser aleatório e de ter a probabilidade p=P(A/S) expressa o caráter objetivo da conexão entre S e o evento A. Em outras palavras, não existe nenhum evento absolutamente aleatório; um evento é aleatório ou determinístico dependendo da conexão sob a qual é considerado, mas sob certas condições um evento pode ser aleatório em um sentido completamente não subjetivo, i.e., independentemente do conhecimento de qualquer observador. Se nós imaginarmos um observador que domine todos os detalhes e circunstâncias particulares do lançamento de um projétil, e portanto é capaz de prever para cada um seu desvio com relação à trajetória média, sua presença ainda assim não impediria os projéteis de se dispersarem conforme as leis da probabilidade, desde que, obviamente, o tiro fosse feito da maneira usual, e não conforme as instruções de nosso atirador imaginário.
Ou seja, a aleatoriedade “percebida” pelo sujeito é determinada pelos conjuntos ou subconjuntos de S que este é capaz de distinguir.
Para aquele que apenas consegue discernir que o projétil foi disparado pelas condições S, A trata-se de um evento aleatório cuja probabilidade, em um tiro específico, é p=P(A/S). Já, por exemplo, para um outro observador capaz de distinguir cada subconjunto específico do lançamento S’, o evento A é determinístico, e este é capaz de dizer de antemão, para cada projétil, se p’=P(A/S’) é igual a zero ou um – muito embora sua capacidade não modifique a distribuição sob S.
Isto é, nesta definição, existe tanto um caráter “físico” da aleatoriedade (a distribuição de resultados sob S é definida independentemente do seu conhecimento), quanto um caráter “subjetivo” e informacional para a aleatoriedade “percebida” (a probabilidade que você percebe para o evento A, em um teste específico, depende do seu conhecimento).
Uma partida de futebol pode mudar o resultado das eleições?
Tomando como analogia este estudo, sim.
A hipótese é a de que, quando você está de bom (mau) humor, você tende a gastar mais tempo avaliando o lado positivo (negativo) das coisas, inclusive do atual governante.
Os autores buscaram testar esta hipótese analisando os jogos esportivos locais. Sabe-se que os resultados desses jogos afetam o bem-estar das pessoas e não são frutos de decisões políticas.
Em tese, portanto, você não deveria mudar a avaliação sobre um governante simplesmente porque seu time ganhou um jogo na última semana.
Contudo, os resultados encontrados indicam que, na média, as pessoas mudam o voto – e os valores encontrados foram relativamente altos! Uma vitória do time local, 10 dias antes das eleições, poderia aumentar os votos para o candidato da situação em até 1.13 pontos percentuais.
A primeira reação a esse valor pode ser – como foi a minha – a de pensar que estamos diante de uma correlação espúria. Ora, não é possível que um mero resultado de um jogo mude tanto os resultados de uma eleição… Mas os autores são cuidadosos e têm uma retórica persuasiva. Primeiro, eles controlam para outros fatores e isso não muda muito a magnitude do coeficiente. Segundo, eles realizam um teste placebo, buscando verificar se jogos futuros afetam as eleições no passado (o que seria absurdo) e encontram coeficientes quase iguais a zero e estatisticamente insignificantes.
Mas, além dos dados acima – não experimentais – os autores aplicam questionários durante um campeonato de basquete universitário. Neste caso, é possível controlar com mais cuidado fatores diversos que permitiriam encontrar uma correlação espúria. Os resultados foram similares – cada vitória elevava a aprovação de Obama, na média, em 2.3 pontos percentuais. E, fato interessante, quando os participantes foram informados dos resultados dos jogos antes de se perguntar sobre Obama, o efeito desapareceu! Isto é, uma vez que o sujeito se torna consciente do que está afetando seu bom humor, ele não deixa isso afetar outras áreas de sua vida, como o julgamento sobre o desempenho de um político.
Com dados eleitorais e esportivos abundantes no Brasil, acredito que seja possível replicar este estudo por aqui.
Via Andrew Gelman e Marginal Revolution.
100 blogs de economia para conferir
Vi no Econometrics Beat referência para esta lista de 100 blogs de economia, compilada pelo site Economics Degree. Vale a pena conferir.
É errado discriminar preço por gênero? 2
Havíamos comentado aqui sobre o estado de Nova York proibir preços diferentes para os cortes de cabelo masculino e feminino.
Agora saiu de novo no Wall Street Journal: União Europeia decide que companhias de seguro não poderão mais diferenciar o preço do prêmio por gênero. Provavelmente, na média, assistiremos a um aumento do preço de seguros de carro e de vida para as mulheres na Europa.
Na reportagem sobre os Salões de Beleza, uma das entrevistadas tinha perguntado:
“What about insurance? Man’s life insurance costs more than women. Same thing with car insurance.”
“E o seguro? O seguro de vida do homem é mais caro do que o das mulheres. Mesma coisa com seguro de carro.”
Às vezes é melhor nem perguntar!
Análise Real 