Estudo de Kosinski, Stillwella e Graepelb com 58.000 usuários do Facebook mostra que é possível prever varias características pessoais com base apenas nas “curtidas” do indivíduo.
A figura abaixo ilustra o poder de previsão para algumas variáveis sensíveis, como preferência política, orientação sexual e uso de cigarro, drogas e bebidas.
É bastante comum ver argumentos que são contra a liberdade econômica e, ao mesmo tempo, a favor da liberdade acadêmica, artística, de imprensa e de expressão em geral. Confunde-se – propositadamente ou não – democratização da mídia com financiamento público de propaganda ideológica, ou liberdade de imprensa com imprensa “neutra” ou “politicamente correta” (no sentido fluído que essas palavras ganham em cada contexto em que seu interlocutor usa).
Entretanto, ao menos no limite, há uma contradição inerente a este tipo de raciocínio; pois, uma vez que caiba a um órgão central definir quem exerce o quê em cada campo da esfera econômica, isto também abrange a atividade de professores, pesquisadores, jornalistas e artistas.
Se o único jornal a ser permitido no país é um jornal estatal, qual o incentivo para que notícias desfavoráveis ao governo circulem? Se as únicas universidades permitidas no país são estatais, qual o incentivo para que linhas de pesquisa que não agradem ao governo prosperem? E assim por diante. Sim, é possível contra-argumentar este argumento, e depois contra-argumentar o seu contra-argumento, e este é um debate acalorado e interessante; mas não será desenvolvido neste post. A ideia era apenas fazer uma introdução para comentar sobre a situação da ciência estatística na União Soviética na época de Stalin.
A Rússia produziu grandes estatísticos matemáticos, como Kolmogorov e Slutsky (sim, ele também é o mesmo que você estudou em microeconomia). Todavia, conforme se lê em The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century
A palavra russa para variável aleatória se traduz como “magnitude acidental”. Para planejadores centrais e teóricos, isso era um insulto […] nada poderia ocorrer por acaso. Magnitudes acidentais poderiam descrever coisas que ocorrem em economias capitalistas – não na Rússia. As aplicações da estatística matemática foram rapidamente reprimidas.
Como resultado os periódicos de estatística foram se extinguindo e os estatísticos matemáticos tiveram que, ou pesquisar assuntos estatísticos disfarçados com outros nomes, ou mudar de área. E enquanto os Estados Unidos utilizavam os desenvolvimentos dos teóricos russos na prática – como no controle de qualidade industrial – a Rússia teve que esperar algumas décadas, até o colapso da União Soviética, para ver o fruto de seus próprios cientistas aplicado à indústria.
Segundo as contas nacionais trimestrais do IBGE, o PIB brasileiro no terceiro trimestre de 2012, a preços constantes de 1995, foi de R$ 292.011.667.484,06. Isto resultou em uma variação real de 0,8652892558907% em relação ao mesmo período do ano anterior.
Qual a acurácia destes números? Ninguém em sã consciência acreditaria que os últimos seis centavos são exatos ou precisos. Poucos também apostariam grande soma com relação à exatidão dos quatrocentos e oitenta e quatro reais. É bem possível que existam erros na ordem dos milhões; e, quem sabe, dos bilhões. Mas não sabemos quanto.
Diferentemente de pesquisas eminentemente amostrais (como a PME, por exemplo), dados como o PIB, que envolvem a agregação de diversos valores, com metodologias bastante diferentes, não costumam ser acompanhados de uma medida quantitativa de erro. Isto ocorre porque são consultadas várias fontes de informação para se gerar a estimativa do PIB: governamentais, pesquisas de campo amostrais, pesquisas quase-censitárias, formulários administrativos, extrapolações, interpolações, entre outros instrumentos. Cada uma dessas fontes está sujeita a diversos vieses, erros amostrais e não-amostrais, sendo bastante difícil chegar a uma medida quantitativa da incerteza em relação ao número.
Antes que me entendam mal, vale ressaltar: não estou criticando o IBGE, que atualmente é respeitado nacionalmente e internacionalmente por seus dados, principalmente se compararmos com os dados da Argentina os dados de outros países.
A questão é que o erro existe e isso é natural. A mensuração é uma atividade fundamental na ciência*, mas junto de toda mensuração há incerteza, bem como um trade-off entre custo e acurácia. Definir o grau de exatidão e precisão (e que tipo de exatidão e precisão**) a se alcançar depende de saber tanto para quê o dado será utilizado, quanto o custo de torná-lo mais acurado. Além disso, uma vez coletado o dado, saber a incerteza presente no número é, às vezes, quase tão importante quanto saber o próprio número, posto que exercício fundamental para – como diria Morgenstern – podermos distinguir “entre o que achamos que sabemos e o que de fato sabemos ou o que de fato podemos saber” com esses dados .
Entretanto, ao se observar a mídia e, inclusive, trabalhos acadêmicos, a impressão que se tem é a de que muitos dos números econômicos divulgados não são vistos como estimativas, mas como valores reais, absolutos. Muitas vezes se toma o número pelo seu valor de face. E, para a ciência econômica, isso pode ser um grande problema.
Para não ficar em uma discussão etérea, vejamos alguns exemplos.
Primeiro – a Pesquisa Mensal de Emprego (PME), que divulga uma medida de erro. Este caso ilustra como esta medida pode ser importante para se interpretar o número. No boxe do relatório de inflação de dezembro de 2012, há uma discussão sobre a aparente contradição entre os cenários sugeridos pelos dados da PME e pelos dados do Caged para o mercado de trabalho. Um dos pontos relacionados no texto, para conciliar os cenários das duas pesquisas, é o erro amostral, que evidencia o cuidado que tem de ser tomado ao interpretar as variações mês a mês da PME. Por exemplo, em outubro de 2012, o coeficiente de variação da pesquisa foi de 0,7%; assim, uma variação nos dados, suponha, de 0,6%, é consistente tanto com um crescimento robusto do emprego (uma taxa anualizada de 7,8%), quanto com uma variação natural na amostra.
Segundo, um exemplo anedótico – o caso dos livros que pesam 0Kg. Este é um exemplo propositalmente absurdo e que, por isso mesmo, torna o problema da falta de informação sobre o erro auto-evidente. Suponha que, além dos livros em que a balança acusou o peso de 0Kg, tenhamos uma terceira medida com peso de 2Kg. Tomando os dados por seu valor de face, o peso total dos livros seria, aritmeticamente, 0Kg + 0Kg + 2Kg= 2Kg. O número final é manifestamente errado, pois não sabemos a ordem de grandeza que o instrumento de mensuração (a balança) consegue identificar. A partir do momento em que se sabe que a balança é errática para pesos menores do que 2Kg, você percebe que este dado não serve para distinguir entre um peso total de 2Kg e um peso total de 6Kg. Entretanto serviria caso você quisesse saber se os livros pesam menos do que 20Kg. Veja, estamos distinguindo “entre o que achamos que sabemos e o que de fato sabemos ou o que de fato podemos saber” com esses dados.
Terceiro, talvez um caso de erro proposital – os dados do Indec sugerem que o crescimento argentino, desde 2002, apresenta taxa de cerca de 7,7% ao ano. Este dado, entretanto, pode servir para julgar a eficácia das políticas econômicas dos hermanos? Alexandre Schwartsman sugere que não, mostrando inconsistência considerável entre os dados do PIB e os dados de geração de energia da Argentina. Inclusive, dados de preços coletados on-line sugerem que também os índices de preços oficiais parecem ter erro muito grande para qualquer inferência.
Os exemplos acima ilustram como os dados são matéria prima importante para a economia, e também mostram que ter uma medida do erro inerente a esses dados nos ajuda a entender o que eles podem e o que eles não podem responder. Com esta preocupação em mente, comecei a procurar trabalhos sobre o assunto, e tive contato com o livro de Morgenstern “On the accuracy of economics observations”. Este trabalho, cuja segunda e última revisão é de 1963, foi o único que encontrei que discute extensivamente os problemas inerentes a muitas variáveis (macro)econômicas (caso alguém tenha conhecimento de algo com este fôlego e mais recente, favor indicar).
O trabalho passa por discutir a natureza dos dados econômicos não experimentais, os diversos tipos de erro naturalmente esperados, e ainda trata de vários exemplos nas mais diversas áreas (comércio exterior, índices de preços, emprego, PIB). Como este post já esta enorme, vou apenas mencionar um exemplo de contas nacionais, trazido por Morgenstern.
Como dissemos no início do post, os valores publicados nas contas nacionais são daquele tipo de estatística em que uma medida de erro não tem uma fórmula pronta, sendo difícil quantificar a incerteza. Entretanto, Kuznets, à época, reuniu especialistas envolvidos no cálculo do PIB para tentar chegar a uma medida. Resultado: cerca de 10%. Qual a implicação disso? Veja o gráfico abaixo (p.269):
Morgenstern mostra os dados de renda nacional bruta dos EUA, de 1946 a 1961, com o intervalo de 10% de erro. Neste caso, nota-se que os dados servem para analisar o crescimento econômico de longo prazo, mas são bastante duvidosos quanto sua utilidade para se confrontar teorias de ciclos econômicos, pois além dos ciclos divulgados oficialmente (reta contínua do gráfico) outra trajetória, com ciclos opostos, também é consistente com o erro (reta tracejada do gráfico).
Com o avanço da tecnologia, é provável que os dados de hoje não sejam tão incertos quanto os da época. Mas não sabemos em que medida, e isso é fundamental para distinguirmos o que podemos extrair dos dados. Estamos em uma época em que o reconhecimento do erro, da aleatoriedade, e da incerteza está se tornando cada vez mais comum e, talvez, seja hora de tentar resgatar a linha de pesquisa de Morgenstern.
* pelo menos para aqueles que descem do pedestal criado para si em sua própria mente e buscam confrontar ideias, sempre sujeitas a erro, com o que se observa.
** por exemplo, suponha que você tenha dois métodos para medir uma variável, em um deles você sabe que há alta probabilidade de subestimar a medida e, com o outro, alta probabilidade de superestimá-la: qual é melhor?
Havíamos comentado sobre o livro de Nate Silver. Em particular, falamos sobre o capítulo 8 do livro, uma crítica aos testes cegos de significância estatística. E este capítulo, apesar de super simples, está dando o que falar. Por basicamente dois motivos: (i) Nate utiliza a palavra “frequentismo” para denominar o que critica; e, (ii) o livro se tornou muito popular.
O problema do rótulo “frequentismo” é que ele é utilizado para diversas correntes e técnicas estatísticas, sejam no campo teórico ou aplicado. Dessa forma, muitos daqueles que se denominam “frequentistas” não se enxergam na caracterização feita por Silver. Sentem-se ameaçados e injustiçados – passando a apontar limitações do Bayesianismo, que obviamente existem – a despeito de esses mesmos “frequentistas” também concordarem que as práticas expostas por Nate sejam ruins.
Andrew Gelman tem dois posts (1 e 2) sobre o assunto que merecem ser lidos (e lá você encontrará links para os demais posts de outros blogs). Vale destacar algumas passagens de Gelman.
Com relação à mensagem geral da crítica aos testes de significância:
if Nate’s message is that modern statistics is about models rather than p-values, I support that message even if it’s not phrased in the most technically correct manner.
Uma ênfase sobre o que o economista deve tomar como lição desta discussão:
One thing I’d like economists to get out of this discussion is: statistical ideas matter. To use Smith’s terminology, there is a there there. P-values are not the foundation of all statistics (indeed analysis of p-values can lead people seriously astray). A statistically significant pattern doesn’t always map to the real world in the way that people claim.
Indeed, I’m down on the model of social science in which you try to “prove something” via statistical significance. I prefer the paradigm of exploration and understanding. (See here for an elaboration of this point in the context of a recent controversial example published in an econ journal.)
Here’s another example (also from economics) where the old-style paradigm of each-study-should-stand-on-its-own led to troubles.
E uma crítica à crença incorreta (mas bastante comum) sobre como são aplicados os testes de hipótese na prática:
(…) hypothesis testing typically means that you do what’s necessary to get statistical significance, then you make a very strong claim that might make no sense at all. Statistically significant but stupid. Or, conversely, you slice the data up into little pieces so that no single piece is statistically significant, and then act as if the effect you’re studying is zero. The sad story of conventional hypothesis testing is that it is all to quick to run with a statistically significant result even if it’s coming from noise.
Sobre os pontos levantados na discussão, já tratamos neste blog da confusão gerada em testes de significância aqui (exemplo com teste de normalidade), aqui (exemplo com mercados eficientes) e aqui (uma brincadeira com confundir não rejeitar a hipótese nula com aceitá-la).
Nos comentários de um post do A Mão Visível, vi o Economista X sugerir que um resultado estatisticamente insignificante é evidência a favor da hipótese nula que está sendo testada.
Isso não é verdade, pois somente a rejeição ou não rejeição da hipótese nula – ou somente o p-valor – não fornece informação suficiente para esse julgamento.
Acho que uma forma simples de se instigar a reflexão sobre o assunto é com um exemplo absurdo como o abaixo.
Vale lembrar: apesar de parecer um engano trivial, é muito fácil se deixar levar por este tipo de interpretação. E ela é bastante difundida nos trabalhos aplicados.
***
Tenho evidência cabal de que livros não pesam nada. Isto mesmo, livros têm peso zero. Vejam abaixo, os dados são acachapantes. Primeiro com os livros do Jim Berger e do Aris Spanos:
Agora vejam Fisher e Lehmann & Romano.
Testei com mais de dez pares de livros diferentes. Todos com o mesmo resultado, p-valor=100% (o p-valor é a probabilidade de a minha balança acusar 0Kg (ou mais) quando os livros pesam de fato 0kg).
Conclusão: livros pesam 0Kg (pelo menos os livros de estatística, sejam frequentistas ou bayesianos).
***
Obviamente que a interpretação acima é absurda e nem mesmo um leigo a levaria a sério.
Entretanto, existem muitos estudos publicados que afirmam encontrar evidência a favor da hipótese nula simplesmente por não rejeitá-las. Isso é um raciocínio análogo ao exemplo.
Que informação (ou informações) a mais você levou em conta no teste da balança para julgar que o resultado zero não é uma boa evidência de peso zero (ou aproximadamente zero)? Há pelo menos duas coisas que você deveria ter levado em conta. Essas mesmas coisas servem para os testes estatísticos rotineiramente aplicados.
Pelo exposto, fica claro por que a afirmação de “O” anônimo, apesar de ácida, não é tão absurda assim:
…se você acha que um teste de raiz unitária em uma série macroeconômica de 10 anos tem mais informação sobre a ordem de integração do que o nome da variável em questão, você não entende nem de macroeconomia nem de econometria.
Apesar de importante, não, não estou falando de escrever bem em economia ou de entender da retórica que os economistas usam, como diria McCloskey. Palavras podem ajudar os economistas também de outra forma: como proxies para outras variáveis, aumentando amostras que, muitas vezes, estão disponíveis apenas para um período muito curto de tempo. Foi isso o que apresentou Alan Moreira, em seu working paper com Asaf Manela na SBE 2012.
Existe uma literatura que estuda os riscos de desastre raros percebidos pelos agentes e seus efeitos no mercado acionário. Uma possível medida de “risco” percebido pelos agentes é a volatilidade implícita por opções (VIX), entretanto disponível apenas desde 1986. Já o Wall Strett Journal (WSJ) existe desde 1889. Assim, os autores utilizaram as palavras constantes na capa do WSJ para prever o VIX . Se palavras chaves utilizadas na capa do jornal servirem de fato para prever satisfatoriamente o risco percebido pelos agentes, é possível utilizá-las como proxy para períodos anteriores e ganhar quase um século de observações!
Os autores treinam o modelo em uma subamostra e testam seus resultados na restante, encontrando um ajuste considerado, por eles, satisfatório. No exercício de previsão fora da amostra, os autores verificaram se os picos de risco estimados correspondiam a fatos relevantes que os justificariam, retratados nos jornais. A impressão dos autores foi a de que o modelo funciona bem (o problema que vi nesta abordagem é uma exposição muito grande ao viés de confirmação. Pois, uma vez que você viu que sua estimativa é a de um risco alto, você, com alguma persistência, irá eventualmente achar algum fato histórico que justifique, ou racionalize, a posteriori sua estimativa).
Com uma amostra maior em mãos – e supondo que a medida seja boa – o paper estima com maior liberdade os impactos do risco percebido de desastres no mercado acionário: chega a estimativas com magnitudes plausíveis, segundo a literatura da área, sobre os efeitos do risco no retorno das ações e na probabilidade de um desastre e também sugere que a persistência de choques seja menor do que anteriormente imaginada.
Mesmo com todas as possíveis limitações do método, a “regressão de texto” proposta parece muito interessante e vale à pena conferir.
Vale à pena conferir a entrevista, abaixo, de Nate Silver com Hal Varian no Google:
Mais sobre Nate Silver neste blog aqui.
Via Simply Statistics.
PS: Em futuros posts, alguns comentários sobre papers da ANPEC/SBE 2012.
Hoje já estamos acostumados com o uso da urna eletrônica. É rápido, barato, eficiente e muitos garantem ser mais seguro do que o processo anterior. Mas, além desses benefícios, a adoção do sistema eletrônico no Brasil trouxe outros efeitos?
Sim, e é isso que Thomas Fujiwara tenta mostar. Em 1998, foi iniciado o processo de implementação em larga-escala do uso da urna eletrônica no Brasil. Entretanto, como ainda não havia máquinas para todos os municípios, apenas aqueles com mais do que 40.500 votantes receberam a urna – e este detalhe é muito interessante, pois faz com que o implemento da votação eletrônica seja um “quase-experimento” em grande escala.
Como? É plausível imaginar que os fatores determinantes de um município estar logo abaixo (ou logo acima) de 40.500 votantes sejam aleatórios, não-controláveis – isto é, ninguém consegue determinar exatamente quantos votantes existirão na cidade, pois choques externos afetam este número. Deste modo, os municípios com pouco menos de 40.500 votantes e os municípios com pouco mais de 40.500 votantes podem ser considerados similares, sendo a única diferença a adoção (aleatória) da urna eletrônica nas eleições, configurando um regression discontinuity design. Assim, diferenças encontradas na proximidade do ponto de corte são estimativas de efeitos causais da votação eletrônica em municípios deste porte.
Tendo isso em vista, Fujiwara estima o efeito causal do uso da urna eletrônica na participação (válida) dos eleitores e o efeito encontrado é bastante grande – cerca de 12 pontos percentuais de votos a mais. O autor vai além, e argumenta que este aumento é devido, principalmente, a uma participação maior de eleitores pouco educados. Apesar de, para alguém alfabetizado, o voto em papel ser uma tarefa trivial, esta pode ser uma tarefa bastante complicada para um analfabeto. A urna eletrônica, por sua vez, além de apresentar a foto do candidato, requer apenas o uso de números, o que facilita sobremaneira o voto. E, de fato, municípios com iletrados acima da média apresentaram um aumento de participação entre 15 a 19 pontos percentuais.
Uma vez que a adoção da urna eletrônica aumenta o número de pessoas mais pobres e iletradas na votação, Fujiwara estima ainda outros efeitos decorrentes deste fato, como: o aumento na proporção de votos para partidos de esquerda (1/3 de desvio padrão) e o aumento de cerca de 50% com gastos em saúde pública em 8 anos, com repercussões no número visitas pré-natal para mulheres, bem como no peso de recém-nascidos.
Mas será que estes efeitos não são correlações espúrias? A argumentação do autor é persuasiva, mostrando que outras fontes de erro não são tão plausíveis (mas, evidentemente, sempre possíveis). Dentre os argumentos, cabe mencionar, por exemplo, um teste placebo com relação ao primeiro efeito que mencionamos – o aumento da participação nas eleições – com resultados virtualmente iguais a zero.
Análise Real 