Causalidade

O que tenho estudado — Causalidade

Publicado por

1


Para o blog não passar novembro em branco — o que tenho estudado e algumas referências.

Em causalidade acredito que essas sejam as referências básicas:

– Morgan & Winship;
– Imbens & Rubin;
– Pearl, Glymour & Jewell;
– Pearl.

Esses livros são muito mais do que suficiente para você começar no assunto. O mais amigável e completo para iniciantes é Morgan & Winship. Imbens & Rubin também é  bom, mas peca por ignorar DAGs. Se for para ler apenas um, escolha Morgan & Winship. Pearl, Glymour & Jewell é uma versão light e curta a nível de graduação —acabou de ser lançada.  Pearl é mais denso e se você nunca viu um DAG antes não comece por ele, comece por Pearl, Glymour & Jewell. Depois que tiver dominado DAGs, entretanto, não deixe de voltar para o livro seminal de Pearl.

Já tinha batido no livro do Wooldridge uma vez por não tratar mais claramente dos problemas de specification searches e multiple testing, que na prática é o que é feito no dia-a-dia do econometrista. Agora vale a pena bater de novo por conta da causalidade (mas é claro que esse problema não é só do Wooldridge, uso ele apenas como um exemplo em geral). Faz algum tempo que estou convencido de que é uma péssima prática ensinar estatística para cientistas sociais sem prover algum framework adequado para se falar de causalidade — e quando falo de framework adequado, não digo tricks para identificar efeitos causais como variáveis instrumentais ou regression discontinuity designs. Falo de um ferramental para ajudar o pesquisador a pensar rigorosamente e claramente sobre o assunto.

Depois vou tentar falar um pouco sobre o que tenho estudado em algoritmos, estatística computacional, pesquisa amostral e probabilidade nesse último trimestre.

Inferência causal e Big Data: Sackler Big Data Colloquium

Publicado por

0


Uma série de palestras interessantes do Sackler Big Data Colloquium:

 

Hal Varian: Causal Inference, Econometrics, and Big Data

***

Leo Bottou: Causal Reasoning and Learning Systems

***

David Madigan: Honest Inference From Observational Database Studies

***

Susan Athey: Estimating Heterogeneous Treatment Effects Using Machine Learning in Observational Studies

Caçando p-valores, causalidade, LaCour e Pnad Contínua no R

Publicado por

0


Links diversos

Captura de Tela 2015-06-17 às 09.12.24

Causalidade e Paradoxo de Simpson: debate acalorado entre Judea Pearl e Andrew Gelman (e outros).

Publicado por

0


Para quem tem interesse em discussões sobre estatística e causalidade, vale a pena ler estes dois posts (aqui e aqui) do Andrew Gelman, principalmente as discussões ocorridas nos comentários, com participação provocativa do Judea Pearl. Se você ainda não teve contato com o assunto, dê uma olhada no exemplo deste post antes para ficar com a pulga atrás da orelha e começar a entender por que causalidade não é um conceito estatístico.

Que variáveis incluir na regressão? Ou, por que grande parte dos trabalhos aplicados está errada.

Publicado por

25


Suponha que você queira medir o efeito de X em Y (isto é, o quanto uma variação de X afeta Y – uma relação causal) e que você tenha mais duas variáveis que podem ser incluídas como controle, Z1 e Z2. Suponha ainda que você saiba que o modelo é linear, isto é, não há nenhuma incerteza com relação à especificação. Quais variáveis você incluiria no seu modelo?

Hoje, provavelmente você diria o seguinte: depende da significância! São Z1 e Z2 significantes? Se sim, eles devem ser incluídos.

Vejamos um exemplo de uma simulação. O código em R está ao final do post.

Vamos rodar as três regressões: uma só com X, outra incluindo Z1 e por fim uma com todos os controles. Os resultados foram os seguintes:

Equação 1: Y = -10 + 43X ***

Equação 2: Y = -7 + 13X * + 107Z1 ***

Equação 3: Y = -5 – 9X * + 46Z1 *** + 37Z2 ***

Pelos resultados, tanto Z1 quanto Z2 são significantes, então preferimos a equação 3. Concluímos que, na média, uma variação de 1 unidade de X reduz Y em 9 unidades. Certo?

***

Errado. O modelo ideal neste caso seria a equação 2. O efeito real de X sobre Y é de 10 (veja que valor estimado foi 13, bem próximo). O problema aqui é que a significância estatística não vai te responder sobre a pertinência de incluir ou não uma variável para estimar o efeito de X sobre Y. Infelizmente, não há almoço grátis. Como diz Judea Pearl, sem saber a estrutura do problema, não é possível determinar quais variáveis devem ser incluídas. Agora pense. Como é a lógica de trabalho dos artigos aplicados hoje? *** A simulação A nossa simulação tem a seguinte estrutura  (U1 e U2 dizem respeito a duas variáveis não observadas, só observamos Y, X, Z1 e Z2): dagitty-model O código em R para gerar os resultados é:

gen_data <- function(N=200,s=2,beta1=10, beta2=100){
Z1 <- rnorm(N,0,s)
U2 <- rnorm(N,0,s) + Z1
U1 <- rnorm(N,0,s) + Z1
Z2 <- rnorm(N,0,s) + U2 + U1
X <- rnorm(N,0,s) + U1
Y <- rnorm(N,0,s) + beta1*X + beta2*U2
data.frame(Y,X,Z1,Z2)
}

set.seed(100)
data <- gen_data()
summary(lm(Y~X, data))
summary(lm(Y~X + Z1, data))
summary(lm(Y~X + Z1 + Z2, data))

Você pode brincar mais com o paradoxo de Simpson aqui; e o gráfico você pode fazer aqui.

Déficits causam câncer

Publicado por

3


Reinhart e Rogoff perderam muito tempo com os argumentos errados. Vejam o gráfico:

deficit_e_cancer

Brincadeiras à parte, gostei da carta dos autores a Krugman e do post do Hamilton.

Já DeLong argumenta que, se os autores dizem que a idéia geral do artigo não se altera radicalmente por causa dos erros, por outro lado, isso não muda o fato de o argumento ter sido fraco desde o princípio (não que eu concorde com DeLong, mas o ponto é mais do que pertinente):

The third thing to note is how small the correlation is. Suppose that we consider a multiplier of 1.5 and a marginal tax share of 1/3. Suppose the growth-depressing effect lasts for 10 years. Suppose that all of the correlation is causation running from high debt to slower future growth. And suppose that we boost government spending by 2% of GDP this year in the first case. Output this year then goes up by 3% of GDP. Debt goes up by 1% of GDP taking account of higher tax collections. This higher debt then reduces growth by… wait for it… 0.006% points per year. After 10 years GDP is lower than it would otherwise have been by 0.06%. 3% higher GDP this year and slower growth that leads to GDP lower by 0.06% in a decade. And this is supposed to be an argument against expansionary fiscal policy right now?….

Gráfico retirado de Os números (não) mentem.

O culto da significância estatística II: Nate Silver

Publicado por

6


Após atuar com métodos estatísticos para previsão no Basebol, Nate Silver foi destaque nas previsões para a eleição presidencial dos Estados Unidos. Com a popularidade alcançada, seu livro “The Signal and the Noise: Why So Many Predictions Fail-but Some Don’t” virou best-seller na Amazon.

O livro é voltado para o público geral, e trata dos percalços enfrentados no mundo da previsão, tentando distinguir quando e como a estatística pode ser utilizada e boas previsões podem ser feitas. Nate discute o trabalho de Kahneman sobre vieses cognitivos muito comuns, presentes principalmente quando lidamos com incerteza e probabilidade; discute o trabalho de Tetlock, que mostrou como, na média, “experts” políticos não são muito melhores do que um simples “cara-e-coroa” –  a não ser que eles tenham certas características, como uma visão plural e interdisciplinar, conhecimento sobre a própria ignorância entre outros fatores. Essas são armadilhas que todos que lidam com dados devem estar cientes, para buscar evitá-las.

Nate defende a necessidade de se ter uma teoria sólida para se tratar os dados –  e que essa necessidade aumenta no mundo com dados cada vez mais abundantes. Alega que, em geral, áreas em que previsões geralmente falham são aquelas em que a teoria ainda é nebulosa e que recorrem demasiadamente a modelos data-driven.  Ele aborda também a dificuldade inerente a sistemas não-lineares, sistemas dinâmicos,  leis de potência entre outras fatores que, se negligenciados, podem resultar em péssimas previsões.

Nate traz diversos exemplos (às vezes chega a ser exaustivo) para ilustrar seu ponto, passando por Basebol, Clima, Terremotos, Economia, Pôquer etc.

Mas, o capítulo 8 do livro foi o que me mais chamou a atenção. Em um livro para o público geral, e que virou best-seller, Nate resgata a literatura sobre as críticas aos testes de significância estatística (uma discussão mais extensa aqui, wikipedia aqui, alguns temas no blog aqui). Ele cita:

– o texto do Nickerson “Null Hypothesis Significance Testing: A Review of an Old and Continuing Controversy”;

– o texto do Cohen “The Earth Is Round (p < .05)”;

– o texto do Gill “The insignificance of null hypothesis significance testing”;

Entre outros. O tom que ele usa não é leve, atribuindo grande parte da culpa pelos métodos atualmente utilizados a Fisher. Seguem alguns trechos:

“Fisher é provavelmente mais responsável do que qualquer outro indivíduo pelos métodos estatísticos que ainda permanecem em amplo uso hoje. Ele desenvolveu a terminologia do teste de significância estatística e muito de sua metodologia” (p. 353).

“Estes métodos [testes de significância] desencorajam o pesquisador de considerar o contexto ou a plausibilidade de suas hipóteses […] assim, você verá artigos aparentemente sérios sobre como sapos podem prever terremotos, ou como lojas como a Target geram grupos de ódio racial, que aplicam testes frequentistas para produzir resultados “estatisticamente significantes” (mas manifestamente ridículos)” (p.253).

“Os métodos fisherianos não nos encorajam a pensar sobre quais correlações implicam em causalidade e quais não. Talvez não seja surpresa que depois de passar uma vida interia pensando assim, Fisher perdeu a habilidade de dizer a diferença [entre causalidade e correlação] (p.255). Nate faz referência ao fato de Fisher defender que fumar não causa câncer.

Como o livro se tornou um best-seller, é bem provável que isso desperte a curiosidade do aluno, que geralmente aprende passivamente um algoritmo qualquer na sala de aula; e também que chame mais a atenção dos pesquisadores (e professores) sobre a forma como estão fazendo inferência. Por este motivo, acho que o impacto do livro será bastante positivo. O Nate propõe o uso de métodos Bayesianos; mas, como o livro não é técnico – e o universo bayesiano bastante amplo – difícil saber quais ele realmente defende. De qualquer forma, não caberiar aqui discutir isso agora (o Larry Wasserman chegou ao ponto de dizer que vai mostrar ao próprio Nate que ele não é baeysiano, mas sim que é um raving frequentista, desfilando como bayesiano. Vamos ver o que vai sair disso…).

Em resumo, vale lembrar que este não é um livro técnico e que, tampouco, Nate irá te ensinar a fazer previsões. Mas conseguirá fazer você refletir sobre as possibilidades e limitações, tanto dos pesquisadores quanto dos métodos estatísticos, em uma leitura agradável e recheada de exemplos práticos.

PUC-RJ x Reinaldo Azevedo: sobre causalidade e VI.

Publicado por

2


Quase todo mundo que acompanha a blogosfera econômica deve ter ouvido falar da controvérsia PUC-RJ x Reinaldo Azevedo. Drunkeynesian resumiu a querela em um único post para quem ainda não tinha visto e quiser conferir, ou para aqueles que não acompanharam toda a repercussão. Não vou comentar sobre o debate, mas quero aproveitá-lo para chamar a atenção sobre duas questões interessantes.

A primeira é a discussão sobre causalidade. Em muitos momentos, alguns comentários deram a entender que confundir correlação e causalidade é um erro trivial: não é. Todo mundo faz isso o tempo inteiro, inclusive os melhores economistas. Infelizmente, parece que a discussão sobre causalidade só foi formalizada recentemente, muito recentemente – Donald Pianto me alertou sobre o livro de Judea Pearl.  Até agora, o que eu tenho a dizer é que, para mim, o contato com essa literatura tem sido groundbreaking. É basicamente uma linguagem nova que torna clara e inteligível a discussão de causalidade. No próprio site do Judea Pearl é possível encontrar diversos reviews sobre o livro, inclusive de econometristas. Deixo também, aqui, um post sucinto de Larry Wasserman sobre o assunto.

O outro ponto é sobre o uso de variáveis instrumentais. Vi que chegaram a mencionar o artigo de Angrist e Pischke sobre a revolução de credibilidade nos trabalhos empíricos, que já havíamos mencionado neste blog. Cito novamente, portanto, a resposta de Leamer,  Tantalus on the Road to Asymptopia. Em suma, o ponto de Leamer é que Randomization is not Enough (por randomization leia-se variáveis instrumentais). Destaco este parágrafo (mas o interessante é  ler o texto inteiro):

When the randomization is accidental, we may pretend that the instrumental variables estimator is consistent, but we all know that the assumptions that justify that conclusion cannot possibly hold exactly. Those who use instrumental variables would do well to anticipate the inevitable barrage of questions about the appropriateness of their instruments. Ever-present asymptotic bias casts a large dark shadow on instrumental variables estimates and is what limits the applicability of the estimate even to the setting that is observed, not to mention extrapolation to new settings. In addition, small sample bias of instrumental variables estimators, even in the consistent case, is a huge neglected problem with practice, made worse by the existence of multiple weak instruments.