O que tenho estudado — Causalidade


Para o blog não passar novembro em branco — o que tenho estudado e algumas referências.

Em causalidade acredito que essas sejam as referências básicas:

Morgan & Winship;
Imbens & Rubin;
Pearl, Glymour & Jewell;
Pearl.

Esses livros são muito mais do que suficiente para você começar no assunto. O mais amigável e completo para iniciantes é Morgan & Winship. Imbens & Rubin também é muito bom, mas peca por ignorar DAGs. Se for para ler apenas um, escolha um desses dois. Pearl, Glymour & Jewell é uma versão light e curta a nível de graduação —acabou de ser lançada. Gostei, mas como o livro diz, é um primer. Pearl é mais denso e se você nunca viu DAG antes não comece por ele. Depois, entretanto, não deixe de ler.

Já tinha batido no livro do Wooldridge uma vez por não tratar mais claramente dos problemas de specification searches e multiple testing, que na prática é o que é feito no dia-a-dia do econometrista. Agora vale a pena bater de novo por conta da causalidade (mas é claro que esse problema não é só do Wooldridge, uso ele apenas como um exemplo em geral). Faz algum tempo que estou convencido de que é uma péssima prática ensinar estatística para cientistas sociais sem prover algum framework adequado para se falar de causalidade — e quando falo de framework adequado, não digo tricks para identificar efeitos causais como variáveis instrumentais ou regression discontinuity designs. Falo de um ferramental para ajudar o pesquisador a pensar rigorosamente e claramente sobre o assunto.

Depois vou tentar falar um pouco sobre o que tenho estudado em algoritmos, estatística computacional, pesquisa amostral e probabilidade nesse último trimestre.

Inferência causal e Big Data: Sackler Big Data Colloquium


Uma série de palestras interessantes do Sackler Big Data Colloquium:

 

Hal Varian: Causal Inference, Econometrics, and Big Data

***

Leo Bottou: Causal Reasoning and Learning Systems

***

David Madigan: Honest Inference From Observational Database Studies

***

Susan Athey: Estimating Heterogeneous Treatment Effects Using Machine Learning in Observational Studies

Causalidade e Paradoxo de Simpson: debate acalorado entre Judea Pearl e Andrew Gelman (e outros).


Para quem tem interesse em discussões sobre estatística e causalidade, vale a pena ler estes dois posts (aqui e aqui) do Andrew Gelman, principalmente as discussões ocorridas nos comentários, com participação provocativa do Judea Pearl. Se você ainda não teve contato com o assunto, dê uma olhada no exemplo deste post antes para ficar com a pulga atrás da orelha e começar a entender por que causalidade não é um conceito estatístico.

Que variáveis incluir na regressão? Ou, por que grande parte dos trabalhos aplicados está errada.


Suponha que você queira medir o efeito de X em Y (isto é, o quanto uma variação de X afeta Y – uma relação causal) e que você tenha mais duas variáveis que podem ser incluídas como controle, Z1 e Z2. Suponha ainda que você saiba que o modelo é linear, isto é, não há nenhuma incerteza com relação à especificação. Quais variáveis você incluiria no seu modelo?

Hoje, provavelmente você diria o seguinte: depende da significância! São Z1 e Z2 significantes? Se sim, eles devem ser incluídos.

Vejamos um exemplo de uma simulação. O código em R está ao final do post.

Vamos rodar as três regressões: uma só com X, outra incluindo Z1 e por fim uma com todos os controles. Os resultados foram os seguintes:

Equação 1: Y = -10 + 43X ***

Equação 2: Y = -7 + 13X * + 107Z1 ***

Equação 3: Y = -5 – 9X * + 46Z1 *** + 37Z2 ***

Pelos resultados, tanto Z1 quanto Z2 são significantes, então preferimos a equação 3. Concluímos que, na média, uma variação de 1 unidade de X reduz Y em 9 unidades. Certo?

***

Errado. O modelo ideal neste caso seria a equação 2. O efeito real de X sobre Y é de 10 (veja que valor estimado foi 13, bem próximo). O problema aqui é que a significância estatística não vai te responder sobre a pertinência de incluir ou não uma variável para estimar o efeito de X sobre Y. Infelizmente, não há almoço grátis. Como diz Judea Pearlsem saber a estrutura do problema, não é possível determinar quais variáveis devem ser incluídas. Agora pense. Como é a lógica de trabalho dos artigos aplicados hoje? *** A simulação A nossa simulação tem a seguinte estrutura  (U1 e U2 dizem respeito a duas variáveis não observadas, só observamos Y, X, Z1 e Z2): dagitty-model O código em R para gerar os resultados é:

gen_data <- function(N=200,s=2,beta1=10, beta2=100){
Z1 <- rnorm(N,0,s)
U2 <- rnorm(N,0,s) + Z1
U1 <- rnorm(N,0,s) + Z1
Z2 <- rnorm(N,0,s) + U2 + U1
X <- rnorm(N,0,s) + U1
Y <- rnorm(N,0,s) + beta1*X + beta2*U2
data.frame(Y,X,Z1,Z2)
}

set.seed(100)
data <- gen_data()
summary(lm(Y~X, data))
summary(lm(Y~X + Z1, data))
summary(lm(Y~X + Z1 + Z2, data))

Você pode brincar mais com o paradoxo de Simpson aqui; e o gráfico você pode fazer aqui.

Economia, Democratas e Republicanos


Ontem, dois blogs (Marginal Revolution e Econbrowser) comentaram um interessante artigo de Alan Blinder e Mark Watson. A economia americana, sob quase qualquer ótica que você escolher, se comportou melhor durante os governos democratas do que durante os governos republicanos. Vejam alguns indicadores:

PIB: 4,35% x 2,54%;

Recessões: 8 para os democratas x 41 para os republicanos;

Taxa de desemprego: 5,6% x 6,0% (e variação na taxa de desemprego, -0.8 p.p x +1.1 p.p);

Taxa de inflação: 2,97% x 3,44% (mas os democratas perdem na variação, +1.05 p.p x -0.83 p.p)

Mas o que explicaria essas diferenças? Os democratas governam melhor do que os republicanos? Não necessariamente. Os autores acreditam que os democratas, muito provavelmente, foram simplesmente sortudos. Segundo Blinder e Watson, os fatores que melhor explicam os diferenciais são: os choques de petróleo, os choques de produtividade e as expectativas dos consumidores.

Em suas palavras:

Specifically, Democratic presidents have experienced, on average, better oil shocks than Republicans, a better legacy of (utilization-adjusted) productivity shocks, and more optimistic consumer expectations (as measured by the Michigan ICE).

Minha opinião: o artigo é provocador, mas a evidência apresentada muito ambígua. Mesmo se aceitarmos que essas são as variáveis fundamentais, quer queira, quer não,  tanto o preço do petróleo, quanto as expectativas dos consumidores são variáveis bastante afetadas por decisões políticas; e a “produtividade dos fatores” é um resíduo, indefinido do ponto de vista econômico (os autores admitem essas três qualificações, mas timidamente).

Assim, me parece que, neste caso, não haveria como fugir de uma boa (e extensa) revisão histórica de como e por que se deram os choques (de petróleo e de produtividade), bem como uma boa fundamentação teórica (e, quem sabe, contrafactual) de como esses choques ocorreriam a despeito das decisões políticas de ambos os partidos.

Déficits causam câncer


Reinhart e Rogoff perderam muito tempo com os argumentos errados. Vejam o gráfico:

deficit_e_cancer

Brincadeiras à parte, gostei da carta dos autores a Krugman e do post do Hamilton.

Já DeLong argumenta que, se os autores dizem que a idéia geral do artigo não se altera radicalmente por causa dos erros, por outro lado, isso não muda o fato de o argumento ter sido fraco desde o princípio (não que eu concorde com DeLong, mas o ponto é mais do que pertinente):

The third thing to note is how small the correlation is. Suppose that we consider a multiplier of 1.5 and a marginal tax share of 1/3. Suppose the growth-depressing effect lasts for 10 years. Suppose that all of the correlation is causation running from high debt to slower future growth. And suppose that we boost government spending by 2% of GDP this year in the first case. Output this year then goes up by 3% of GDP. Debt goes up by 1% of GDP taking account of higher tax collections. This higher debt then reduces growth by… wait for it… 0.006% points per year. After 10 years GDP is lower than it would otherwise have been by 0.06%. 3% higher GDP this year and slower growth that leads to GDP lower by 0.06% in a decade. And this is supposed to be an argument against expansionary fiscal policy right now?….

Gráfico retirado de Os números (não) mentem.

PUC-RJ x Reinaldo Azevedo: sobre causalidade e VI.


Quase todo mundo que acompanha a blogosfera econômica deve ter ouvido falar da controvérsia PUC-RJ x Reinaldo Azevedo. Drunkeynesian resumiu a querela em um único post para quem ainda não tinha visto e quiser conferir, ou para aqueles que não acompanharam toda a repercussão. Não vou comentar sobre o debate, mas quero aproveitá-lo para chamar a atenção sobre duas questões interessantes.

A primeira é a discussão sobre causalidade. Em muitos momentos, alguns comentários deram a entender que confundir correlação e causalidade é um erro trivial: não é. Todo mundo faz isso o tempo inteiro, inclusive os melhores economistas. Infelizmente, parece que a discussão sobre causalidade só foi formalizada recentemente, muito recentemente – Donald Pianto me alertou sobre o livro de Judea Pearl.  Até agora, o que eu tenho a dizer é que, para mim, o contato com essa literatura tem sido groundbreaking. É basicamente uma linguagem nova que torna clara e inteligível a discussão de causalidade. No próprio site do Judea Pearl é possível encontrar diversos reviews sobre o livro, inclusive de econometristas. Deixo também, aqui, um post sucinto de Larry Wasserman sobre o assunto.

O outro ponto é sobre o uso de variáveis instrumentais. Vi que chegaram a mencionar o artigo de Angrist e Pischke sobre a revolução de credibilidade nos trabalhos empíricos, que já havíamos mencionado neste blog. Cito novamente, portanto, a resposta de Leamer,  Tantalus on the Road to Asymptopia. Em suma, o ponto de Leamer é que Randomization is not Enough (por randomization leia-se variáveis instrumentais). Destaco este parágrafo (mas o interessante é  ler o texto inteiro):

When the randomization is accidental, we may pretend that the instrumental variables estimator is consistent, but we all know that the assumptions that justify that conclusion cannot possibly hold exactly. Those who use instrumental variables would do well to anticipate the inevitable barrage of questions about the appropriateness of their instruments. Ever-present asymptotic bias casts a large dark shadow on instrumental variables estimates and is what limits the applicability of the estimate even to the setting that is observed, not to mention extrapolation to new settings. In addition, small sample bias of instrumental variables estimators, even in the consistent case, is a huge neglected problem with practice, made worse by the existence of multiple weak instruments.