Sobre a acurácia das variáveis econômicas

Publicado por Carlos Cinelli

Segundo as contas nacionais trimestrais do IBGE, o PIB brasileiro no terceiro trimestre de 2012, a preços constantes de 1995, foi de R$ 292.011.667.484,06. Isto resultou em uma variação real de 0,8652892558907% em relação ao mesmo período do ano anterior.

Qual a acurácia destes números? Ninguém em sã consciência acreditaria que os últimos seis centavos são exatos ou precisos. Poucos também apostariam grande soma com relação à exatidão dos quatrocentos e oitenta e quatro reais. É bem possível que existam erros na ordem dos milhões; e, quem sabe, dos bilhões. Mas não sabemos quanto.

Diferentemente de pesquisas eminentemente amostrais (como a PME, por exemplo), dados como o PIB, que envolvem a agregação de diversos valores, com metodologias bastante diferentes, não costumam ser acompanhados de uma medida quantitativa de erro. Isto ocorre porque são consultadas várias fontes de informação para se gerar a estimativa do PIB: governamentais, pesquisas de campo amostrais, pesquisas quase-censitárias, formulários administrativos, extrapolações, interpolações, entre outros instrumentos. Cada uma dessas fontes está sujeita a diversos vieses, erros amostrais e não-amostrais, sendo bastante difícil chegar a uma medida quantitativa da incerteza em relação ao número.

Antes que me entendam mal, vale ressaltar: não estou criticando o IBGE, que atualmente é respeitado nacionalmente e internacionalmente por seus dados, principalmente se compararmos com ~~os dados da Argentina~~ os dados de outros países.

A questão é que o erro existe e isso é natural. A mensuração é uma atividade fundamental na ciência*, mas junto de toda mensuração há incerteza, bem como um trade-off entre custo e acurácia. Definir o grau de exatidão e precisão (e que tipo de exatidão e precisão**) a se alcançar depende de saber tanto para quê o dado será utilizado, quanto o custo de torná-lo mais acurado. Além disso, uma vez coletado o dado, saber a incerteza presente no número é, às vezes, quase tão importante quanto saber o próprio número, posto que exercício fundamental para – como diria Morgenstern – podermos distinguir “entre o que achamos que sabemos e o que de fato sabemos ou o que de fato podemos saber” com esses dados .

Entretanto, ao se observar a mídia e, inclusive, trabalhos acadêmicos, a impressão que se tem é a de que muitos dos números econômicos divulgados não são vistos como estimativas, mas como valores reais, absolutos. Muitas vezes se toma o número pelo seu valor de face. E, para a ciência econômica, isso pode ser um grande problema.

Para não ficar em uma discussão etérea, vejamos alguns exemplos.

Primeiro – a Pesquisa Mensal de Emprego (PME), que divulga uma medida de erro. Este caso ilustra como esta medida pode ser importante para se interpretar o número. No boxe do relatório de inflação de dezembro de 2012, há uma discussão sobre a aparente contradição entre os cenários sugeridos pelos dados da PME e pelos dados do Caged para o mercado de trabalho. Um dos pontos relacionados no texto, para conciliar os cenários das duas pesquisas, é o erro amostral, que evidencia o cuidado que tem de ser tomado ao interpretar as variações mês a mês da PME. Por exemplo, em outubro de 2012, o coeficiente de variação da pesquisa foi de 0,7%; assim, uma variação nos dados, suponha, de 0,6%, é consistente tanto com um crescimento robusto do emprego (uma taxa anualizada de 7,8%), quanto com uma variação natural na amostra.

Segundo, um exemplo anedótico – o caso dos livros que pesam 0Kg. Este é um exemplo propositalmente absurdo e que, por isso mesmo, torna o problema da falta de informação sobre o erro auto-evidente. Suponha que, além dos livros em que a balança acusou o peso de 0Kg, tenhamos uma terceira medida com peso de 2Kg. Tomando os dados por seu valor de face, o peso total dos livros seria, aritmeticamente, 0Kg + 0Kg + 2Kg= 2Kg. O número final é manifestamente errado, pois não sabemos a ordem de grandeza que o instrumento de mensuração (a balança) consegue identificar. A partir do momento em que se sabe que a balança é errática para pesos menores do que 2Kg, você percebe que este dado não serve para distinguir entre um peso total de 2Kg e um peso total de 6Kg. Entretanto serviria caso você quisesse saber se os livros pesam menos do que 20Kg. Veja, estamos distinguindo “entre o que achamos que sabemos e o que de fato sabemos ou o que de fato podemos saber” com esses dados.

Terceiro, talvez um caso de erro proposital – os dados do Indec sugerem que o crescimento argentino, desde 2002, apresenta taxa de cerca de 7,7% ao ano. Este dado, entretanto, pode servir para julgar a eficácia das políticas econômicas dos hermanos? Alexandre Schwartsman sugere que não, mostrando inconsistência considerável entre os dados do PIB e os dados de geração de energia da Argentina. Inclusive, dados de preços coletados on-line sugerem que também os índices de preços oficiais parecem ter erro muito grande para qualquer inferência.

Os exemplos acima ilustram como os dados são matéria prima importante para a economia, e também mostram que ter uma medida do erro inerente a esses dados nos ajuda a entender o que eles podem e o que eles não podem responder. Com esta preocupação em mente, comecei a procurar trabalhos sobre o assunto, e tive contato com o livro de Morgenstern “On the accuracy of economics observations”. Este trabalho, cuja segunda e última revisão é de 1963, foi o único que encontrei que discute extensivamente os problemas inerentes a muitas variáveis (macro)econômicas (caso alguém tenha conhecimento de algo com este fôlego e mais recente, favor indicar).

O trabalho passa por discutir a natureza dos dados econômicos não experimentais, os diversos tipos de erro naturalmente esperados, e ainda trata de vários exemplos nas mais diversas áreas (comércio exterior, índices de preços, emprego, PIB). Como este post já esta enorme, vou apenas mencionar um exemplo de contas nacionais, trazido por Morgenstern.

Como dissemos no início do post, os valores publicados nas contas nacionais são daquele tipo de estatística em que uma medida de erro não tem uma fórmula pronta, sendo difícil quantificar a incerteza. Entretanto, Kuznets, à época, reuniu especialistas envolvidos no cálculo do PIB para tentar chegar a uma medida. Resultado: cerca de 10%. Qual a implicação disso? Veja o gráfico abaixo (p.269):

Morgenstern mostra os dados de renda nacional bruta dos EUA, de 1946 a 1961, com o intervalo de 10% de erro. Neste caso, nota-se que os dados servem para analisar o crescimento econômico de longo prazo, mas são bastante duvidosos quanto sua utilidade para se confrontar teorias de ciclos econômicos, pois além dos ciclos divulgados oficialmente (reta contínua do gráfico) outra trajetória, com ciclos opostos, também é consistente com o erro (reta tracejada do gráfico).

Com o avanço da tecnologia, é provável que os dados de hoje não sejam tão incertos quanto os da época. Mas não sabemos em que medida, e isso é fundamental para distinguirmos o que podemos extrair dos dados. Estamos em uma época em que o reconhecimento do erro, da aleatoriedade, e da incerteza está se tornando cada vez mais comum e, talvez, seja hora de tentar resgatar a linha de pesquisa de Morgenstern.

* pelo menos para aqueles que descem do pedestal criado para si em sua própria mente e buscam confrontar ideias, sempre sujeitas a erro, com o que se observa.

** por exemplo, suponha que você tenha dois métodos para medir uma variável, em um deles você sabe que há alta probabilidade de subestimar a medida e, com o outro, alta probabilidade de superestimá-la: qual é melhor?

Nate Silver, Frequentistas, Bayesianos e Economistas

Publicado por Carlos Cinelli

Havíamos comentado sobre o livro de Nate Silver. Em particular, falamos sobre o capítulo 8 do livro, uma crítica aos testes cegos de significância estatística. E este capítulo, apesar de super simples, está dando o que falar. Por basicamente dois motivos: (i) Nate utiliza a palavra “frequentismo” para denominar o que critica; e, (ii) o livro se tornou muito popular.

O problema do rótulo “frequentismo” é que ele é utilizado para diversas correntes e técnicas estatísticas, sejam no campo teórico ou aplicado. Dessa forma, muitos daqueles que se denominam “frequentistas” não se enxergam na caracterização feita por Silver. Sentem-se ameaçados e injustiçados – passando a apontar limitações do Bayesianismo, que obviamente existem – a despeito de esses mesmos “frequentistas” também concordarem que as práticas expostas por Nate sejam ruins.

Andrew Gelman tem dois posts (1 e 2) sobre o assunto que merecem ser lidos (e lá você encontrará links para os demais posts de outros blogs). Vale destacar algumas passagens de Gelman.

Com relação à mensagem geral da crítica aos testes de significância:

if Nate’s message is that modern statistics is about models rather than p-values, I support that message even if it’s not phrased in the most technically correct manner.

Uma ênfase sobre o que o economista deve tomar como lição desta discussão:

One thing I’d like economists to get out of this discussion is: statistical ideas matter. To use Smith’s terminology, there is a there there. P-values are not the foundation of all statistics (indeed analysis of p-values can lead people seriously astray). A statistically significant pattern doesn’t always map to the real world in the way that people claim.

Indeed, I’m down on the model of social science in which you try to “prove something” via statistical significance. I prefer the paradigm of exploration and understanding. (See here for an elaboration of this point in the context of a recent controversial example published in an econ journal.)

Here’s another example (also from economics) where the old-style paradigm of each-study-should-stand-on-its-own led to troubles.

E uma crítica à crença incorreta (mas bastante comum) sobre como são aplicados os testes de hipótese na prática:

(…) hypothesis testing typically means that you do what’s necessary to get statistical significance, then you make a very strong claim that might make no sense at all. Statistically significant but stupid. Or, conversely, you slice the data up into little pieces so that no single piece is statistically significant, and then act as if the effect you’re studying is zero. The sad story of conventional hypothesis testing is that it is all to quick to run with a statistically significant result even if it’s coming from noise.

Sobre os pontos levantados na discussão, já tratamos neste blog da confusão gerada em testes de significância aqui (exemplo com teste de normalidade), aqui (exemplo com mercados eficientes) e aqui (uma brincadeira com confundir não rejeitar a hipótese nula com aceitá-la).

Se você gosta de ler, compre um e-reader.

Publicado por Carlos Cinelli

Para quem já é proprietário de um e-reader, com e-ink (Kindle, Kobo, Nook), este post é dispensável – provavelmente você já acha o seu leitor eletrônico fantástico.

Mas, para o amante da leitura que, como eu, possuía um tablet (seja iPad, Galaxy Tab ou até o Kindle Fire) e acessava seus e-books por meio de aplicativos, peço que preste atenção. E que, ao final do post, se convença de comprar o quanto antes um e-reader.

É bem provável que você já tenha pensado nisso, mas que esteja postergando esta compra; afinal, você já tem acesso à Amazon, ao Google Books e à iBookStore por meio de um aplicativo no seu tablet, celular ou computador. Mais ainda, é bem provável que você ache cansativo ler livros digitais e que você ainda prefira, de longe e sem qualquer discussão, ler os livros impressos.

Eu também pensava assim… até chegar o Kindle 4. É simplesmente fantástico. É igual a um papel. A bateria dura quase um mês. É mais leve do que um livro de bolso; inclusive cabe no bolso da jaqueta, do blazer, e, às vezes, até da bermuda ou da calça. Você pode ler sob a luz do sol na praia, na piscina, no parque da sua cidade…

Para ficção, negócios e história, principalmente de consumo geral, dificilmente você comprará livros impressos novamente. A formatação e o prazer de ler em ambos os suportes são quase iguais, mas com a diferença de que livros impressos se acumulam e ocupam espaço, envelhecem, amarelam, mofam, pesam. Sim, falta o cheiro do livro. Mas o mundo é feito de trade-offs (e, por mais que você acredite que tenha uma preferência lexicográfica com “cheiro de livro” como variável indispensável, sugiro que ainda assim experimente).

Para o economista há uma ressalva com relação a livros técnicos, pois a formatação de equações e gráficos ainda não é a melhor do mundo. Entretanto, acredito ser questão de tempo para que isso se resolva e, mesmo com formatação a desejar, há casos em que a praticidade ainda compensa bastante. Também há restrições com relação a PDF’s de artigos acadêmicos e neste caso ainda não há solução… o mundo não é perfeito.

Resumindo: com o e-reader você vai aumentar o seu consumo de leitura em quantidade e qualidade. Hoje, já é fácil comprar e acessar qualquer livro digital pelo tablet, celular ou computador. Mas não é confortável, por causa do bombardeio de luz das telas de LCD, LED, SuperAmoled, Retina etc. Com o e-reader você vai ler por horas a fio e esquecer do suporte pelo qual ocorre a leitura. Ele some da sua mão, restando apenas o mais importante – o conteúdo. Tal como um livro deve ser.

Disclaimer: este post pode estar sujeito ao deslumbramento natural na aquisição de um produto novo. Para amenizar este viés, aguardei quase um mês para escrevê-lo. De qualquer forma, não me responsabilizo por qualquer decisão de consumo com base na opinião acima.

O lucro é justo?

Publicado por Carlos Cinelli

Imagine dois homens.

Um deles trabalha de sol a sol e, se consumir tudo o que ganha, permanecerá pobre. Ao final do ano não estará mais rico do que no começo, nem terá outra perspectiva além de reiniciar todo o processo novamente.

Já o outro homem, atualmente, nada faz, nem com as mãos, nem com o cérebro. Ele não trabalha, contudo, vive bem; tem tudo em abundância; pratos finos, roupas elegantes, mobília suntuosa. Ele vive da renda de seu capital. Ele consome artigos produzidos com o suor dos trabalhadores, pois tais coisas não surgem do nada; foram eles que plantaram o milho, teceram as roupas, construíram a mobília.

Se o trabalhador consumir qualquer excedente que tenha gerado, ele estará sempre no mesmo ponto de partida. Um mesmo trabalho é remunerado somente uma vez. Mas, se o rentista consumir a totalidade de seu ganho anual, ele terá, no ano seguinte, e por toda a eternidade, uma renda fixa e perpétua. O capital, portanto, não é remunerado uma vez, nem duas, mas indefinidas vezes.

“Nesse arranjo social”, indaga Bastiat, “não há um mal monstruoso a ser reformado?”. Indo além, se o rentista não gastar parte de sua renda, ele conseguirá, sem outro esforço, aumentar seu capital de maneira tão rápida que, em pouco tempo, consumiria o mesmo tanto que cem famílias da classe trabalhadora. “Isso tudo não prova que a sociedade em si carrega em seu seio um horrendo câncer, que deve ser erradicado, mesmo sob risco de algum sofrimento temporário?”

É deste modo que o liberal francês inicia seu panfleto Capital e Renda . Isto se passou no ano de 1849, após a revolução francesa de 1848, em um momento de turbulência social em que o socialismo ganhava força. Bastiat direcionou o texto aos trabalhadores de Paris simpáticos às promessas revolucionárias, personificadas, principalmente na França, por Proudhon. E, a despeito do início acima destacado, o objetivo era dizer que sim, a remuneração do capital é justa, mesmo com sua natureza perpétua.

Esta e outras obras de Bastiat encontraram repercussão positiva na classe trabalhadora parisiense. Isto preocupou a frente socialista, levando Chevé, um redator do jornal de Proudhon à época – A Voz do Povo -, a escrever contra as conclusões do liberal. A despeito das críticas, Proudhon abriu as portas à Bastiat, permitindo uma réplica no mesmo jornal, atitude difícil de se observar em debates com oponentes de visões tão distintas: “(…)deixamos abertas as colunas (do jornal) para o nosso adversário; publicaremos seu artigo inteiro, não faremos comentários sobre ele, a fim de não influenciar o julgamento de nossos leitores, e para igualar as vantagens da controvérsia entre o nosso antagonista e nós mesmos”.

A resposta de Proudhon viria somente na semana seguinte; a partir de então, ele toma o lugar de Chevé no debate. Após, tanto o liberal Bastiat quanto o socialista Proudhon trocam mais dez cartas no jornal, sob os olhos do público, acerca da natureza e da legitimidade do lucro. O debate é finalizado com uma última resposta, não publicada, de Bastiat, pois ao final as acusações partiram para argumentos ad hominem por parte de Proudhon.

Este é um debate bastante interessante da HPE, que passa sobre a discussão da origem e legitimidade do lucro, divisão social do trabalho, crédito e, inclusive, sobre a proposta de crédito gratuito para os trabalhadores. Caso você, como eu, tenha se interessado pelo episódio, continue lendo aqui.

Livros de estatística pesam 0Kg.

Publicado por Carlos Cinelli

Nos comentários de um post do A Mão Visível, vi o Economista X sugerir que um resultado estatisticamente insignificante é evidência a favor da hipótese nula que está sendo testada.

Isso não é verdade, pois somente a rejeição ou não rejeição da hipótese nula – ou somente o p-valor – não fornece informação suficiente para esse julgamento.

Acho que uma forma simples de se instigar a reflexão sobre o assunto é com um exemplo absurdo como o abaixo.

Vale lembrar: apesar de parecer um engano trivial, é muito fácil se deixar levar por este tipo de interpretação. E ela é bastante difundida nos trabalhos aplicados.

***

Tenho evidência cabal de que livros não pesam nada. Isto mesmo, livros têm peso zero. Vejam abaixo, os dados são acachapantes. Primeiro com os livros do Jim Berger e do Aris Spanos:

Agora vejam Fisher e Lehmann & Romano.

Testei com mais de dez pares de livros diferentes. Todos com o mesmo resultado, p-valor=100% (o p-valor é a probabilidade de a minha balança acusar 0Kg (ou mais) quando os livros pesam de fato 0kg).

Conclusão: livros pesam 0Kg (pelo menos os livros de estatística, sejam frequentistas ou bayesianos).

***

Obviamente que a interpretação acima é absurda e nem mesmo um leigo a levaria a sério.

Entretanto, existem muitos estudos publicados que afirmam encontrar evidência a favor da hipótese nula simplesmente por não rejeitá-las. Isso é um raciocínio análogo ao exemplo.

Que informação (ou informações) a mais você levou em conta no teste da balança para julgar que o resultado zero não é uma boa evidência de peso zero (ou aproximadamente zero)? Há pelo menos duas coisas que você deveria ter levado em conta. Essas mesmas coisas servem para os testes estatísticos rotineiramente aplicados.

Pelo exposto, fica claro por que a afirmação de “O” anônimo, apesar de ácida, não é tão absurda assim:

…se você acha que um teste de raiz unitária em uma série macroeconômica de 10 anos tem mais informação sobre a ordem de integração do que o nome da variável em questão, você não entende nem de macroeconomia nem de econometria.