Estatísticas de homicídio – mais sobre erro de medida.


Qual foi a quantidade de homicídios no EUA em 2010? Três medidas diferentes, com 25% de diferença entre a maior e menor.

12,966, FBI, Crime in the United States 2010.

13,164, FBI, Crime in the United States 2011 (2010 figure).

14,720, Bureau of Justice Statistics (Table 1, based on FBI, Supplementary Homicide Statistics).

16,259, CDC (based on death certificates in the National Vital Statistics System). 

Veja mais no Marginal Revolution.

Para saber mais sobre o assunto, veja no blog também  aqui aqui ,aquiaqui, aqui e aqui.

 

Introducing dplyr


Novo pacote dplyr, com foco em performance. Estive usando o data.table e é realmente muito rápido, se o dplyr for tão rápido quanto e mais intuitivo, será excelente.

RStudio Blog

dplyr is a new package which provides a set of tools for efficiently manipulating datasets in R. dplyr is the next iteration of plyr, focussing on only data frames. dplyr is faster, has a more consistent API and should be easier to use. There are three key ideas that underlie dplyr:

  1. Your time is important, so Romain Francois has written the key pieces in Rcpp to provide blazing fast performance. Performance will only get better over time, especially once we figure out the best way to make the most of multiple processors.
  2. Tabular data is tabular data regardless of where it lives, so you should use the same functions to work with it. With dplyr, anything you can do to a local data frame you can also do to a remote database table. PostgreSQL, MySQL, SQLite and Google bigquery support is built-in; adding a new backend is…

Ver o post original 493 mais palavras

Benford Analysis R Package


Em post anterior falamos sobre a Lei de Benford e que ela pode ser utilizada para o auxílio na detecção de fraudes contábeis ou dados estranhos. Também explicamos por que ela surge – resumidamente, pode-se dizer que números que tenham crescimento exponencial, ou que sejam derivados da multiplicação de outros números, tenderiam à lei de Benford – e isto abrange muitos dados econômicos.

Além da Lei de Benford, temos falado bastante sobre o R por aqui. Então, que tal unirmos as duas coisas? Bem, em alguns dias, com o pacote benford.analysis, você poderá analisar facilmente e rapidamente (espero!) seus dados contra a lei de Benford para identificar possíveis erros.

A idéia do pacote é tornar a análise algo rápido e simples. Por exemplo, o gráfico abaixo é gerado com apenas dois comandos: bfd <- benford(dados) e plot(bfd).

Plot BenfordVamos ver se vai ficar bacana.

Atualização: a versão 0.1 está no CRAN.

Statistics – Globo News style


Tem circulado pelo facebook (aqui e aqui) uma tela que aparentemente foi veiculada no programa Conta Corrente, da Globo News, com o seguinte gráfico:

Alguém vai ser demitido.

Com 5,91% maior do que 6,5%, acho que alguém está prestes a ser demitido!

PS: veja mais exemplos como esse aquiaqui  e aqui.

Investimento Estrangeiro Direto no Brasil por Estado (Indústria)


Os dados do Censo de Capitais Estrangeiros no País, em 2010, trouxeram a distribuição do Investimento Estrangeiro Direto (IED) na indústria por Unidade da Federação (UF).

Somente da Indústria? E como foi feita a distribuição? Aqui voltamos ao que já dissemos sobre erro de medida (ver aqui, aqui, aqui e aqui, por exemplo). Distribuir o estoque investimento estrangeiro por UF é algo complicado, sujeito a erros diversos, tanto ao se definir a metodologia, quanto ao se mensurar o valor. No censo de 1995, por exemplo, os dados foram distribuídos por estado “[…] tomando por base o endereço da sede da empresa”. Será que essa é uma boa medida? Depende.

Percebe-se que uma indústria que concentre o grosso da sua estrutura produtiva no Pará, mas que tenha sede em São Paulo, será considerada um investimento nesta última UF.  Se a intenção é medir onde se encontra o centro administrativo, esta medida poderá ser boa. Todavia, se intenção é medir onde se encontram as unidades produtivas, esta medida terá, talvez, distorções significativas. Qual a melhor forma, então, de se distribuírem os investimentos por estado? Pela localização da sede? Pela localização do ativo imobilizado? Pela distribuição dos funcionários?  Particularmente, acho que não existe uma métrica única que se sobressaia às demais – a melhor opção depende do uso que você irá fazer da estatística.

Voltando ao Censo, a pesquisa passou a considerar a distribuição do ativo imobilizado como critério para alocação do IED – e apenas para a indústria . Os declarantes distribuíram percentualmente o seu imobilizado pelos diferentes estados e isso foi utilizado para ponderar o investimento direto pelas UF’s.

Segue abaixo mapa do Brasil com a distribuição do IED da indústria por Unidade Federativa:

IED_UF

 Para aprender a fazer o mapa, veja aqui.

Complexity Explorer


Além da análise de redes, outro tema correlato e que tende a render bons frutos na economia é o da análise de sistemas complexos.

Espero tratar mais deste assunto futuramente, mas, antes, não poderia deixar de passar uma dica para quem deseja iniciar os estudos na área: o site Complexity Explorer.

O curso Introduction to Complexity está para terminar agora em Janeiro e o Introduction to Dynamical Systems and Chaos acabou de começar.

A economia e as promessas de fim-de-ano


Muitos dizem que a economia é uma ciência bastante abstrata, com poucos conselhos úteis para o dia-a-dia. Se isso já foi verdade (algo com o qual – friso – não concordo), a economia comportamental certamente acabou com o estereótipo. Economistas e psicólogos explicam por que você promete, todo ano, coisas que você não irá cumprir ano que vem. Mas também fornecem meios de superar algumas dessas limitações.

Dan Ariely trouxe um post com 5 promessas de fim-de-ano que provavelmente você conseguirá cumprir. Qual o segredo? Lembre que você, muito provavelmente, desconta o tempo hiperbolicamente. Assim, faça coisas que te “obriguem” a manter a promessa, tal como, por exemplo, a partir de hoje programar uma transferência automática de dinheiro para a poupança (caso sua promessa seja a de poupar mais), ou manter apenas as comidas da sua dieta dentro de casa (caso sua promessa seja melhorar a saúde).

Complementemos Ariely falando um pouco mais sobre força de vontade e hábitos.

Aparentemente, tal como a energia de um músculo, a disciplina, o auto-controle e a força de vontade são exauríveis. Isto é, se você exercer grande esforço de auto-controle para uma atividade durante a manhã, as chances são de que à noite você irá se render às mais simples tentações. Entretanto, continuando com a analogia do músculo, acredita-se ser possível fortalecer o auto-controle por meio da prática.

Daqui, portanto, saem duas dicas para você manter as promessas de fim-de-ano: (i) se você quer mudar coisas que requerem bastante auto-controle (como criar ou extinguir um hábito), faça uma de cada vez. As chances de sucesso serão maiores e, com a prática para implementar a primeira mudança, será menos difícil implementar a segunda. Além disso, (ii) distribua de maneira inteligente as atividades ao longo do dia, poupando energia para aquelas atividades mais importantes que exigem bastante força de vontade.

Ainda mais, a economia institucional e a psicologia tem enfatizado como hábitos, regras de bolso e a dependência da trajetória são elementos pervasivos na sociedade. Isso vale, também, para sua vida pessoal.  Assim, entenda como hábitos funcionam (como eles são criados e mantidos) e use isso a seu favor. Lembre-se que, uma vez que um hábito é criado, a atividade não mais “consome” o seu “estoque” de auto-controle (ou reduz o consumo).

Há muito mais que poderíamos falar, mas a regra geral é a seguinte: entenda como seu cérebro funciona, as armadilhas que ele faz para você mesmo, e use isso a seu favor. A economia e psicologia têm muito a oferecer. Alguns livros que podem te ajudar na empreitada são:

Thinking, Fast and Slow, do prêmio Nobel Daniel Kahneman (menos de 5 dólares a versão Kindle);

The Irrational Bundle: Predictably Irrational, The Upside of Irrationality, and The Honest Truth About Dishonesty (eBook Bundle) (os três livros do Dan Ariely);

The Power of Habit: Why We Do What We Do in Life and Business.

Feliz 2014!

E se os economistas escrevessem os cartões de Natal?


Fim de ano e festas chegando, nada mais justo do que aproveitar para reciclar rever posts antigos.

Para o Natal, nada melhor do que repetir o post do ano passado, mas com uma atualização para não dizer que sou completamente preguiçoso.

*** Atualização para 2013 ***

– Entrevista com o “Scrooge” economist  Waldfogel (para saber quem é Waldfogel, leia o post abaixo);

– Como dito no post do ano passado (abaixo), nem todos os economistas são os estraga-prazeres das trocas de presentes natalinas. Na verdade, a maioria (54%) parece não ser.

– Seguindo o link anterior: e se os economistas escrevessem os cartões de Natal? Segue exemplo da grande sensibilidade sobre a alma humana que um economista pode ter.

natal

*** Post de 2012 ***

É fim de ano. Provavelmente, você foi convidado para participar de um amigo-oculto da sua empresa. Você, animado, comprou aquele vinho bacana… mas, voltou com uma vela de Natal para casa. É capaz, ainda, de a pessoa que voltou com o seu vinho não ser um apreciador da bebida e, caso pudesse, ter preferido ficar com a sua vela.

O mesmo pode acabar acontecendo, também, nas trocas de presentes de Natal em família. Será que aquela roupa que você comprou para seu sobrinho mais novo era, realmente, o melhor uso que ele faria do dinheiro? Muito difícil. Você terá sorte se ele não falar na sua frente (e na frente de todos) que preferia um jogo de PlayStation 3. Nem ele e nem você saem felizes.

Todos esses são exemplos de ineficiência. Os presentes, em geral, perdem muito valor para quem os recebeu. E é aí que o economista, geralmente estraga-prazeres, entra para estimar qual é a perda que os presentes das festas de fim-de-ano geram na economia.

Waldfogel, há cerca de 20 anos, em artigo intitulado “o peso-morto do Natal“, estimou esta ineficiência para os EUA, com base em uma amostra de estudantes de economia de Yale. Resultado: os presentes recebidos perdiam cerca de 10% a 30% do valor, podendo gerar um “desperdício” anual de 4 a 13 bilhões de dólares (isso a dólares de 1992!).

Mas, nem todos os economistas querem acabar com a magia do Natal. E aquele rabisco desenho que seu filho fez especialmente para você, com um “te amo papai!” ao final? O custo foi quase zero, mas o valor do presente é quase inestimável! Deste modo, os resultados de Waldfogel foram contestados por Solnick e Hemenway. Os autores alegaram que amostra utilizada era muito restritiva e, assim, não representativa. Com uma amostra mais abrangente, envolvendo entrevistas em trens e aeroportos, o resultado dos autores foi em direção bastante diversa: dar presentes aumenta, em média, em 214% o valor recebido!

List e Shogren julgaram que ambos os artigos tinham um problema metodológico. Tentaram, assim, melhorar os resultados com leilões em que os sujeitos indicariam a quanto estavam dispostos a vender seus presentes de Natal. O resultado também foi de um ganho, mas menor do que anterior, entre 121% a 135%.

Por fim, Ruffle e Tykocinski argumentaram que as principais divergências entre os estudos decorreram, não da amostra utilizada, mas da forma como a pergunta foi formulada. Enquanto um perguntou “quanto dinheiro o tornaria indiferente”, para uma platéia de economistas, o outro perguntou “quanto dinheiro o deixaria igualmente feliz”, pois temia que não-economistas pudessem ignorar o conceito de indiferença. Aparentemente, a mera introdução da palavra “feliz” tem um efeito enquadramento poderoso, fazendo com que as estimativas subam cerca de 50% quando comparadas com a pergunta anterior.

20121224-183054.jpg
Feliz Natal (e boa sorte)!

Shouldn’t you be working?


Procrastinadores, seus problemas acabaram diminuíram.

Há algum tempo descobri o StayFocusd, para o Google Chrome. Recomendo.

Você define quanto tempo por dia quer perder no submundo da internet (facebook etc); quando este tempo se esgota, ele bloqueia o acesso a todos os sites (você pode personalizar, se quer que bloqueie todos, ou se quer que haja uma lista de exceções, entre outras opções – o app é bastante flexível) e te mostra uma carinhosa mensagem:

Shouldn’t you be working?

Analisando microdados do IBGE com o R


Os materiais do Seminário de Metodologia do IBGE de 2013 estão disponíveis para download. Dentre eles, destaco o do mini-curso Introdução à análise de dados amostrais complexos. Lá você vai aprender a replicar os resultados da POF, da PNAD e amostra do Censo levando em conta o desenho amostral das pesquisas (que é necessário para se calcular corretamente medidas de precisão, como a variância). O material é bastante focado no blog de Anthony Damico, Analyze Survey Data for Free. O blog é fantástico, com diversos exemplos de como baixar e analisar dados de pesquisas públicas levando em conta o plano amostral, tudo com ferramentas gratuitas como o R.