Ainda está na dúvida se vale a pena aprender R? Então de uma olhada neste pequeno artigo da Nature sobre a linguagem.
Mês: dezembro 2014
Siga o blog no Twitter!
Pois bem, tal qual com o Facebook, depois de procrastinar bastante tempo, eis que surge o perfil do twitter do Análise Real.
Você pode seguir aqui:https://twitter.com/analisereal – e também coloquei um link ali no canto do blog!
Retrospectiva: posts mais lidos de 2014
Tivemos copa e eleições e assim, neste ano, os posts acabaram sendo bem temáticos.
Segue, abaixo, uma lista com os mais lidos em 2014, separados por tema.
Estatística (diversos)
Que variáveis incluir na regressão? Ou, por que grande parte dos trabalhos aplicados está errada.
Statistics – Emir Sader Style – The return of …
Copa
Nate Silver – Previsões para a copa do mundo
Previsões para a copa: sem Neymar, Brasil ainda é favorito?
Previsões para a copa: USP e UFSCar x Nate Silver x Céticos
Previsões para a copa: afinal, como se saíram os modelos?
Eleições
Indício de fraude nas eleições? Usando a Lei de Benford.
Votos e Bolsa Família: correlação se mantém quando controlada por estado?
Votos e Bolsa Família: segundo turno!
Dilma, Marina e Aécio no Google Trends, um dia antes das eleições
Previsões para eleições: o que estão dizendo para amanhã?
Previsões para eleição no Brasil?
Imóveis (Brasília)
Quanto mais tempo sem alugar, maior a variação do preço do aluguel? E mais um mapa.
Mapa de aluguel em Brasília (Plano Piloto)
Valores de aluguel em Brasília (plano piloto)
Imóveis no DF: preços de venda estão caindo? 10 meses de coleta.
Em alguns casos, valores não pecuniários são importantes.
Erro de medida, preços de imóveis e growth regressions.
Em post passado falamos de erro de medida com o cartoon do Calvin. Hoje, enquanto mexia numa base de dados de imóveis de Brasília para passar algumas consultas para um amigo, pensei em voltar no assunto. Dados de oferta de imóveis podem fornecer uma ilustração simples e fácil do problema.
Preços declarados online variam desde 1 centavo até R$ 950 milhões. Tamanhos declarados online vão desde 0.01 metro quadrado até 880 mil metros quadrados. Em outras palavras, o erro de medida pode ser grande. E, neste caso, felizmente, isso é fácil de perceber, pois todos nós temos alguma noção do que são valores razoáveis. Não existe apartamento de 0.01 metro quadrado.
Como isso afeta modelos usuais, tais como uma regressão linear?
Resumidamente: bastam alguns pontos extremos para atrapalhar muito. A regressão linear é extremamente sensível a outliers e erros de observação.
Para ilustrar, façamos a regressão de preços de venda de apartamento contra a metragem do imóvel, nos dados brutos, sem qualquer tratamento. Temos 13.200 observações. A equação resultante foi:
preço = 1.770.902,90 + 2,68 m2
Isto é, segundo a estimativa, cada metro quadrado a mais no imóvel aumentaria seu preço, em média, em R$ 2,68. Não é preciso ser um especialista da área para ver que resultado é patentemente absurdo.
E o que acontece com a estimativa se limparmos a base de dados? Tirando apenas 200 observações das 13.200 (1,5% dos dados), obtemos a seguinte equação:
preço = -45.500,44 + 9.989,81 * m2
Agora, cada metro quadrado a mais está associado a um aumento de R$9.989,81 nos preços, em média – de acordo com o senso comum (infelizmente) para a cidade de Brasília. Ou seja, com a regressão sem tratamento dos dados, você subestimaria o efeito em nada menos do que 3 mil e 700 vezes.
***
O caso anterior é fácil de identificar, mas no dia a dia nem sempre isso ocorre. E é comum tomar dados oficiais por seu valor de face.
Quer um exemplo?
A Penn World Tables, na versão 6.1, publicou uma queda de 36% no PIB da Tanzânia em 1988. Isso levou Durlauf e outros autores a colocarem em seu texto, Growth Econometrics, o “caso” da Tanzânia como um dos top 10 de queda do produto (vide tabela 8). Entretanto, na versão 7.1 da Penn Tables, os dados mostram um crescimento de 8% para Tanzânia, para o mesmo ano! Se um dado como esse já pode ser muito enganoso apenas como estatística descritiva, imagine o efeito em growth regressions com regressões lineares e variáveis instrumentais.
PS1: o legal é que o próprio texto do Durlauf tem uma seção bacana sobre erro de medida!
PS2: Sobre dados de PIB da África, livro recente do Jerven, Poor Numbers
O que é overfitting, desenhado!
Nessas eleições, muitos louvaram o Rio Grande do Sul por nunca reeleger um governador por um segundo mandato. Várias explicações sociológicas foram dadas para o comportamento. Entretanto, antes de inferir alguma coisa mais essencial deste padrão, vale a pena dar uma olhada nesta tirinha do xkcd para renovar o ceticismo:
E aguardemos por um N maior!
Via uma resposta do Cross Validated.
Calvin sobre a qualidade dos dados em surveys – I love messing with data
Calvin mostrando mais uma fonte (bem comum) de erro de medida:
I love messing with data!
Links diversos: Discriminação de preços em passagens, vídeo Piketty na USP e replicação dos códigos dos artigos.
Seguem alguns links interessantes da semana:
– Vai comprar passagens? Então não busque somente no “site em português” da companhia aérea, mas também nas versões estrangeiras. Algumas vezes o preço pode ser mais barato, bem mais barato. Para verificar se isso ocorre por aqui, simulei hoje uma passagem Brasília – Vitória para a virada do ano, tanto na versão em português quanto na versão em inglês do site da TAM. Resultado: no site em inglês a passagem está quase R$1.000,00 mais cara. Neste caso, o gringo que estiver no Brasil pode economizar bastante apenas mudando a linguagem da página, mas já houve relatos de o inverso acontecer (a passagem no site em inglês estar mais barata).
– Lembra que o Piketty estava pelo Brasil? Pois bem, para quem não conseguiu estar presente, agora o vídeo do debate que ocorreu na USP, com André Lara Resende e Paulo Guedes, está disponível (via Prosa Econômica).
– Desde 2005, o Quarterly Journal of Political Science solicita aos autores os dados e códigos necessários para a replicação de seus papers. Com isso, o periódico faz uma revisão bem básica: apenas roda o que foi enviado pelos autores – as is – e verifica se os resultados são os mesmos apresentados pelo artigo. Este processo simples tem valido a pena? Segundo Nicholas Eubank, sim:
Experience has shown the answer is an unambiguous “yes.” Of the 24 empirical papers subject to in-house replication review since September 2012, [1] only 4 packages required no modifications. Of the remaining 20 papers, 13 had code that would not execute without errors, 8 failed to include code for results that appeared in the paper, [2] and 7 failed to include installation directions for software dependencies. Most troubling, however, 13 (54 percent) had results in the paper that differed from those generated by the author’s own code. Some of these issues were relatively small — likely arising from rounding errors during transcription — but in other cases they involved incorrectly signed or mis-labeled regression coefficients, large errors in observation counts, and incorrect summary statistics. Frequently, these discrepancies required changes to full columns or tables of results. Moreover, Zachary Peskowitz, who served as the QJPS replication assistant from 2010 to 2012, reports similar levels of replication errors during his tenure as well. The extent of the issues — which occurred despite authors having been informed their packages would be subject to review — points to the necessity of this type of in-house interrogation of code prior to paper publication.
Fica a pergunta: quantos journals brasileiros fazem isso?
Trabalhar como economista/cientista de dados no facebook: o que é preciso?
Será que você – ou o seu programa de doutorado – está em sintonia com as demandas de um economista/cientista de dados moderno, como um economista no facebook?
Segue abaixo a tradução livre que fiz dos trechos relevantes de uma oferta de emprego:
O Facebook está buscando economistas excepcionais para se juntar à nossa equipe de Ciência de Dados. Os indivíduos deverão ter uma compreensão profunda da análise causal – desde a criação e análise de experimentos até o trabalho com dados complexos ou não estruturados. Economistas no Facebook criam e executam projetos em áreas como o design de mercado online, previsão, análise de redes, design de leilão, comportamento do consumidor e economia comportamental.
Algumas habilidades requeridas ou desejáveis:
- Doutorado em Economia ou um campo relevante;
- Ampla experiência na resolução de problemas analíticos utilizando abordagens quantitativas;
- Confortável com a manipulação e análise de dados complexos, de alto volume e alta-dimensionalidade de fontes variadas;
- Conhecimento especializado de uma ferramenta de análise, tais como R, Matlab, ou Stata;
- Experiência com os dados on-line: a mineração da web social, webscraping de websites, puxar dados de APIs, etc;
- Confortável na linha de comando e com ferramentas unix;
- Fluência em pelo menos uma linguagem de script como Python ou Ruby;
- Familiaridade com bancos de dados relacionais e SQL;
- Experiência de trabalho com grandes conjuntos de dados ou ferramentas de computação distribuída (Map/Reduce, Hadoop, Hive, etc.).
O Estatístico Automático – patrocínio do Google e Séries Temporais
Vai fazer análise de séries temporais? Agora você também pode testá-las no Estatístico Automático. Dê uma olhada nos exemplos, são bem interessantes. E parece que o projeto está caminhando, o Google resolveu investir na iniciativa.
Análise Real 