Retrospectiva: posts mais lidos de 2014


Tivemos copa e eleições e assim, neste ano, os posts acabaram sendo bem temáticos.

Segue, abaixo, uma lista com os mais lidos em 2014, separados por tema.


Estatística (diversos)

 

Que variáveis incluir na regressão? Ou, por que grande parte dos trabalhos aplicados está errada.

Statistics – Emir Sader Style

Statistics – Emir Sader Style – The return of …

Statistics – PSDB Style


Copa

 

Nate Silver – Previsões para a copa do mundo

Previsões para a copa: sem Neymar, Brasil ainda é favorito?

Previsões para a copa: USP e UFSCar x Nate Silver x Céticos

Previsões para a copa: afinal, como se saíram os modelos?


 Eleições

 

Indício de fraude nas eleições? Usando a Lei de Benford.

Votos e Bolsa Família: correlação se mantém quando controlada por estado?

Votos e Bolsa Família: segundo turno!

Dilma, Marina e Aécio no Google Trends, um dia antes das eleições

Previsões para eleições: o que estão dizendo para amanhã?

Previsões para eleição no Brasil?


 Imóveis (Brasília)

 

Mapas de roubos em Brasília?

Quanto mais tempo sem alugar, maior a variação do preço do aluguel? E mais um mapa.

Mapa de aluguel em Brasília (Plano Piloto)

Valores de aluguel em Brasília (plano piloto)

Imóveis no DF: preços de venda estão caindo? 10 meses de coleta.

Erro de medida, preços de imóveis e growth regressions.


Em post passado falamos de erro de medida com o cartoon do Calvin. Hoje, enquanto mexia numa base de dados de imóveis de Brasília para passar algumas consultas para um amigo,  pensei em voltar no assunto. Dados de oferta de imóveis podem fornecer uma ilustração simples e fácil do problema.

Preços declarados online variam desde 1 centavo até R$ 950 milhões. Tamanhos declarados online vão desde 0.01 metro quadrado até 880 mil metros quadrados. Em outras palavras, o erro de medida pode ser grande. E, neste caso,  felizmente, isso é fácil de perceber, pois todos nós temos alguma noção do que são valores razoáveis. Não existe apartamento de 0.01 metro quadrado.

Como isso afeta modelos usuais, tais como uma regressão linear?

Resumidamente: bastam alguns pontos extremos para atrapalhar muito. A regressão linear é extremamente sensível a outliers e erros de observação. 

Para ilustrar, façamos a regressão de preços de venda de apartamento contra a metragem do imóvel, nos dados brutos, sem qualquer tratamento. Temos 13.200 observações. A equação resultante foi:

preço = 1.770.902,90  + 2,68 m2

Isto é, segundo a estimativa, cada metro quadrado a mais no imóvel aumentaria seu preço, em média, em R$ 2,68. Não é preciso ser um especialista da área para ver que resultado é patentemente absurdo.

E o que acontece com a estimativa se limparmos a base de dados? Tirando apenas 200 observações das 13.200 (1,5% dos dados), obtemos a seguinte equação:

preço = -45.500,44 + 9.989,81 * m2

Agora, cada metro quadrado a mais está associado a um aumento de R$9.989,81 nos preços, em média – de acordo com o senso comum (infelizmente) para a cidade de Brasília. Ou seja, com a regressão sem tratamento dos dados, você subestimaria o efeito em nada menos do que 3 mil e 700 vezes.

***

O caso anterior é fácil de identificar, mas no dia a dia nem sempre isso ocorre. E é comum tomar dados oficiais por seu valor de face.

Quer um exemplo?

A Penn World Tables, na versão 6.1, publicou uma queda de 36% no PIB da Tanzânia em 1988. Isso levou Durlauf e outros autores a colocarem em seu texto, Growth Econometrics, o “caso” da Tanzânia como um dos top 10 de queda do produto (vide tabela 8). Entretanto, na versão 7.1 da Penn Tables,  os dados mostram um crescimento de 8% para Tanzânia, para o mesmo ano! Se um dado como esse já pode ser muito enganoso apenas como estatística descritiva,  imagine o efeito em growth regressions com regressões lineares e variáveis instrumentais.

PS1: o legal é que o próprio texto do Durlauf tem uma seção bacana sobre erro de medida!

PS2: Sobre dados de PIB da África,  livro recente do Jerven, Poor Numbers, discute muitos desses problemas.

O que é overfitting, desenhado!


Nessas eleições, muitos louvaram o Rio Grande do Sul por nunca reeleger um governador por um segundo mandato. Várias explicações sociológicas foram dadas para o comportamento.   Entretanto, antes de inferir alguma coisa mais essencial deste padrão, vale a pena dar uma olhada nesta tirinha do xkcd para renovar o ceticismo:

13vdbE aguardemos por um N maior!

Via uma resposta do Cross Validated.