Previsões para a copa: afinal, como se saíram os modelos?


Depois do 7 x 1 da Alemanha contra o Brasil, houve algum rebuliço na mídia. Nate Silver se explicou: não é que a derrota do Brasil fosse algo imprevisível, afinal, estimou-se em 35% as chances de a Alemanha vencer a partida. Mais de uma em cada três vezes. Entretanto, o placar de 7 a 1 foi, de fato, estimado como muito improvável segundo o modelo – apenas 0.025%. Mas será que isso por si só é suficiente para rejeitarmos seus resultados? Não necessariamente. Lembre que modelos são falsos. Você não quer saber se eles representam fielmente a realidade, mas sim se são úteis. A dificuldade está em, justamente, saber onde esses modelos podem ser úteis, e onde podem ser enganosos.

Modelar resultados raros e extremos é muito complicado.  Isso ilustra um ponto importante: não se exponha negativamente a Black Swans, pois a dificuldade (ou impossibilidade) de identificar tais eventos pode te expor a riscos muito maiores do que o que você imagina.  Nassim Taleb é alguém que bate há algum tempo nesta tecla.

Todavia, o interessante neste caso é que os modelos para a copa, por preverem vitória ou derrota, não estavam negativamente expostos a eventos extremos deste tipo (o diferencial de gols). Suponha que a probabilidade estimada para o resultado de 7 a 1 para a alemanha fosse de 0.25% ao invés de 0.025%, ou seja, 10 vezes maior. Isso em quase nada alteraria a probabilidade de um time ou outro vencer. Em outras palavras,  se você estiver apostando no resultado binário (vitória ou derrota), você não está exposto a um Black Swan deste tipo (poderia estar exposto a outros tipos, mas isso não vem ao caso agora).

Para ilustrar, comparemos uma distribuição normal (cauda bem comportada) com uma distribuição t de student com 2 graus de liberdade (cauda pesada). No gráfico abaixo temos a Normal em vermelho e a t de student em azul.  Note que a probabilidade de X ser maior do que zero é praticamente 50% nas duas distribuições. Entretanto, a probabilidade de X ser maior do que 3.3 é mais de 80 vezes maior na distribuição t do que na Normal. Na verdade, a simulação da t resulta em pontos bastante extremos, como -100 ou 50 (resultados “impossíveis” numa normal(0,1)), e por isso o eixo X ficou tão grande. Isto é, para prever o resultado binário X>0 ou X<0, não há muita diferença nos dois modelos, a despeito de haver enormes diferenças em eventos mais extremos.

Normal x T

 

Dito isto, não é de se surpreender que, apesar de Nate Silver ter colocado o Brasil como favorito – e ter errado de maneira acachapante o resultado contra a Alemanha – ainda assim suas previsões (atualizadas) terminaram a copa com o menor erro quadrático médio. Ou, também, com o menor erro logarítmico. Essas são medidas próprias de escore para previsões probabilísticas.

O gráfico final do erro quadrático ficou da seguinte forma. Não coloco o logarítmico por ser praticamente igual:

modelos_final

E segue também o gráfico final comparando as probabilidade observadas com as previstas:

calibracao_final

 

 

Futebol e teorias econômicas


Os jogadores batem pênalti como previsto pela teoria dos jogos? Os mercados de apostas no futebol são eficientes?  Confira o  artigo de Ignacio Palacios-Huerta no NYT e veja como o futebol pode ter interseção com temas da teoria econômica.

Via Al Roth.

Debate sobre desonestidade – Agora, ao vivo, no Youtube.


Peter Singer, Paul Bloom e Dan Ariely irão discutir agora, ao vivo, suas pesquisas sobre desonestidade, moralidade e ética.

Mapa de aluguel em Brasília (Plano Piloto)


Em post anterior fizemos uma breve análise dos dados de aluguel no plano piloto.

Agora, que tal navegar por todos imóveis em um mapa da cidade, vendo a localização, tamanho, número de quartos e valor do aluguel? Clique aqui ou na mapa abaixo para navegar.

Atenção,  ainda é um protótipo!

Se o mapa não aparecer na sua tela, provavelmente o seu navegador bloqueou a execução do javaScript. Procure por um cadeado no navegador (canto superior direito ou esquerdo, geralmente) e autorize o carregamento do site.

Captura de Tela 2014-02-23 às 21.13.59

PS: agora já estamos coletando diariamente e automaticamente preços online de imóveis dos principais sites e das principais capitais do país. Ainda estamos testando métodos de análise e visualização.

A economia e as promessas de fim-de-ano


Muitos dizem que a economia é uma ciência bastante abstrata, com poucos conselhos úteis para o dia-a-dia. Se isso já foi verdade (algo com o qual – friso – não concordo), a economia comportamental certamente acabou com o estereótipo. Economistas e psicólogos explicam por que você promete, todo ano, coisas que você não irá cumprir ano que vem. Mas também fornecem meios de superar algumas dessas limitações.

Dan Ariely trouxe um post com 5 promessas de fim-de-ano que provavelmente você conseguirá cumprir. Qual o segredo? Lembre que você, muito provavelmente, desconta o tempo hiperbolicamente. Assim, faça coisas que te “obriguem” a manter a promessa, tal como, por exemplo, a partir de hoje programar uma transferência automática de dinheiro para a poupança (caso sua promessa seja a de poupar mais), ou manter apenas as comidas da sua dieta dentro de casa (caso sua promessa seja melhorar a saúde).

Complementemos Ariely falando um pouco mais sobre força de vontade e hábitos.

Aparentemente, tal como a energia de um músculo, a disciplina, o auto-controle e a força de vontade são exauríveis. Isto é, se você exercer grande esforço de auto-controle para uma atividade durante a manhã, as chances são de que à noite você irá se render às mais simples tentações. Entretanto, continuando com a analogia do músculo, acredita-se ser possível fortalecer o auto-controle por meio da prática.

Daqui, portanto, saem duas dicas para você manter as promessas de fim-de-ano: (i) se você quer mudar coisas que requerem bastante auto-controle (como criar ou extinguir um hábito), faça uma de cada vez. As chances de sucesso serão maiores e, com a prática para implementar a primeira mudança, será menos difícil implementar a segunda. Além disso, (ii) distribua de maneira inteligente as atividades ao longo do dia, poupando energia para aquelas atividades mais importantes que exigem bastante força de vontade.

Ainda mais, a economia institucional e a psicologia tem enfatizado como hábitos, regras de bolso e a dependência da trajetória são elementos pervasivos na sociedade. Isso vale, também, para sua vida pessoal.  Assim, entenda como hábitos funcionam (como eles são criados e mantidos) e use isso a seu favor. Lembre-se que, uma vez que um hábito é criado, a atividade não mais “consome” o seu “estoque” de auto-controle (ou reduz o consumo).

Há muito mais que poderíamos falar, mas a regra geral é a seguinte: entenda como seu cérebro funciona, as armadilhas que ele faz para você mesmo, e use isso a seu favor. A economia e psicologia têm muito a oferecer. Alguns livros que podem te ajudar na empreitada são:

- Thinking, Fast and Slow, do prêmio Nobel Daniel Kahneman (menos de 5 dólares a versão Kindle);

- The Irrational Bundle: Predictably Irrational, The Upside of Irrationality, and The Honest Truth About Dishonesty (eBook Bundle) (os três livros do Dan Ariely);

- The Power of Habit: Why We Do What We Do in Life and Business.

Feliz 2014!

Felicidade, Realidade e Expectativa


Vocês já devem ter visto as seguintes fórmulas para a felicidade: 1) Felicidade=Realidade/Expectativa e 2) Felicidade=Realidade-Expectativa.

Essas fórmulas foram amplamente divulgadas e fazem parte do discurso do dia-a-dia. Intuitivamente, elas parecem fazer sentido, pois, quanto maior a expectativa que você tem com relação a algo, e quanto mais esta expectativa se afasta da realidade, maiores a chances de você se decepcionar e ficar infeliz. Entretanto, estas fórmulas implicam mais do que isso e, aparentemente, elas foram aceitas de forma passiva e nunca colocadas à prova ou discutidas criticamente pela sociedade. Vejamos. Chamemos Felicidade de “F”, Realidade de “R” e Expectativa de “E”. Assim, nossas fórmulas seriam: 1) F = R/E e 2) F = R - E

Para verificar se elas fazem sentido, confrontemos com nossa experiência. Imagine que você seja muito pobre. Ganhar uma casa própria aumentaria em muito sua felicidade, certo? Por outro lado, se você fosse extremamente rico, uma casa a mais não afetaria em mesma magnitude sua felicidade. Se você concorda com este fato, as equações acima não estão adequadas, pois ambas são lineares em R. Isto é, elas ferem o princípio que acabamos de descrever de que, quanto mais riqueza você tem – quanto melhor sua realidade – menos felicidade a riqueza adicional te proporciona. A função número 2 também fere o mesmo princípio para as expectativas, pois implica que um aumento de expectativas tem sempre o mesmo impacto (negativo) sobre a felicidade.

A função 1 é um tanto peculiar em outros aspectos. Em primeiro lugar, note que para ela fazer sentido temos que ter E \in (0, \infty) e R \in (0, \infty) e isto nunca é explicitado nos memes do Facebook. Além de o ponto zero causar uma descontinuidade, veja que se permitirmos E negativo junto a um R positivo (ou vice-versa), isto feriria o senso-comum de que quanto pior a expectativa frente à realidade, mais feliz a pessoa é. Além disso, a derivada de 1) em relação a E é igual a \partial F/\partial E = -R/E^2 – isso significa que a desutilidade da expectativa depende da realidade. Mais especificamente, quanto melhor a realidade, pior o impacto de um aumento de expectativa. Suponha que você tinha uma expectativa de ganhar uma oferta de salário de R$1.000,00 e, por algum motivo, esta expectativa aumenta para R$2.000,00. Quanta tristeza este aumento de expectativa pode gerar? Se a realidade for uma proposta de R$500,00, nossa fórmula diz que a sua mudança de expectativa reduziu sua felicidade em 0.25. Já se a realidade for uma proposta de R$800,00, a equação diz que sua mudança de expectativa reduziu sua felicidade em maior magnitude, 0.4. Isto te parece plausível? Para mim, não.

Deste modo, essas equações de internet são falaciosas e você deveria parar de compartilhar os memes que as contém. Mas, reconheço, essa recomendação será inócua sem uma fórmula nova que substitua as que rejeitamos. Assim, proponho uma, conforme abaixo. Deixo para o leitor o escrutínio da sugestão.

F = Ln(R) - Ln(E), E \in (0, \infty), R \in (0, \infty)

E já vem com o mene pronto.

or85s

De antemão peço desculpas aos meus co-autores por ter perdido tempo nisso, mas as vezes a vontade de procrastinar fala mais alto.

Bicicletas aumentam em 30% a permanência de meninas na escola, na Índia.


Foi o que encontraram os pesquisadores Karthik Muralidharan e Nishith Prakash. A bicicleta afeta principalmente as meninas que vivem entre 5 a 10 Km da escola. Isto mostra: (i) como pequenas distâncias, isto é, pequenos custos, podem ter efeito substancial em algo tão importante no longo prazo como a educação; mas, também, que (ii) esses obstáculos podem ser, muitas vezes, resolvidos com medidas bastante simples.

Veja, abaixo, o vídeo dos pesquisadores:

Via Mankiw.

Solucionando crimes com matemática e estatística


Enquanto Breaking Bad não volta, comecei a assistir ao seriado Numb3rs, cujo enredo trata do uso da matemática e da estatística na solução de crimes. Confesso que, a princípio, estava receoso. Na maior parte das vezes, filmes e seriados que tratam desses temas costumam, ou mistificar a matemática, ou conter erros crassos.

Todavia, o primeiro episódio da série abordou uma equação para tentar identificar a provável residência de um criminoso, sendo que: (i) os diálogos dos personagens e as explicações faziam sentido; e, algo mais surpreendente, (ii) as equações de background, apesar de não explicadas, pareciam fazer sentido. Desconfiei. Será que era baseado em um caso real?

E era. Bastou pesquisar um pouco no Google para encontrar a história do policial que virou criminologista, Kim Rossmo, em que o episódio foi baseado. E inclusive, encontrar também um livro para leigos, de leitura agradável, que aborda alguns dos temas de matemática por trás do seriado: The Numbers behind Numb3rs.

A primeira equação que Rossmo criou tinha a seguinte cara:

rossmo

A intuição por trás da equação pode ser resumida desta forma: o criminoso não gosta de cometer crimes perto da própria residência, pois isso tornaria muito fácil sua identificação; assim, dentro de uma certa zona B, a probabilidade de o criminoso residir em um certo local é menor quanto mais próximo este estiver do crime (esse é o segundo termo da equação). Entretanto, a partir de certo ponto, começa a ser custoso ao criminoso ir mais longe para cometer o crime – assim, a partir dali, a situação se inverte, e locais longe do crime passam a ser menos prováveis (esse é o primeiro termo da equação). Em outras palavras, você tenta calcular a probabilidade de um criminoso morar na coordenada (Xi , Xj), com base na distância desta com as demais coordenadas dos crimes (xn, yn), levando em conta o fato de a residência estar ou não em B. Os parâmetros da equação são estimados de modo a otimizar o modelo com base nos dados de casos passados.

Por mais simples que seja, a equação funcionou muito bem e Kim Rossmo prosseguiu com seus estudos em criminologia. Evidentemente que, como em qualquer modelo, há casos em que a equação falha miseravelmente, como em situações em que os criminosos mudam de residência o tempo inteiro – mas isso não é um problema da equação em si, pois o trabalho de quem a utiliza é justamente identificar se a situação é, ou não, adequada para tanto. Acho que este exemplo ilustra muito bem como sacadas simples e bem aplicadas podem ser muito poderosas!

PS: O tema me interessou bastante e o livro de Rossmo, Geographic Profiling, entrou para a (crescente) wishlist da Amazon.

Um economista termina com a namorada


Uma aplicação prática – e hilária – da maximização de utilidade. Tive que traduzir alguns trechos:

Os cálculos são bastante simples. Neste ponto da minha vida, o custo de oportunidade de sair com você é bastante elevado. Sexo com você me concede 17 unidades de prazer, mas eu derivo unidades negativas de prazer com a conchinha que vem logo depois [...] eu também perco unidades de prazer quando você faz essa coisa estranha com as mãos que você acha que é algo carinhoso, mas parece que você está me arranhando [...] enquanto isso, eu poderia estar fazendo muitas outras coisas em vez de gastar tempo com você. Por exemplo, eu poderia estar bebendo no bar irlandês com um grupo de amigos do trabalho. Eu derivo entre 20 e 28 unidades de prazer dando em cima de mulheres bêbadas e safadas no bar. [...] no entanto, a maioria dessas mulheres não ri das minhas piadas, o que impulsiona para baixo as unidades de prazer adquiridas. Assim, eu consigo obter entre 14 e 21 unidades de prazer em uma noite no bar. [....] como todos os seres humanos, sei que sou falível e, já que tenho uma tendência natural para descontar indevidamente o futuro, fiz questão de determinar com precisão o valor presente dos custos e benefícios. Mas, mesmo considerando os retornos marginais decrescentes de dar em cima das mulheres bêbadas e safadas supracitadas, os números simplesmente não querem que fiquemos juntos.

Via Mankiw.