Paixão por Dados

Mapeando a abertura de escolas municipais em São Paulo ao longo dos anos com um GIF

Mon, 14 May 2018 00:00:00 +0000

Pessoas adoram mapas. Sempre que puder fazer mapas para representar visualmente uma determinada informação, faça!

Suponha que você deseja fazer uma visualização da taxa de homicídio por estados brasileiros. Nada te impede de fazer um gráfico de barras, onde cada UF seria representado por uma barra cujo tamanho seria dependente do valor da taxa, mas teria um impacto visual menor em que cada estado estaria colorido de acordo com essa variável.

Contudo, em algumas situações, um mapa é a única maneira possível de transmitir com clareza uma ideia. Esta é a ideia deste post: mostrar como um mapa pode ser útil para mostrar a evolução das abertudas de escolas municipais na cidade de São Paulo.

Coleta e limpeza dos dados

Eu já tive a oportunidade de participar de uma palestra do pessoal da Secretaria Municipal de Educação de São Paulo, onde conheci suas iniciativas de dados abertos. Esses projetos são benéficos não só para a população como um todo, por toda a questão da transparência, mas especialmente para quem deseja desenvolver projetos para praticar análise de dados, ganhando assim experiência real para lidar com tarefas de limpeza, manuseio e visualização de dados.

O dataset de interesse deste post é o Cadastro de escolas municipais, conveniadas e privadas.

# pacotes
library(tidyverse)
library(ggmap)
library(gganimate)
library(lubridate)

# definir locale para lidar com caracteres especiais
lcl <- locale(encoding = "ISO-8859-1")
df <- read_csv2("/home/sillas/R/Projetos/paixaopordados-blogdown/data/escolasr34dez2017.csv",
                locale = lcl)

# dimensoes do dataset
dim(df)

## [1] 6878   53

O dataset possui 53 colunas, mas só precisamos de realmente 3: as colunas de coordenadas geográficas e a de data de fundação das escolas.

df <- df %>% 
  select(DATA = DT_CRIACAO, LAT = LATITUDE, LON = LONGITUDE)

knitr::kable(head(df))

DATA	LAT	LON
13-jun-88	-23553905	-46398452
04-jul-88	-23489728	-46670198
05-jul-88	-23478312	-46427344
27-mai-88	-23612237	-46749888
22-jun-88	-23486142	-46733901
07-jun-88	-23611929	-46750176

O output acima revela a necessidade de alguns ajustes de limpeza: converter a coluna DATA para a classe Date e dividir as colunas de latitude e longitude por um milhão para obter os valores corretos.

A transformação da coluna DATA poderia ser feita por funções automáticas, como a strptime, mas isso dependeria de algumas configurações internas do seu sistema operacional. Por isso, eu uso uma solução mais manual:

converter_mes <- function(x){
  nomes <- c("jan", "fev", "mar", "abr", "mai", "jun",
             "jul", "ago", "set", "out", "nov", "dez")
  
  numeros <- str_pad(1:12, width = 2, pad = "0")
  
  x <- str_replace_all(x, nomes[1], numeros[1])
  x <- str_replace_all(x, nomes[2], numeros[2])
  x <- str_replace_all(x, nomes[3], numeros[3])
  x <- str_replace_all(x, nomes[4], numeros[4])
  x <- str_replace_all(x, nomes[5], numeros[5])
  x <- str_replace_all(x, nomes[6], numeros[6])
  x <- str_replace_all(x, nomes[7], numeros[7])
  x <- str_replace_all(x, nomes[8], numeros[8])
  x <- str_replace_all(x, nomes[9], numeros[9])
  x <- str_replace_all(x, nomes[10], numeros[10])
  x <- str_replace_all(x, nomes[11], numeros[11])
  x <- str_replace_all(x, nomes[12], numeros[12])
  
  x
  
}

Escrita a função, passo para a transformação das colunas:

df <- df %>% 
  mutate(DATA_CLEAN = dmy(converter_mes(DATA)),
         LAT = LAT/1e6,
         LON = LON/1e6
         ) %>% 
  mutate(ANO = year(DATA_CLEAN)) %>% 
  # remover linhas onde LAT ou LON é NA
  na.omit()

summary(df)

##      DATA                LAT              LON           DATA_CLEAN        
##  Length:4576        Min.   :-23.89   Min.   :-47.05   Min.   :1969-01-30  
##  Class :character   1st Qu.:-23.63   1st Qu.:-46.71   1st Qu.:2004-10-24  
##  Mode  :character   Median :-23.57   Median :-46.63   Median :2011-10-23  
##                     Mean   :-23.57   Mean   :-46.60   Mean   :2008-10-17  
##                     3rd Qu.:-23.51   3rd Qu.:-46.48   3rd Qu.:2015-05-08  
##                     Max.   :-22.89   Max.   :-46.37   Max.   :2068-12-12  
##       ANO      
##  Min.   :1969  
##  1st Qu.:2004  
##  Median :2011  
##  Mean   :2008  
##  3rd Qu.:2015  
##  Max.   :2068

Surgiu um novo erro: a coluna ANO possui valores acima do ano atual (2018). Isso provavelmente foi causado na conversão de datas como 30/08/68, que o R retornou 2068 ao invés de 1968. Sinceramente, não parei para investigar o motivo disso, até porque é facilmente consertado:

df <- df %>% 
  mutate(ANO = if_else(ANO > year(today()), ANO - 100, ANO))

Apresentação dos dados

Primeiramente, qual a distribuição da abertura de novas escolas por ano?

df %>% 
  count(ANO) %>% 
  ggplot(aes(x = ANO, y = n)) + 
  geom_col(fill = "darkorange1") + 
  theme_minimal() +
  labs(x = NULL, y = NULL,
       title = "Quantidade de escolas fundadas por ano em São Paulo") +
  scale_x_continuous(breaks = scales::pretty_breaks(n = 10))

A grande maioria das escolas foi criada a partir do ano de 2005. Confesso que esperava uma distribuição mais uniforme.

Criando o mapa

Existem diversas maneiras de criar um mapa no R. O melhor método depende basicamente do tipo de dados que se tem em mãos. Caso seja necessário, por exemplo, plotar polígonos, áreas e fronteiras, o indicado é o combo do pacote sf e da função ggplot2::geom_sf. No nosso caso, como estamos interessados em plotar pontos e já possuímos os dados das coordenadas geográficas, uma das melhores opções é usar o pacote ggmap.

Para criar um mapa, são necessários dois parâmetros iniciais: um ponto central e um nível de zoom, que define a escala do gráfico.

# para o centro de sp, usei as coordenadas da praca da se, que peguei no google maps
praca_se <- c(lon = -46.634123, lat = -23.548408)
# o zoom é calculado pela funcao calc_zoom do ggmap
zoom_sp <- calc_zoom(lon = LON, lat = LAT, data = df)

Apenas com esses dois parâmetros, já é possível plotar um mapa base:

mapa_sp <- get_map(location = praca_se,
                   zoom = zoom_sp,
                   maptype = "toner-lite")

ggmap(mapa_sp) +
  # plotar praça da sé
  geom_point(x = praca_se[1], y = praca_se[2], color = "red")

Vamos então adicionar um pouco de vida ao gráfico e plotar todas as escolas presentes no dataset:

ggmap(mapa_sp) +
  geom_point(data = df, aes(x = LON, y = LAT),
             color = "red", alpha = 0.1)

Aparantemente existe uma concentração de escolas perto, entre outras, da área de Itaquaquecetuba. Uma maneira de visualizar densidade de pontos é por meio do geom_density2d:

ggmap(mapa_sp) +
  geom_density2d(data = df, aes(x = LON, y = LAT),
                 color = "red")

Acrescentando o elemento tempo no mapa

Ainda não mostrei como representar o fator tempo na visualização. Penso que isto pode ser feito de três maneiras: colorir as escolas de acordo com o ano de fundação, separar o gráfico em facets por ano ou, minha preferida, criar um gif composto por uma série de gráficos sobrepostos. Fazer isso é muito fácil com o auxílio do pacote gganimate:

Para criar uma sobreposição de gráficos ggplot com o pacote gganimate, basta setar a aesthetic especial frame com o nome da variável que você deseja usar para separar os gráficos em unidades individuais. O argumento cumulative é usado para que as escolas de anos mais recentes permaneçam no gráfico ao longo dos anos:

p <- ggmap(mapa_sp) +
  geom_point(data = df,
             aes(x = LON, y = LAT, frame = ANO,
                 cumulative  = TRUE), color = "red", alpha = 0.1) + 
  labs(x = NULL, y = NULL, title = "Escolas em São Paulo em ")

# o argumento interval define o intervalo de transição do gif em segundos
gganimate(p = p, interval = .075)

Taí! Com o auxílio do gráfico, é possível perceber (pelo menos foi o que vi, vai que é uma miragem) que, de acordo com o dataset, nas primeiras décadas foram priorizadas as áreas mais periféricas de São Paulo. A região mais central aparenta ter recebido mais escolas apenas a partir das últimas duas décadas.

Como usar o R para escolher um lugar para morar (4) - Mapa interativo

Fri, 18 Nov 2016 00:00:00 +0000

No post anterior da série, mostrei como fazer um gráfico em um mapa a partir das coordenadas geográficas dos imóveis. Neste post, a grande sacada da série: um mapa interativo em que é possível visualizar diversas dimensões de cada um dos apartamentos, como o preço do aluguel, a proximidade em relação a um ponto de interesse, etc.

Dessa vez, vou usar o data frame que contem todos os apartamentos listados no OLX que eu não mostrei (exatamente) como obter e nem posso compartilhar em respeito ao OLX.

library(magrittr)
library(dplyr)
library(leaflet)
library(stringr)
library(RColorBrewer)

# carregar arquivo com apartamentos
df.apt <- read.csv2("/home/sillas/R/Projetos/olx/data/post4-df.apt.csv", stringsAsFactors = FALSE)

# carregar arquivos com coordenadas
df.coord <- read.csv2("/home/sillas/R/Projetos/olx/data/post4-coordenadas.csv", stringsAsFactors = FALSE)
head(df.coord)

##        cep
## 1 20550018
## 2 22411030
## 3 20751010
## 4 22081025
## 5 21863000
## 6 22050011
##                                                             ender_completo_cep
## 1 Rua São Francisco Xavier, 20550018, São Francisco Xavier, Rio de Janeiro, RJ
## 2                 Rua Alberto de Campos, 22411030, Ipanema, Rio de Janeiro, RJ
## 3                     Rua Silva Xavier, 20751010, Abolição, Rio de Janeiro, RJ
## 4             Rua Júlio de Castilhos, 22081025, Copacabana, Rio de Janeiro, RJ
## 5                          Avenida Brasil, 21863000, Bangu, Rio de Janeiro, RJ
## 6              Rua Domingos Ferreira, 22050011, Copacabana, Rio de Janeiro, RJ
##         lat       lon
## 1 -22.91664 -43.22569
## 2 -22.98111 -43.20309
## 3 -22.88317 -43.30166
## 4 -22.98421 -43.19162
## 5 -22.85579 -43.49151
## 6 -22.97227 -43.18664

# Juntar arquivos em um só
df.apt$cep %<>% as.character()
df.apt %<>% left_join(df.coord, by = "cep")
rm(df.coord)

Além de apartamentos, eu tenho também os dados de quartos para alugar no OLX, que apesar de eu não ter mostrado no blog o procedimento para os conseguir, ele é basicamente o mesmo do que eu mostrei para os apartamentos.

df.quartos <- read.csv2("/home/sillas/R/Projetos/olx/data/post4-quartos.csv", stringsAsFactors = FALSE)
head(df.quartos)

##                                                                                                                                                     link
## 1                                                   http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/oportunidade-no-engenho-novo-1-quarto-268551811
## 2                                                                           http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/alugo-kitnets-268550116
## 3                             http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/quarto-equipado-p-vagas-metro-s-pena-250m-todos-os-direitos-266676832
## 4 http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/quarto-para-mocas-que-trabalhem-fora-fica-no-pechincha-r-450-00-mensais-mais-1-2-da-luz-268539233
## 5                   http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/para-estudantes-moca-vaga-em-residencia-praca-saens-pena-metro-a-200m-265331246
## 6                                           http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/kitinetes-em-sepetiba-sem-fiador-nem-deposito-242529872
##                                                                                      titulo
## 1                                                     Oportunidade no Engenho Novo 1 Quarto
## 2                                                                             Alugo kitnets
## 3                         Quarto Equipado P/Vagas - Metrô S Pena (250m) - Todos os Direitos
## 4 Quarto para moças que trabalhem fora. Fica no Pechincha. R 450,00 mensais mais 1/2 da luz
## 5              Para Estudantes ( Moça) Vaga em Residência : Praça Saens Pena (Metrô a 200m)
## 6                                             Kitinetes em Sepetiba sem fiador nem depósito
##   preco         cidade        bairro      cep
## 1   750 Rio de Janeiro  Engenho Novo 20710280
## 2   500 Rio de Janeiro      Flamengo 22230040
## 3   330 Rio de Janeiro        Tijuca 20511240
## 4   450 Rio de Janeiro       Taquara 22770640
## 5   330 Rio de Janeiro        Tijuca 20511240
## 6   340 Rio de Janeiro  Campo Grande 23070180
##                                                   endereco_completo
## 1 Rua Condessa Belmonte, 20710280, Engenho Novo, Rio de Janeiro, RJ
## 2       Rua Fernando Osório, 22230040, Flamengo, Rio de Janeiro, RJ
## 3     Rua Pinto de Figueiredo, 20511240, Tijuca, Rio de Janeiro, RJ
## 4         Rua Oswaldo Lussac, 22770640, Taquara, Rio de Janeiro, RJ
## 5     Rua Pinto de Figueiredo, 20511240, Tijuca, Rio de Janeiro, RJ
## 6             Rua Tapes, 23070180, Campo Grande, Rio de Janeiro, RJ
##         lat       lon
## 1 -22.90869 -43.27106
## 2 -22.93636 -43.17645
## 3 -22.92492 -43.23611
## 4 -22.93931 -43.36200
## 5 -22.92492 -43.23611
## 6 -22.90321 -43.57095

Já temos tudo o que precisamos para plotar os apartamentos em um mapa. Isso é feito muito facilmente com o pacote leaflet. Eu comento abaixo o passo-a-passo do código para plotar o mapa.

# Remover os apartamentos sem coordenadas
df.apt %<>% filter(!is.na(lat))
df.quartos %<>% filter(!is.na(lat))
# Para distinguir os apartamentos no mapa pelo preço, usamos a função colorBin para criar intervalos de cores
# Qual seria um bom intervalo?
aluguel <- c(df.apt$preco, df.quartos$preco)
aluguel %<>% na.omit()
quantile(aluguel, seq(0, 1,  0.05))

##         0%         5%        10%        15%        20%        25% 
##        1.0      450.0      580.0      700.0      780.0      850.0 
##        30%        35%        40%        45%        50%        55% 
##      936.0     1000.0     1100.0     1200.0     1300.0     1495.4 
##        60%        65%        70%        75%        80%        85% 
##     1600.0     1799.3     1950.0     2100.0     2400.0     2700.0 
##        90%        95%       100% 
##     3200.0     4498.9 21750000.0

# 90% dos preços estão abaixo de R$3200
intervalo <- seq(0, 3200, 400)
# criar palette para colorir os pontos no mapa: verde significa aluguel baixo, vermelho aluguel caro
palette_rev <- rev(brewer.pal(length(intervalo), "RdYlGn"))

# O vetor de cores é criado com a função colorBin
vetorCoresApt <- colorBin(palette_rev, domain = df.apt$preco, bins = intervalo, na.color = "black")
vetorCoresQuarto <- colorBin(palette_rev, domain = df.quartos$preco, bins = intervalo, na.color = "black")

# Criar função para exibir texto ao clicar em um imóvel
html_link <- function(link) paste0('<a href="', link, '">Link</a>')

textoPopup <- function(data, tipo) {
  # tipo = quarto ou Apartamento
  if (!tipo %in% c("apartamento", "quarto")) stop("Input errado.")
   x = paste0(
     "Tipo do imóvel: ", tipo, "<br>",
     "Url: ", html_link(data$link), "<br>",
     "Título: ", data$titulo, "<br>",
     "Preço: R$", data$preco, "<br>"
     )
   
   if (tipo == "apartamento") {
     x = paste0(
       x,
       "Condomínio: R$", data$taxa_condominio, "<br>",
       "Quartos: ", data$qtd_quarto, "<br>",
       "Área (m²): ", data$area_condominio, "<br>",
       "Garagem: ", data$garagem, "<br>"
     )
   }
   return(x)
}

# adicionar ruído aleatório para fazer com que pontos em uma mesma rua se dispersem
set.seed(123)
jit <- 40
df.apt$lat <- jitter(df.apt$lat, jit)
df.apt$lon <- jitter(df.apt$lon, jit) 

df.quartos$lat %<>% jitter(jit)
df.quartos$lon %<>% jitter(jit)

 # iniciar objeto leaflet


map <- leaflet() %>%
  addTiles() %>%
  addProviderTiles("OpenStreetMap.BlackAndWhite") %>%
  # coordenadas de um ponto em específico para exemplo
  addMarkers(lng = -43.183447, lat = -22.913912) %>% 
  # plotar apartamentos
  addCircleMarkers(data = df.apt,
                   lng = ~lon, lat = ~lat,
                   color = ~vetorCoresApt(preco),
                   opacity = 1.5,
                   popup = textoPopup(df.apt, "apartamento"),
                   # Definir nome do grupo para ser usado na camada
                   group = "Apartamentos") %>%
  # plotar quartos
  addCircleMarkers(data = df.quartos,
                   lng = ~lon, lat = ~lat,
                   color = ~vetorCoresQuarto(preco),
                   opacity = 1.5,
                   popup = textoPopup(df.quartos, "quarto"),
                   group = "Quartos") %>%
  addLayersControl(
    overlayGroups = c("Apartamentos", "Quartos"),
    options = layersControlOptions(collapsed = FALSE)
  ) %>%
  addLegend(pal = vetorCoresApt, values = df.apt$preco)

Clique na imagem abaixo para abrir o produto final:

http://i.imgur.com/dDpeckS.png