Paixão por Dados

Como usar o R para escolher um lugar para morar (4) - Mapa interativo

Fri, 18 Nov 2016 00:00:00 +0000

No post anterior da série, mostrei como fazer um gráfico em um mapa a partir das coordenadas geográficas dos imóveis. Neste post, a grande sacada da série: um mapa interativo em que é possível visualizar diversas dimensões de cada um dos apartamentos, como o preço do aluguel, a proximidade em relação a um ponto de interesse, etc.

Dessa vez, vou usar o data frame que contem todos os apartamentos listados no OLX que eu não mostrei (exatamente) como obter e nem posso compartilhar em respeito ao OLX.

library(magrittr)
library(dplyr)
library(leaflet)
library(stringr)
library(RColorBrewer)

# carregar arquivo com apartamentos
df.apt <- read.csv2("/home/sillas/R/Projetos/olx/data/post4-df.apt.csv", stringsAsFactors = FALSE)

# carregar arquivos com coordenadas
df.coord <- read.csv2("/home/sillas/R/Projetos/olx/data/post4-coordenadas.csv", stringsAsFactors = FALSE)
head(df.coord)

##        cep
## 1 20550018
## 2 22411030
## 3 20751010
## 4 22081025
## 5 21863000
## 6 22050011
##                                                             ender_completo_cep
## 1 Rua São Francisco Xavier, 20550018, São Francisco Xavier, Rio de Janeiro, RJ
## 2                 Rua Alberto de Campos, 22411030, Ipanema, Rio de Janeiro, RJ
## 3                     Rua Silva Xavier, 20751010, Abolição, Rio de Janeiro, RJ
## 4             Rua Júlio de Castilhos, 22081025, Copacabana, Rio de Janeiro, RJ
## 5                          Avenida Brasil, 21863000, Bangu, Rio de Janeiro, RJ
## 6              Rua Domingos Ferreira, 22050011, Copacabana, Rio de Janeiro, RJ
##         lat       lon
## 1 -22.91664 -43.22569
## 2 -22.98111 -43.20309
## 3 -22.88317 -43.30166
## 4 -22.98421 -43.19162
## 5 -22.85579 -43.49151
## 6 -22.97227 -43.18664

# Juntar arquivos em um só
df.apt$cep %<>% as.character()
df.apt %<>% left_join(df.coord, by = "cep")
rm(df.coord)

Além de apartamentos, eu tenho também os dados de quartos para alugar no OLX, que apesar de eu não ter mostrado no blog o procedimento para os conseguir, ele é basicamente o mesmo do que eu mostrei para os apartamentos.

df.quartos <- read.csv2("/home/sillas/R/Projetos/olx/data/post4-quartos.csv", stringsAsFactors = FALSE)
head(df.quartos)

##                                                                                                                                                     link
## 1                                                   http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/oportunidade-no-engenho-novo-1-quarto-268551811
## 2                                                                           http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/alugo-kitnets-268550116
## 3                             http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/quarto-equipado-p-vagas-metro-s-pena-250m-todos-os-direitos-266676832
## 4 http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/quarto-para-mocas-que-trabalhem-fora-fica-no-pechincha-r-450-00-mensais-mais-1-2-da-luz-268539233
## 5                   http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/para-estudantes-moca-vaga-em-residencia-praca-saens-pena-metro-a-200m-265331246
## 6                                           http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/kitinetes-em-sepetiba-sem-fiador-nem-deposito-242529872
##                                                                                      titulo
## 1                                                     Oportunidade no Engenho Novo 1 Quarto
## 2                                                                             Alugo kitnets
## 3                         Quarto Equipado P/Vagas - Metrô S Pena (250m) - Todos os Direitos
## 4 Quarto para moças que trabalhem fora. Fica no Pechincha. R 450,00 mensais mais 1/2 da luz
## 5              Para Estudantes ( Moça) Vaga em Residência : Praça Saens Pena (Metrô a 200m)
## 6                                             Kitinetes em Sepetiba sem fiador nem depósito
##   preco         cidade        bairro      cep
## 1   750 Rio de Janeiro  Engenho Novo 20710280
## 2   500 Rio de Janeiro      Flamengo 22230040
## 3   330 Rio de Janeiro        Tijuca 20511240
## 4   450 Rio de Janeiro       Taquara 22770640
## 5   330 Rio de Janeiro        Tijuca 20511240
## 6   340 Rio de Janeiro  Campo Grande 23070180
##                                                   endereco_completo
## 1 Rua Condessa Belmonte, 20710280, Engenho Novo, Rio de Janeiro, RJ
## 2       Rua Fernando Osório, 22230040, Flamengo, Rio de Janeiro, RJ
## 3     Rua Pinto de Figueiredo, 20511240, Tijuca, Rio de Janeiro, RJ
## 4         Rua Oswaldo Lussac, 22770640, Taquara, Rio de Janeiro, RJ
## 5     Rua Pinto de Figueiredo, 20511240, Tijuca, Rio de Janeiro, RJ
## 6             Rua Tapes, 23070180, Campo Grande, Rio de Janeiro, RJ
##         lat       lon
## 1 -22.90869 -43.27106
## 2 -22.93636 -43.17645
## 3 -22.92492 -43.23611
## 4 -22.93931 -43.36200
## 5 -22.92492 -43.23611
## 6 -22.90321 -43.57095

Já temos tudo o que precisamos para plotar os apartamentos em um mapa. Isso é feito muito facilmente com o pacote leaflet. Eu comento abaixo o passo-a-passo do código para plotar o mapa.

# Remover os apartamentos sem coordenadas
df.apt %<>% filter(!is.na(lat))
df.quartos %<>% filter(!is.na(lat))
# Para distinguir os apartamentos no mapa pelo preço, usamos a função colorBin para criar intervalos de cores
# Qual seria um bom intervalo?
aluguel <- c(df.apt$preco, df.quartos$preco)
aluguel %<>% na.omit()
quantile(aluguel, seq(0, 1,  0.05))

##         0%         5%        10%        15%        20%        25% 
##        1.0      450.0      580.0      700.0      780.0      850.0 
##        30%        35%        40%        45%        50%        55% 
##      936.0     1000.0     1100.0     1200.0     1300.0     1495.4 
##        60%        65%        70%        75%        80%        85% 
##     1600.0     1799.3     1950.0     2100.0     2400.0     2700.0 
##        90%        95%       100% 
##     3200.0     4498.9 21750000.0

# 90% dos preços estão abaixo de R$3200
intervalo <- seq(0, 3200, 400)
# criar palette para colorir os pontos no mapa: verde significa aluguel baixo, vermelho aluguel caro
palette_rev <- rev(brewer.pal(length(intervalo), "RdYlGn"))

# O vetor de cores é criado com a função colorBin
vetorCoresApt <- colorBin(palette_rev, domain = df.apt$preco, bins = intervalo, na.color = "black")
vetorCoresQuarto <- colorBin(palette_rev, domain = df.quartos$preco, bins = intervalo, na.color = "black")

# Criar função para exibir texto ao clicar em um imóvel
html_link <- function(link) paste0('<a href="', link, '">Link</a>')

textoPopup <- function(data, tipo) {
  # tipo = quarto ou Apartamento
  if (!tipo %in% c("apartamento", "quarto")) stop("Input errado.")
   x = paste0(
     "Tipo do imóvel: ", tipo, "<br>",
     "Url: ", html_link(data$link), "<br>",
     "Título: ", data$titulo, "<br>",
     "Preço: R$", data$preco, "<br>"
     )
   
   if (tipo == "apartamento") {
     x = paste0(
       x,
       "Condomínio: R$", data$taxa_condominio, "<br>",
       "Quartos: ", data$qtd_quarto, "<br>",
       "Área (m²): ", data$area_condominio, "<br>",
       "Garagem: ", data$garagem, "<br>"
     )
   }
   return(x)
}

# adicionar ruído aleatório para fazer com que pontos em uma mesma rua se dispersem
set.seed(123)
jit <- 40
df.apt$lat <- jitter(df.apt$lat, jit)
df.apt$lon <- jitter(df.apt$lon, jit) 

df.quartos$lat %<>% jitter(jit)
df.quartos$lon %<>% jitter(jit)

 # iniciar objeto leaflet


map <- leaflet() %>%
  addTiles() %>%
  addProviderTiles("OpenStreetMap.BlackAndWhite") %>%
  # coordenadas de um ponto em específico para exemplo
  addMarkers(lng = -43.183447, lat = -22.913912) %>% 
  # plotar apartamentos
  addCircleMarkers(data = df.apt,
                   lng = ~lon, lat = ~lat,
                   color = ~vetorCoresApt(preco),
                   opacity = 1.5,
                   popup = textoPopup(df.apt, "apartamento"),
                   # Definir nome do grupo para ser usado na camada
                   group = "Apartamentos") %>%
  # plotar quartos
  addCircleMarkers(data = df.quartos,
                   lng = ~lon, lat = ~lat,
                   color = ~vetorCoresQuarto(preco),
                   opacity = 1.5,
                   popup = textoPopup(df.quartos, "quarto"),
                   group = "Quartos") %>%
  addLayersControl(
    overlayGroups = c("Apartamentos", "Quartos"),
    options = layersControlOptions(collapsed = FALSE)
  ) %>%
  addLegend(pal = vetorCoresApt, values = df.apt$preco)

Clique na imagem abaixo para abrir o produto final:

http://i.imgur.com/dDpeckS.png

Como usar o R para escolher um lugar para morar (2) - Análise dos dados

Thu, 17 Nov 2016 00:00:00 +0000

No post anterior, mostramos como obter os dados de apartamentos para aluguel no Rio de Janeiro do site do OLX. Neste post, vamos analisar esses dados e ver se descobrimos algo interessante. Algumas das perguntas que podemos responder com os dados que temos são:

Quais as principais diferenças entre os apartamentos nas cidades do Rio de Janeiro e Niterói?
Quantos quartos os apartamentos têm em média?
Quais os bairros com os aluguéis mais caros?
A oferta de apartamentos de um bairro influencia o preço médio do aluguel?
Existe relação entre o preço do aluguel de um imóvel e outras variáveis, como a taxa de condomínio?

Ressalto que no post anterior eu mostrei como obter dados de uma amostra de 50 apartamentos (os da primeira página). Aqui, eu estou usando os dados de todos os apartamentos (mais de 10000) do site do OLX que eu não posso disponibilizar por motivos legais (já que eles pertencem ao OLX, que é uma empresa privada).

library(magrittr) # não vivo sem esse pacote
library(tidyr) # data cleaning
library(dplyr) # data cleaning
library(ggplot2) # graficos
library(RColorBrewer)
library(stringr)
library(plotly)
azul = "#01a2d9" # definir cor para usar nos gráficos
devtools::source_gist("ae62d57836c37ebff4a5f7a8dc32eeb7", filename = "meu_tema.R") # carregar meu tema personalizado para gráficos no ggplot2

load("/home/sillas/R/Projetos/olx/data/post2-df_apt.rdata")
df$bairro %<>% str_trim()

Análise geral

Valor do aluguel

A melhor forma de mostrar a distribuição do preço do aluguel dos apartamentos no Rio de Janeiro é por meio de um histograma:

ggplot(df, aes(preco)) +
  geom_histogram(binwidth = 1000, fill = azul) +
  meu_tema() +
  labs(x = "Aluguel (R$)", y = "Quantidade de apartamentos")

O histograma acima ficou muito distorcido devido à presença de alguns imóveis cujo valor do aluguel chega a mais de R$1.500.000. É necessário, portanto, remover as anomalias do dataset. Como existem apenas 34 imóveis (menos de 1% do total) cujo aluguel é superior a R$20000, decidi usar esse valor como limite máximo para a remoção de anomalias.

df2 <- df %>% filter(preco <= 20000)

ggplot(df2, aes(preco)) +
  geom_histogram(breaks = seq(0, 20000, 500), fill = azul) +
  meu_tema() +
  scale_x_continuous(breaks  = seq(0, 20000, 1000)) +
  labs(x = "Aluguel (R$)", y = "Quantidade de apartamentos")

O histograma acima mostra que a maior parte dos apartamentos está no intervalo entre R$500,01 a R$1000,00. Contudo, aumentar o número de intervalos do histograma pode nos ajudar a encontrar conclusões ainda melhores. Veja o que encontramos ao reduzir a “espessura” de cada bloco do histograma de 500 para 100:

ggplot(df2, aes(preco)) +
  geom_histogram(breaks = seq(0, 20000, 100), fill = azul) +
  meu_tema() +
  coord_cartesian(xlim = c(0, 5000)) +
  scale_x_continuous(breaks  = seq(0, 20000, 500)) +
  labs(x = "Aluguel (R$)", y = "Quantidade de apartamentos")

Uma possível conclusão do gráfico acima é que os locadores tendem a precificar seus apartamentos em um valor “fechado” a cada R$500,00, como R$500, R$1000, R$1500, etc. Além disso, o fato de existirem mais apartamentos à esquerda de cada “pico” ao invés de à direita mostra que os proprietários preferem “arredondar” os valores para cima, nunca para baixo. Em outras palavras: a decisão sobre o preço do aluguel de um apartamento é enviesada e não segue uma lógica racional. Novamente, isso é apenas uma conclusão pessoal minha.

Para ser mais preciso, confira a quantidade numérica de apartamentos agrupados em intervalos de preço de aluguel de R$100:

df2 %>% filter(between(preco, 1900, 3100)) %>% count(cut_interval(preco, length = 100, dig.lab = 5))

## # A tibble: 12 x 2
##    `cut_interval(preco, length = 100, dig.lab = 5)`     n
##                                              <fctr> <int>
##  1                                      [1900,2000]   679
##  2                                      (2000,2100]   154
##  3                                      (2100,2200]   280
##  4                                      (2200,2300]   223
##  5                                      (2300,2400]   128
##  6                                      (2400,2500]   383
##  7                                      (2500,2600]   113
##  8                                      (2600,2700]    97
##  9                                      (2700,2800]   143
## 10                                      (2800,2900]    82
## 11                                      (2900,3000]   246
## 12                                      (3000,3100]    21

Temos, por exemplo, que existe um brusco aumento na quantidade de apartamentos no intervalo entre R$2301 a R$2400 e R$2401 a R$2500 e uma brusca redução entre este último intervalo e o seguinte (R$2501 a R$2600.)

Área do condomínio

De forma semelhante ao preço do aluguel, vamos analisar a distribuição das áreas dos condomínios por meio de um histograma.

ggplot(df2, aes(x = area_condominio)) +
  geom_histogram(fill = azul) +
  meu_tema() +
  labs(x = "Área do condomínio (m²)", y = NULL)

df2 %>% filter(area_condominio > 7000)

##                                                                                            link
## 1 http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/alugo-apartamento-campo-grande-254728943
## 2                 http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/locacao-tijuca-209451015
##                            titulo preco         cidade       bairro
## 1 Alugo Apartamento- Campo Grande   850 Rio de Janeiro Campo Grande
## 2                  Locação Tijuca  3800 Rio de Janeiro     Maracanã
##                                            adicional tem_quarto tem_area
## 1           2 quarto | 57150 m² | Condomínio: RS 100       TRUE     TRUE
## 2  3 quarto | 9438 m² | Condomínio: RS 0000 | 1 vaga       TRUE     TRUE
##   tem_taxa tem_garagem qtd_quarto taxa_condominio area_condominio      cep
## 1     TRUE       FALSE          2             100            7150 23080300
## 2     TRUE        TRUE          3               0            9438 20271063
##   garagem
## 1      NA
## 2       1

Novamente, o gráfico foi distorcido devido à presença de anomalias. Existe até apartamento cuja área informada é de mais de 57 mil m²! Precisamos, novamente, remover essas anomalias dos nossos dados, mas qual seria um bom valor para o limite máximo da área? Podemos responder a essa pergunta analisando os percentis:

quantile(df2$area_condominio, seq(0, 1, 0.01), na.rm = TRUE)

##      0%      1%      2%      3%      4%      5%      6%      7%      8% 
##    1.00   18.00   22.00   25.00   26.36   29.00   30.00   30.00   31.00 
##      9%     10%     11%     12%     13%     14%     15%     16%     17% 
##   34.00   35.00   36.00   40.00   40.00   40.00   40.00   42.00   44.00 
##     18%     19%     20%     21%     22%     23%     24%     25%     26% 
##   45.00   45.00   46.80   48.00   49.00   50.00   50.00   50.00   50.00 
##     27%     28%     29%     30%     31%     32%     33%     34%     35% 
##   50.00   50.00   52.00   53.00   55.00   55.00   55.00   56.00   57.00 
##     36%     37%     38%     39%     40%     41%     42%     43%     44% 
##   58.00   60.00   60.00   60.00   60.00   60.00   60.00   61.00   63.00 
##     45%     46%     47%     48%     49%     50%     51%     52%     53% 
##   64.00   65.00   65.00   65.00   66.00   68.00   68.00   70.00   70.00 
##     54%     55%     56%     57%     58%     59%     60%     61%     62% 
##   70.00   70.00   70.00   70.00   70.00   72.00   73.00   74.24   75.00 
##     63%     64%     65%     66%     67%     68%     69%     70%     71% 
##   75.00   76.00   78.00   79.00   80.00   80.00   80.00   80.00   80.64 
##     72%     73%     74%     75%     76%     77%     78%     79%     80% 
##   83.00   85.00   85.00   88.00   90.00   90.00   90.00   90.00   94.00 
##     81%     82%     83%     84%     85%     86%     87%     88%     89% 
##   96.00   98.00  100.00  100.00  104.00  110.00  110.00  113.00  120.00 
##     90%     91%     92%     93%     94%     95%     96%     97%     98% 
##  120.00  126.00  130.00  140.00  150.00  160.00  179.00  200.00  230.00 
##     99%    100% 
##  300.00 9438.00

Vemos que apenas 1% dos apartamentos possui área informada superior a 300m². Portanto, esse será o nosso valor máximo para definir as anomalias.

df2 %<>% filter(area_condominio <= 300)

ggplot(df2, aes(x = area_condominio)) +
  geom_histogram(breaks = seq(0, 300, 10), fill = azul) +
  meu_tema() +
  labs(x = "Área do condomínio (m²)", y = NULL) +
  scale_x_continuous(breaks = seq(0, 300, 50))

A maior parte dos condomínios têm área entre 41 a 70m².

Taxa do condomínio

De forma semelhante ao preço do aluguel, vamos analisar a distribuição das áreas dos condomínios por meio de um histograma.

limite <- max(df2$taxa_condominio, na.rm = TRUE)

ggplot(df2, aes(x = taxa_condominio)) +
  geom_histogram(breaks = seq(0, limite, 100), fill = azul) +
  meu_tema() +
  labs(x = "Taxa do condomínio (R$)", y = NULL) +
  scale_x_continuous(breaks = seq(0, limite, 500))

# Reduzindo o comprimento dos intervalos
ggplot(df2, aes(x = taxa_condominio)) +
  geom_histogram(breaks = seq(0, limite, 50), fill = azul) +
  meu_tema() +
  labs(x = "Taxa do condomínio (R$)", y = NULL) +
  scale_x_continuous(breaks = seq(0, limite, 500))

Nota-se que a taxa de condomínio apresenta o mesmo comportamento que o preço do aluguel.

Quartos

Quantos quartos têm em média os apartamentos?

ggplot(df, aes(x = qtd_quarto)) +
  geom_bar(fill = azul) +
  meu_tema() +
  labs(x = "Quartos", y = "Quantidade de apartamentos")

Análise Rio de Janeiro x Niterói

Agora, vamos analisar como diferentes variáveis diferem de acordo com a cidade. Primeiramente, quantos bairros diferentes temos no dataset?

df %>%
  group_by(cidade) %>%
  summarise(qtd_bairros = n_distinct(bairro),
            qtd_apartamentos = n())

## # A tibble: 2 x 3
##           cidade qtd_bairros qtd_apartamentos
##            <chr>       <int>            <int>
## 1        Niterói          39             1276
## 2 Rio de Janeiro         154             9804

Temos mais de 154 bairros no Rio de Janeiro, o que mostra que o OLX cobre praticamente toda a cidade.

Aluguel

Espera-se que a diferença do aluguel seja diferente para as duas cidades, correto?

ggplot(df2, aes(x = cidade, y = preco)) + 
  geom_boxplot() +
  meu_tema() +
  labs(x = NULL, y = "Aluguel (R$)")

Aparentemente, Niteroi e Rio de Janeiro possuem a mesma mediana do preço de aluguel. A quantidade de apartamentos anormalmente caros é mais comum no Rio de Janeiro. Para confirmar isso:

# utilizando o data frame inteiro e não o filtrado
df %>%
  group_by(cidade) %>%
  summarise(aluguel_mediano = median(preco, na.rm = TRUE),
            aluguel_medio = mean(preco, na.rm = TRUE))

## # A tibble: 2 x 3
##           cidade aluguel_mediano aluguel_medio
##            <chr>           <dbl>         <dbl>
## 1        Niterói            1500      2513.048
## 2 Rio de Janeiro            1500      2864.210

Muito surpreendetemente, Rio de Janeiro e Niterói apresentam exatamente o mesmo aluguel mediano. A existência de muitas anomalias no Rio de Janeiro fazem com que ela apresente um aluguel médio cerca de R$300 maior que Niterói. Será que essa diferença é estatisticamente significante?

aov(preco ~ cidade, data = df) %>% summary()

##                Df    Sum Sq   Mean Sq F value Pr(>F)
## cidade          1 1.350e+08 135007106    0.19  0.663
## Residuals   10645 7.566e+12 710771131               
## 433 observations deleted due to missingness

O valor p é superior a 0,05, então não podemos afirmar que há uma diferença significativa nos preços de aluguel entre o Rio de Janeiro e Niterói.

Quartos

Em relação ao número de quartos:

df2 %>%
  group_by(cidade, qtd_quarto) %>%
  #summarise(n = n()) %>%
  ggplot(aes(x = qtd_quarto, fill = cidade)) +
    geom_bar(position = "fill") +
    meu_tema() +
    scale_y_continuous(breaks = seq(0, 1, 0.1)) +
    labs(x = "Quartos", y = "Porcentual", fill = NULL) +
    theme(legend.position = "bottom")

df2 %>%
  filter(tem_quarto) %>%
  group_by(cidade, qtd_quarto) %>%
  #summarise(n = n()) %>%
  ggplot(aes(fill = as.character(qtd_quarto), x = cidade)) +
    geom_bar(position = "fill") +
    meu_tema() +
    scale_fill_manual(values = brewer.pal(5, "Reds")) +
    scale_y_continuous(breaks = seq(0, 1, 0.1)) +
    labs(x = NULL, y = "Porcentual")

Os dois gráficos acima mostram que os apartamentos para aluguel do Rio de Janeiro costumam ter menos quartos: Cerca de 30% dos imóveis da cidade possuem apenas 1 quarto. A proporção de apartamentos com 2 ou 3 quartos é maior em Niterói do que na capital do estado.

Análise de bairros do Rio de Janeiro

Para esta análise, vamos considerar apenas a cidade do Rio de Janeiro.

Quais os bairros com mais ofertas de apartamento? Quais os com os aluguéis mais caros?

df.rio <- df %>% filter(cidade == "Rio de Janeiro" & preco < 20000)


temp <- df.rio %>%
  group_by(cidade, bairro) %>%
  summarise(qtd_apt = n(),
            aluguel_mediano = median(preco, na.rm = TRUE),
            area_mediana = median(area_condominio, na.rm = TRUE)) %>%
  arrange(desc(qtd_apt)) %>%
  ungroup 

head(temp, 10)

## # A tibble: 10 x 5
##            cidade                   bairro qtd_apt aluguel_mediano
##             <chr>                    <chr>   <int>           <dbl>
##  1 Rio de Janeiro          Barra da Tijuca     928            2500
##  2 Rio de Janeiro Recreio Dos Bandeirantes     793            1800
##  3 Rio de Janeiro               Copacabana     791            2300
##  4 Rio de Janeiro             Campo Grande     379             850
##  5 Rio de Janeiro              Jacarepaguá     349            1970
##  6 Rio de Janeiro                   Centro     319            1200
##  7 Rio de Janeiro                   Tijuca     279            2000
##  8 Rio de Janeiro                 Botafogo     265            2600
##  9 Rio de Janeiro                 Flamengo     240            2500
## 10 Rio de Janeiro                  Taquara     215            1100
## # ... with 1 more variables: area_mediana <dbl>

São mais de 150 bairros, então não dá para mostrar todos em uma tabela aqui no post. Talvez uma boa forma de visualizar esses dados seja por meio de um gráfico:

y <- list(title = "Preço mediano do aluguel (R$)")
x <- list(title = "Quantidade de apts. para aluguel")


plot_ly(temp, x = ~qtd_apt, y = ~aluguel_mediano, size = ~area_mediana,
        text = ~paste("Bairro: ", bairro)) %>%
  layout(title = "Análise de apartamentos para alugar por bairro", xaxis = x, yaxis = y) -> p

Clique na imagem abaixo para conferir o gráfico interativo.

Conforme mostra o gráfico acima, não dá para dizer que existe relação entre a quantidade de apartamentos disponíveis para alugar em um bairro e o preço do aluguel.

Vamos então mostrar um boxplot com a distribuição de preço de aluguel para os 20 bairros com mais oferta de apartamentos.

temp <- df.rio %>%
  group_by(cidade, bairro) %>%
  summarise(qtd_imoveis = n(),
            aluguel_mediano = median(preco, na.rm = TRUE)) %>%
  arrange(desc(qtd_imoveis)) %>%
  ungroup %>%
  top_n(20, qtd_imoveis)

df.rio %>%
  filter(bairro %in% temp$bairro) %>%
  ggplot(aes(x = reorder(bairro, preco, FUN = median), y = preco)) +
    geom_boxplot() + geom_point(color = "blue", alpha = 5/100) +
    meu_tema(axis.text.size = 9) +
    coord_flip() +
    scale_y_continuous(breaks = seq(0, 20000, 1000)) +
    theme(legend.position = "bottom") +
    labs(x = NULL, y = "Aluguel (R$)")

Com o gráfico acima, aprendemos que:
* O aluguel mediano de um apartamento no Leblon é maior que R$4000,00. Contudo, ainda assim é possível encontrar apartamentos cujo valor é o mesmo do mediano encontrado em bairros menos ricos;
* Existem apenas três bairros (dentre os 20 mais populares) onde o preço mediano do aluguel é menor que R$1000,00;
* O bairro onde existe o maior número de anomalias é a Barra da Tijuca. Isso significa que nesse bairro, o valor mediano do aluguel não é um dado muito útil por causa da má-distribuição dos valores e da quantidade de pontos fora da curva.

Em relação à área dos apartamentos, temos:

df.rio %>%
  filter(bairro %in% temp$bairro & area_condominio < 300) %>%
  ggplot(aes(x = reorder(bairro, area_condominio, FUN = median), y = area_condominio)) +
    geom_boxplot() + geom_point(color = "blue", alpha = 5/100) +
    meu_tema(axis.text.size = 9) +
    coord_flip() +
    scale_y_continuous(breaks = seq(0, 300, 50)) +
    theme(legend.position = "bottom") +
    labs(x = NULL, y = "Aluguel (R$)")

Análise de regressão: O que determina o preço de um aluguel?

Já que temos dados tão legais em mãos, por que não levar a análise a um passo adiante e aplicar uma técnica estatística para tentar explicar o preço do aluguel de um apartamento por meio de variáveis independentes?

Para não ter a complicação de usar uma variável categórica com vários valores diferentes (bairro) em um modelo de regressão, eu construí o modelo apenas para os apartamentos do Centro do Rio de Janeiro.

temp <- df2 %>% select(preco, cidade, bairro, qtd_quarto, taxa_condominio, area_condominio)
temp %<>% filter(cidade == "Rio de Janeiro" & bairro == "Centro")



summary(temp)

##      preco         cidade             bairro            qtd_quarto   
##  Min.   :   1   Length:271         Length:271         Min.   :1.000  
##  1st Qu.:1000   Class :character   Class :character   1st Qu.:1.000  
##  Median :1200   Mode  :character   Mode  :character   Median :1.000  
##  Mean   :1376                                         Mean   :1.232  
##  3rd Qu.:1600                                         3rd Qu.:1.000  
##  Max.   :5000                                         Max.   :3.000  
##                                                                      
##  taxa_condominio  area_condominio
##  Min.   :   0.0   Min.   :  1.0  
##  1st Qu.: 300.0   1st Qu.: 30.0  
##  Median : 380.0   Median : 38.0  
##  Mean   : 384.1   Mean   : 42.3  
##  3rd Qu.: 452.0   3rd Qu.: 50.0  
##  Max.   :1500.0   Max.   :118.0  
##  NA's   :24

z <- lm(preco ~ qtd_quarto + taxa_condominio + area_condominio, data = temp)
summary(z)

## 
## Call:
## lm(formula = preco ~ qtd_quarto + taxa_condominio + area_condominio, 
##     data = temp)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1223.54  -251.40   -48.26   195.50  2010.33 
## 
## Coefficients:
##                  Estimate Std. Error t value Pr(>|t|)    
## (Intercept)     386.16410   81.99771   4.709 4.18e-06 ***
## qtd_quarto      273.17100   99.11117   2.756  0.00629 ** 
## taxa_condominio   0.02677    0.17921   0.149  0.88136    
## area_condominio  15.01647    2.49506   6.018 6.45e-09 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 439.8 on 243 degrees of freedom
##   (24 observations deleted due to missingness)
## Multiple R-squared:  0.4838, Adjusted R-squared:  0.4774 
## F-statistic:  75.9 on 3 and 243 DF,  p-value: < 2.2e-16

Alguns comentários sobre o resultado da regressão:
* O valor do R² é de 0,4838, não muito alto;
* A taxa do condomínio, surpreendentemente, não influencia grandemente o valor do aluguel.

Considerações finais

Ainda assim, não respondemos a principal pergunta desta série de posts: como escolho um lugar para morar a partir desses dados? Com as análises acima, conseguimos descobrir algumas coisas interessantes sobre o Rio de Janeiro, mas isso não nos ajuda muito a escolher um lugar para morar. Isso vai ficar para os próximos dois posts.

Como usar o R para escolher um lugar para morar (3) - Converter CEP em coordenadas geográficas

Thu, 17 Nov 2016 00:00:00 +0000

No primeiro e segundo post desta série, mostrei como obter dados de apartamentos para alugar a partir do site da OLX e analisá-los, mas ainda não temos a resposta definita para a pergunta que motivou esta série: Como o R pode ajudar a escolher um lugar para morar?

Uma boa ideia seria plotar os imóveis em um mapa, não? No terceiro post da série, mostrarei como fazer isso, além de como extrair os CEPs dos imóveis (novamente por web scraping) e converter os CEPs para endereços, que serão usados para obter as coordenadas geográficas dos apartamentos. É mostrado no final um simples gráfico feito com o pacote ggmap.

library(magrittr)
library(dplyr)
library(rvest)
library(curl)
library(readr)
library(stringr)
library(ggmap)

Extrair CEP do imóvel com web scraping

Para plotar os imóveis em um mapa, precisamos de suas coordenadas geográficas. Tais dados podem ser obtidos com a função geocode do pacote ggmap. Essa função aceita um endereço (ou parte de um) como input e retorna a latitude e a longitude. Por exemplo, para o CEP do estádio Maracanã, no Rio de Janeiro:

geocode("20271110")

Contudo, você deve se lembrar que não possuímos até o momento nenhum dado sobre o endereço dos imóveis. Vamos dar uma olhada novamente nos dados gerados no primeiro post:

df <- read.csv2("/home/sillas/R/Projetos/olx/data/post1-df-olx.csv", stringsAsFactors = FALSE)
head(df)

##                                                                                                      link
## 1        http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/excelente-quarto-e-sala-mobiliado-267207757
## 2                         http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/assuncao-450-313-238033660
## 3       http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/excelente-apartamento-no-pechincha-269066615
## 4                  http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-em-botafogo-257852884
## 5 http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apto-2-quadras-da-praia-primeira-locacao-265081945
## 6        http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/excelente-apartamento-pe-na-areia-196737787
##                                      titulo preco         cidade
## 1         Excelente quarto e sala mobiliado  1600 Rio de Janeiro
## 2                         Assunção, 450/313  2300 Rio de Janeiro
## 3        Excelente apartamento no pechincha  1100 Rio de Janeiro
## 4                   Apartamento em Botafogo  4900 Rio de Janeiro
## 5 Apto 2 quadras da praia. Primeira locação   800 Rio de Janeiro
## 6         Excelente apartamento pé na areia  2600 Rio de Janeiro
##                      bairro
## 1                    Centro
## 2                  Botafogo
## 3                 Pechincha
## 4                  Botafogo
## 5  Recreio Dos Bandeirantes
## 6                Copacabana
##                                            adicional tem_quarto tem_area
## 1              1 quarto | 40 m² | Condomínio: RS 370       TRUE     TRUE
## 2     1 quarto | 45 m² | Condomínio: RS 375 | 1 vaga       TRUE     TRUE
## 3     1 quarto | 40 m² | Condomínio: RS 480 | 1 vaga       TRUE     TRUE
## 4  4 quarto | 120 m² | Condomínio: RS 1200 | 2 vagas       TRUE     TRUE
## 5               1 quarto | 35 m² | Condomínio: RS 50       TRUE     TRUE
## 6              2 quarto | 62 m² | Condomínio: RS 950       TRUE     TRUE
##   tem_taxa tem_garagem qtd_quarto taxa_condominio area_condominio garagem
## 1     TRUE       FALSE          1             370              40      NA
## 2     TRUE        TRUE          1             375              45       1
## 3     TRUE        TRUE          1             480              40       1
## 4     TRUE        TRUE          4            1200             120       2
## 5     TRUE       FALSE          1              50              35      NA
## 6     TRUE       FALSE          2             950              62      NA

Como eu disse, não temos nenhum dado sobre a localização do imóvel - além do bairro, o que é muito pouco. Isso acontece porque a página que lista os apartamentos não informa esses dados, como se vê na imagem abaixo:

Dentro da página do imóvel, já conseguimos ter pelo menos seu CEP:

Ou seja: para extrair o CEP do imóvel, é necessário entrar em sua página! Isso aumenta a complexidade do código em n vezes porque agora teremos de fazer o scraping não de 245 páginas mas sim de mais de 10000.

Para extrair o CEP, a lógica é a mesma da mostrada no primeiro post desta série. Como vamos extrair apenas este único dado da página, vou mostrar o passo-a-passo do scraping mais detalhadamente.

Primeiramente, nós precisamos saber qual é o elemento HTML (chamado de tag) que identifica o CEP no código fonte da página. Não precisa ser expert em HTML para saber isso (eu mesmo não sei nada), basta utilizar as ferramentas do Firefox ou do Chrome para inspecionar a página e descobrir a tag do elemento desejado.

Abra esta página, clique com o botão direito no CEP e clique em Inspecionar elemento (ou algo semelhante). Será aberto um menu na parte inferior do browser com o código fonte da página. Passe o mouse nas diferentes linhas e veja os elementos que correspondem às tags do código.

Na imagem acima, veja que o CEP está dentro do bloco (não sei se é assim mesmo que isso é chamado) da localização do apartamento, cuja tag é indicada pelo string OLXad-location-map mb20px. Na verdade, após fazer alguns testes, descobri que usamos o string .OLXad-location-map para localizar a tag da localização do imóvel. Como não conheço HTML, não sei explicar o porquê disso acontecer. Web scraping tem muito de tentar diversos inputs até conseguir o resultado desejado.

Vamos usar essa informação em nosso código:

url <- "http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/excelente-quarto-e-sala-mobiliado-267207757"
mycurl <- curl(url, handle = curl::new_handle("useragent" = "Mozilla/5.0"))
url <- read_html(mycurl, encoding = "ISO8859-1")
# Localizando a tag de localização do imóvel
x <- url %>% html_nodes(".OLXad-location-map")
# Imprimir o elemento x em formato de texto:
print(x)

## {xml_nodeset (0)}

html_text(x)

## character(0)

Podemos ver que, conforme o esperado, o CEP está dentro do bloco de localização. Só isso já seria necessário para extrair o CEP, mas nós conseguimos melhorar isso para facilitar o processo de data cleaning posteriormente.

Perceba que dentro da tag OLXad-location-map mb20px, existe uma subtag p que identifica apenas o CEP do imóvel.

url %>% html_nodes(".OLXad-location-map") %>% html_nodes("p")

## {xml_nodeset (0)}

O output gerado é da classe xml_nodeset e tem três elementos: o município, o CEP e o bairro. Estamos interessados apenas no CEP, portanto:

#html_text serve para converter um objeto xml_nodeset em texto
x <- url %>% html_nodes(".OLXad-location-map") %>% html_nodes("p") %>% .[2] %>% html_text()
x

## character(0)

Agora precisamos fazer um pouco de data cleaning. É necessário apenas remover o caractere - e extrair os algarismos do string. Fazer isso é muito fácil graças ao pacote stringr.

x %<>% str_replace_all("-", "")
x

## character(0)

x %<>% parse_number()
x

## numeric(0)

Finalmente, conseguimos extrair o CEP do imóvel. Vamos então aplicar esse mesmo procedimento para os outros apartamentos do data frame. Para automatizar esse processo, criei a função extrairCEP(), que usa uma outra função chamada limparString(). Os códigos de ambas são mostrados abaixo.

# definir função para limpar strings coletadas
limparString <- function(x) {
  # x = string coletado do olx
  x %<>% str_replace_all("[\t]", "")
  x %<>% str_replace_all("[\n]", "")
  x %<>% str_replace_all("Apartamentos", "")
  x %<>% str_replace_all("Anúncio Profissional", "")
  x %<>% str_replace("-", "")
  x %<>% str_replace_all("[R$]", "")
  x %<>% str_replace_all("[.]", "")
  x %<>% str_trim()
  return(x)
}


extrairCEP <- function(url) {
  # url = url de um quarto
  mycurl <- curl(url, handle = curl::new_handle("useragent" = "Mozilla/5.0"))
  url <- read_html(mycurl, encoding = "ISO8859-1")
  #url <- read_html(url, encoding = "ISO8859-1")
  #url <- html_nodes(url, ".OLXad-location-map") deprecated
  
  # if clause para pegar casos em que o node id é diferente
  if (length(html_nodes(url, ".OLXad-location-map")) > 0) {
    url %<>% html_nodes(".OLXad-location-map")
  } else {
    url %<>% html_nodes(".OLXad-location")
  }
  
  url <- html_nodes(url, "p")
  url <- url[2]
  url <- html_text(url)
  cep <- limparString(url)
  cep <- readr::parse_number(cep)
  return(cep)
}

Para algumas páginas, a tag de identificação do bloco da localização do apartamento não é .OLXad-location-map mas sim .OLXad-location, por isso a necessidade da if clause na função extrairCEP().

Outro problema é que, em alguns casos, o CEP do imóvel não é informado, fazendo necessário usar a função tryCatch() para retornar NA em caso de erro:

system.time(ceps <- unname(sapply(df$link, function(i) tryCatch({extrairCEP(i)}, error = function(e){NA}))))

##   usuário   sistema decorrido 
##    10.968     0.360    31.447

ceps

## [[1]]
## numeric(0)
## 
## [[2]]
## numeric(0)
## 
## [[3]]
## numeric(0)
## 
## [[4]]
## numeric(0)
## 
## [[5]]
## numeric(0)
## 
## [[6]]
## numeric(0)
## 
## [[7]]
## numeric(0)
## 
## [[8]]
## numeric(0)
## 
## [[9]]
## numeric(0)
## 
## [[10]]
## numeric(0)
## 
## [[11]]
## numeric(0)
## 
## [[12]]
## numeric(0)
## 
## [[13]]
## numeric(0)
## 
## [[14]]
## numeric(0)
## 
## [[15]]
## numeric(0)
## 
## [[16]]
## numeric(0)
## 
## [[17]]
## numeric(0)
## 
## [[18]]
## numeric(0)
## 
## [[19]]
## numeric(0)
## 
## [[20]]
## numeric(0)
## 
## [[21]]
## numeric(0)
## 
## [[22]]
## [1] 22471120
## 
## [[23]]
## numeric(0)
## 
## [[24]]
## numeric(0)
## 
## [[25]]
## numeric(0)
## 
## [[26]]
## numeric(0)
## 
## [[27]]
## numeric(0)
## 
## [[28]]
## numeric(0)
## 
## [[29]]
## numeric(0)
## 
## [[30]]
## numeric(0)
## 
## [[31]]
## numeric(0)
## 
## [[32]]
## numeric(0)
## 
## [[33]]
## numeric(0)
## 
## [[34]]
## numeric(0)
## 
## [[35]]
## numeric(0)
## 
## [[36]]
## numeric(0)
## 
## [[37]]
## numeric(0)
## 
## [[38]]
## numeric(0)
## 
## [[39]]
## numeric(0)
## 
## [[40]]
## numeric(0)
## 
## [[41]]
## numeric(0)
## 
## [[42]]
## numeric(0)
## 
## [[43]]
## numeric(0)
## 
## [[44]]
## numeric(0)
## 
## [[45]]
## numeric(0)
## 
## [[46]]
## numeric(0)
## 
## [[47]]
## numeric(0)

# incorporar ao data frame
df$cep <- ceps

Obter endereço a partir do CEP

Como eu mostrei no início do post, seria possível conseguir as coordenadas do imóvel (ou pelo menos da rua dele) a partir do CEP. Entretanto, em alguns testes que eu fiz, percebi que em alguns casos a acurácia não era muito grande. Sabemos que quanto mais dados de endereço o Google tiver, mais precisas serão as coordenadas. Por isso, é importante ter não somente o CEP mas também o nome da rua, bairro, cidade e estado.

Para conseguir esses dados a partir do CEP, usei uma função criada e postada no grupo R Brasil - Programadores pelo membro José de Jesus Filho. Segue seu código:

postal<-function(cep){
  # converter cep em endereço
  library(httr)
  l<-list()
  for(i in seq_along(cep)){
    cep <- stringr::str_replace(cep,"\\D","")
    cep <- stringr::str_pad(cep,8,side="left",pad="0")
    cep <- as.character(cep)
    url <- paste0("http://correiosapi.apphb.com/cep/",cep)
    a <- GET(url[i])
    b <- content(a,as="parsed")
    l[[i]] <- b
  }
  x <- as.data.frame(do.call("rbind",l))
  for (col in 1:ncol(x)) {x[, col] <- as.character(x[, col])}
  return(x)
}

Por exemplo, continuando com o CEP do Maracanã, a função postal() retorna:

postal(20271110)

##                    message
## 1 Endereço não encontrado!

Como se vê, a função funciona muito bem, então podemos a aplicar para os outros imóveis:

system.time(df.endereco <- postal(df$cep))
# é criado um data frame. 
head(df.endereco)
# vamos juntar as colunas do data frame de endereços em uma só
# primeiro

É necessário juntar todas as colunas do data frame de endereços em uma só. Para juntar diferentes strings com um separador em comum (vírgula, por exemplo), é recomendável usar a função str_c() do pacote stringr.

df.endereco$endereco_completo <- df.endereco %$% str_c(logradouro, cep, bairro, cidade, estado, sep = ", ")
df.endereco$endereco_completo <- df.endereco %$% str_c(tipoDeLogradouro, endereco_completo, sep = " ")
# exemplo de como ficou:
df.endereco$endereco_completo[1:5]

## [1] "Rua Riachuelo, 20230010, Centro, Rio de Janeiro, RJ"                       
## [2] "Rua Assunção, 22251030, Botafogo, Rio de Janeiro, RJ"                      
## [3] "Estrada do Tindiba, 22740360, Pechincha, Rio de Janeiro, RJ"               
## [4] "Rua Marquês de Olinda, 22251040, Botafogo, Rio de Janeiro, RJ"             
## [5] "Rua Risoleta Neves, 22795105, Recreio dos Bandeirantes, Rio de Janeiro, RJ"

# incorporando a coluna de endereço completo no data frame principal
df$endereco_completo <- df.endereco$endereco_completo

Obter coordenadas a partir do endereço

Finalmente, podemos extrair do Google as coordenadas do endereço do imóvel com a função geocode(). Antes de usar a função, porém, é importante lembrar que a API do Google tem um limite de consultas por dia. Você pode checar seu limite com a função geocodeQueryCheck().

geocodeQueryCheck()

Assim, já podemos obter as coordenadas geográficas dos imóveis:

x <- geocode(df$endereco_completo)

# incorporando ao data frame

df$lat <- x$lat
df$lon <- x$lon

Uma opção para plotar os imóveis em um mapa seria com o próprio pacote ggmap:

qmplot(lon, lat, data = df, size = preco, color = "red") + labs(size = "Aluguel")

Mesmo o gráfico acima sendo uma ótima visualização, é possível fazer melhor. No próximo post, mostrarei como plotar os pontos em um mapa interativo usando o pacote leaflet.

Como usar o R para escolher um lugar para morar(1) - Web Scraping e Data Cleaning

Thu, 17 Nov 2016 00:00:00 +0000

Introdução

Imagine-se na seguinte situação: você foi convidado a se mudar para a cidade do Rio de Janeiro a trabalho e precisa procurar um lugar para morar. Pessoas normais resolveriam esse problema pesquisando preços de apartamentos ou quartos para alugar em sites como OLX ou AirBNB. Mas como alguém fascinado em programação e análise resolveria?

Nesta série de posts, mostro como o R pode ser usado tomar a decisão sobre escolher um apartamento ou quarto para alugar. No OLX, a formatação HTML das páginas de apartamentos são diferentes das de quartos. Neste post, eu mostro como fazer o web scraping, por meio do pacote rvest, apenas de apartamentos, mas o mesmo procedimento (com pequenas modificações) pode ser feito também para quartos.

As bibliotecas usadas serão:

library(magrittr) # não vivo sem esse pacote
library(rvest) # principal pacote para web-scraping
library(readr) # usado para extrair numeros de texto
library(stringr) # usado para o data cleaning
library(curl) # usado como suporte para o rvest
library(tidyr) # data cleaning
library(dplyr) # data cleaning
source("/home/sillas/R/Projetos/olx/funcoes.R") # algumas funcoes que criei para auxiliar o data cleaning

Web scraping

A primeira etapa é obter os dados. Até a data de hoje (12 de Novembro de 2016), o OLX listava um pouco mais de 12000 apartamentos para alugar, com 245 páginas e 50 apartamentos em cada página.

url_apt <- "http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/aluguel/apartamentos"
number_pages <- 245 #hard coded
# Criar vetor com todos os urls para as páginas do olx
lista_urls <- paste0(url_apt, "?o=", 1:number_pages)

A seguir, eu uso uma função para extrair as informações importantes de cada anúncio, que são: o link para o anúncio, o título, o preço, o bairro e mais algumas informações adicionais, como número de vagas de garagem e o valor da taxa de condomínio. Explicar o passo-a-passo do web scraping e explicar como o código fonte das páginas do OLX funciona está fora do escopo deste post, mas acredito que basta ler o código da função extrairAnuncios() para entender o que o script faz. Caso o leitor deseje saber mais sobre web scraping, o post 3 da série traz um tutorial de web scraping bem detalhado.

extrairAnuncios <- function(url_pagina, info_adicional) {
  ### INPUTS:
  # url_pagina: url de uma pagina do olx com uma lista de links de anúncios.
  # info_adicional: variavel booleana. se verdadeiro, faz o scraping de dados adicionais do anuncio
  # ... deve ser usado apenas para apartamentos, pois a sintaxe do html para quartos é diferente
  mycurl <- curl(url_pagina, handle = curl::new_handle("useragent" = "Mozilla/5.0"))
  mycurl <- read_html(mycurl)

  x <- mycurl %>% html_nodes(".OLXad-list-link")
  
  # extrair link do anuncio
  col_links <- mycurl %>% html_nodes(".OLXad-list-link") %>% html_attr("href")
  # extrair titulo do anuncio
  col_titles <- mycurl %>% html_nodes(".OLXad-list-link") %>% html_attr("title")
  # extrair preço
  precos <- lapply(x, . %>% html_nodes(".col-3"))
  precos %<>% lapply(html_text)
  precos %<>% unlist()
  precos %<>% limparString()
  precos %<>% as.numeric()
  col_precos <- precos
  # extrair bairros
  bairros <- mycurl %>% html_nodes(".OLXad-list-line-2") %>% html_text()
  bairros %<>% str_replace_all("[\t]", "")
  bairros %<>% str_replace_all("[\n]", "")
  bairros %<>% str_replace_all("Apartamentos", "")
  bairros %<>% str_replace_all("Aluguel de quartos", "")
  bairros %<>% str_replace_all("Anúncio Profissional", "")
  bairros %<>% str_replace("-", "")
  bairros %<>% str_trim()
  col_bairros <- bairros
  # extrair informações adicionais de apartamento
  
  if (info_adicional) {
    adicional <- mycurl %>% html_nodes(".mt5px") %>% html_text()
    adicional %<>% str_replace_all("[\t]", "")
    adicional %<>% str_replace_all("[\n]", "")
    col_adicionais <- adicional
    
  }
    return(data.frame(link = col_links,
                    titulo = col_titles,
                    preco = col_precos,
                    bairro = col_bairros,
                    adicional = col_adicionais,
                    stringsAsFactors = FALSE))
}

Agora já podemos aplicar a função extrairAnuncios() no vetor da lista de urls para baixar os dados. Para fins de demonstração, vou executar o procedimento apenas para a primeira página.

url_teste <- lista_urls[1]
system.time(df <- extrairAnuncios(url_teste, info_adicional = TRUE))

##   usuário   sistema decorrido 
##     1.084     0.028    11.953

# Vamos dar uma olhada nos dados
head(df) %>% knitr::kable()

link	titulo	preco	bairro	adicional
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-de-2-quartos-no-rio-centro-417491615	Apartamento de 2 quartos no Rio Centro	1500	Rio de Janeiro, Camorim	2 quartos \| Condomínio: R$ 550 \| 1 vaga
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-no-meier-vilela-tavares-417491090	Apartamento no Méier- Vilela Tavares	1600	Rio de Janeiro, Méier	2 quartos \| 60 m² \| Condomínio: R$ 650
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/vip-aluga-lindo-apartamento-2-quartos-com-armarios-417489866	(Vip Aluga) Lindo apartamento 2 quartos com armários	900	Rio de Janeiro, Campo Grande	2 quartos \| 48 m² \| Condomínio: R$ 310 \| 1 vaga
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/tijuquinha-kitinete-itanhanga-417487116	Tijuquinha kitinete Itanhangá	750	Rio de Janeiro, Itanhangá	1 quarto
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-de-3-quartos-com-dep-no-recreio-417487754	Apartamento de 3 quartos com dep. no Recreio	2500	Rio de Janeiro, Recreio Dos Bandeirantes	3 quartos \| 107 m² \| Condomínio: R$ 880 \| 1 vaga
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-concetto-recreio-2-quartos-mobiliado-opcional-consulte-primeira-locacao-417487425	Apartamento Concetto Recreio, 2 Quartos, Mobiliado (Opcional, Consulte)- Primeira Locação	1799	Rio de Janeiro, Recreio Dos Bandeirantes	2 quartos \| 82 m² \| Condomínio: R$ 492 \| 1 vaga

Data Cleaning

Pode-se ver que o web scraping (ao menos para esses 5 exemplos) foi bem feito pois os os dados foram extraídos adequadamente. Contudo, é evidente a necessidade de se limpar os dados para poder os analisar. A coluna de informações adicionais, por exemplo, informa dados de até quatro variáveis: quantidade de quartos, quantidade de vagas de garagem, área e o preço da taxa de condomínio. Para deixar o processo de limpeza ainda mais difícil, nem todos os anúncios fornecem dados dessas quatro variáveis.

Antes de partir para esse problema, vamos separa a coluna de bairro em duas: uma de cidade e outra de bairro. Removi os imóveis que não são do Rio de Janeiro ou de Niterói para fins de simplicidade.

# remover os que nao sao do RJ ou de niteroi
df %<>% filter(str_detect(bairro, "Niterói") | str_detect(bairro, "Rio de Janeiro"))
df %<>% separate(bairro, c("cidade", "bairro"), sep = ",")
head(df) %>% knitr::kable()

link	titulo	preco	cidade	bairro	adicional
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-de-2-quartos-no-rio-centro-417491615	Apartamento de 2 quartos no Rio Centro	1500	Rio de Janeiro	Camorim	2 quartos \| Condomínio: R$ 550 \| 1 vaga
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-no-meier-vilela-tavares-417491090	Apartamento no Méier- Vilela Tavares	1600	Rio de Janeiro	Méier	2 quartos \| 60 m² \| Condomínio: R$ 650
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/vip-aluga-lindo-apartamento-2-quartos-com-armarios-417489866	(Vip Aluga) Lindo apartamento 2 quartos com armários	900	Rio de Janeiro	Campo Grande	2 quartos \| 48 m² \| Condomínio: R$ 310 \| 1 vaga
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/tijuquinha-kitinete-itanhanga-417487116	Tijuquinha kitinete Itanhangá	750	Rio de Janeiro	Itanhangá	1 quarto
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-de-3-quartos-com-dep-no-recreio-417487754	Apartamento de 3 quartos com dep. no Recreio	2500	Rio de Janeiro	Recreio Dos Bandeirantes	3 quartos \| 107 m² \| Condomínio: R$ 880 \| 1 vaga
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-concetto-recreio-2-quartos-mobiliado-opcional-consulte-primeira-locacao-417487425	Apartamento Concetto Recreio, 2 Quartos, Mobiliado (Opcional, Consulte)- Primeira Locação	1799	Rio de Janeiro	Recreio Dos Bandeirantes	2 quartos \| 82 m² \| Condomínio: R$ 492 \| 1 vaga

Agora podemos partir para a limpeza da coluna de adicionais. Primeiramente, vamos ver quantos anúncios possuem as quatro variáveis adicionais:

# substituir quartos por quarto
df$adicional %<>% str_replace_all("quartos", "quarto")
df %<>% mutate(
  tem_quarto = str_detect(adicional, "quarto"),
  tem_area = str_detect(adicional, "m²"),
  tem_taxa = str_detect(adicional, "Condomínio"),
  tem_garagem = str_detect(adicional, "vaga")
)

x <- round(apply(df[, 7:10], 2, mean), 3) * 100
print(x)

##  tem_quarto    tem_area    tem_taxa tem_garagem 
##       100.0        87.5        79.2        64.6

Assim, 100% dos apartamentos (dessa amostra de 50 apartamentos) têm informação sobre a quantidade de quartos, 87.5% sobre área, 79.2% informam a taxa de condomínio e 64.6% têm vaga de garagem.

É necessário usar o pacote stringr para observar a posição dos termos que identificam a variável:
* O substring “quarto” indica a presença de informação sobre quantidade de quartos;
* O substring “Condomínio: R$” indica a presença de informação sobre taxa do condomínio;
* O substring “m²” indica a presença de informação sobre área;
* O substring “vaga” indica a presença de informação sobre vagas de garagem.

O desafio aqui é criar colunas adicionais para cada uma dessas categorias de informação adicional. A seguir, eu comento linha a linha o procedimento necessário para realizar essa tarefa, que é basicamente o mesmo para as variáveis.

# COLUNA DE QUANTIDADE DE QUARTOS
# Quarto: pegar posicao inicial e final do string quarto
# Localizar trecho dentro do string referente a quartos
matriz_posicao <- str_locate(df$adicional, "quarto")
# Voltar 2 posições no string para pegar o número (ex: 2 quarto)
matriz_posicao[,1] <- matriz_posicao[,1] - 2
# extrair string com posições iniciais e finais
vetor_quartos <- str_sub(df$adicional, matriz_posicao[,1], matriz_posicao[,2])
# extrair apenas número (primeiro caractere do string) e converter para numeric
vetor_quartos <- str_sub(vetor_quartos, 1, 1)
vetor_quartos %<>% as.numeric()
# adicionar ao data frame
df$qtd_quarto <- vetor_quartos


# Condominio
# retirar cifrao pra ficar mais facil
df$adicional %<>% str_replace_all("\\$", "S")
matriz_posicao <- str_locate(df$adicional, "Condomínio: RS ")
# mover cinco posicoes para pegar algarismos após o RS
vetor_taxa <- str_sub(df$adicional, matriz_posicao[, 2], matriz_posicao[, 2] + 4)
# extrair apenas numeros
vetor_taxa %<>% parse_number()
# vendo se funcionou
data.frame(df$adicional, vetor_taxa) %>% head(20)

##                                        df.adicional vetor_taxa
## 1            2 quarto | Condomínio: RS 550 | 1 vaga        550
## 2             2 quarto | 60 m² | Condomínio: RS 650        650
## 3    2 quarto | 48 m² | Condomínio: RS 310 | 1 vaga        310
## 4                                          1 quarto         NA
## 5   3 quarto | 107 m² | Condomínio: RS 880 | 1 vaga        880
## 6    2 quarto | 82 m² | Condomínio: RS 492 | 1 vaga        492
## 7    2 quarto | 51 m² | Condomínio: RS 504 | 1 vaga        504
## 8                                  1 quarto | 58 m²         NA
## 9   2 quarto | 140 m² | Condomínio: RS 135 | 1 vaga        135
## 10   2 quarto | 50 m² | Condomínio: RS 315 | 1 vaga        315
## 11   2 quarto | 72 m² | Condomínio: RS 620 | 1 vaga        620
## 12           2 quarto | 60 m² | Condomínio: RS 1200       1200
## 13   2 quarto | 49 m² | Condomínio: RS 290 | 1 vaga        290
## 14                                         1 quarto         NA
## 15   2 quarto | 76 m² | Condomínio: RS 980 | 1 vaga        980
## 16  3 quarto | 72 m² | Condomínio: RS 490 | 2 vagas        490
## 17  2 quarto | 80 m² | Condomínio: RS 1100 | 1 vaga       1100
## 18                        1 quarto | 45 m² | 1 vaga         NA
## 19                                         2 quarto         NA
## 20                                3 quarto | 1 vaga         NA

# Funcionou! Incorporar vetor ao data frame
df$taxa_condominio <- vetor_taxa


# Área
matriz_posicao <- str_locate(df$adicional, " m²")
# voltar quatro posições
vetor_area <- str_sub(df$adicional, matriz_posicao[,1] - 4, matriz_posicao[, 1])
# converter para numerico
vetor_area %<>% parse_number()
# vendo se funcionou
data.frame(df$adicional, vetor_area) %>% head(20)

##                                        df.adicional vetor_area
## 1            2 quarto | Condomínio: RS 550 | 1 vaga         NA
## 2             2 quarto | 60 m² | Condomínio: RS 650         60
## 3    2 quarto | 48 m² | Condomínio: RS 310 | 1 vaga         48
## 4                                          1 quarto         NA
## 5   3 quarto | 107 m² | Condomínio: RS 880 | 1 vaga        107
## 6    2 quarto | 82 m² | Condomínio: RS 492 | 1 vaga         82
## 7    2 quarto | 51 m² | Condomínio: RS 504 | 1 vaga         51
## 8                                  1 quarto | 58 m²         58
## 9   2 quarto | 140 m² | Condomínio: RS 135 | 1 vaga        140
## 10   2 quarto | 50 m² | Condomínio: RS 315 | 1 vaga         50
## 11   2 quarto | 72 m² | Condomínio: RS 620 | 1 vaga         72
## 12           2 quarto | 60 m² | Condomínio: RS 1200         60
## 13   2 quarto | 49 m² | Condomínio: RS 290 | 1 vaga         49
## 14                                         1 quarto         NA
## 15   2 quarto | 76 m² | Condomínio: RS 980 | 1 vaga         76
## 16  3 quarto | 72 m² | Condomínio: RS 490 | 2 vagas         72
## 17  2 quarto | 80 m² | Condomínio: RS 1100 | 1 vaga         80
## 18                        1 quarto | 45 m² | 1 vaga         45
## 19                                         2 quarto         NA
## 20                                3 quarto | 1 vaga         NA

# Funcionou! Incorporar ao data frame
df$area_condominio <- vetor_area


# Garagem
matriz_posicao <- str_locate(df$adicional, " vaga")
# voltar quatro posições
vetor_garagem <- str_sub(df$adicional, matriz_posicao[,1] - 2, matriz_posicao[, 1])
# converter para numerico
vetor_garagem %<>% readr::parse_number()
# vendo se funcionou
data.frame(df$adicional, vetor_garagem) %>% head(20)

##                                        df.adicional vetor_garagem
## 1            2 quarto | Condomínio: RS 550 | 1 vaga             1
## 2             2 quarto | 60 m² | Condomínio: RS 650            NA
## 3    2 quarto | 48 m² | Condomínio: RS 310 | 1 vaga             1
## 4                                          1 quarto            NA
## 5   3 quarto | 107 m² | Condomínio: RS 880 | 1 vaga             1
## 6    2 quarto | 82 m² | Condomínio: RS 492 | 1 vaga             1
## 7    2 quarto | 51 m² | Condomínio: RS 504 | 1 vaga             1
## 8                                  1 quarto | 58 m²            NA
## 9   2 quarto | 140 m² | Condomínio: RS 135 | 1 vaga             1
## 10   2 quarto | 50 m² | Condomínio: RS 315 | 1 vaga             1
## 11   2 quarto | 72 m² | Condomínio: RS 620 | 1 vaga             1
## 12           2 quarto | 60 m² | Condomínio: RS 1200            NA
## 13   2 quarto | 49 m² | Condomínio: RS 290 | 1 vaga             1
## 14                                         1 quarto            NA
## 15   2 quarto | 76 m² | Condomínio: RS 980 | 1 vaga             1
## 16  3 quarto | 72 m² | Condomínio: RS 490 | 2 vagas             2
## 17  2 quarto | 80 m² | Condomínio: RS 1100 | 1 vaga             1
## 18                        1 quarto | 45 m² | 1 vaga             1
## 19                                         2 quarto            NA
## 20                                3 quarto | 1 vaga             1

# Funcionou! Incorporar ao data frame
df$garagem <- vetor_garagem

# Remover objetos desnecessários
rm(matriz_posicao, vetor_adicional, vetor_area, vetor_garagem, vetor_quartos, vetor_taxa)

Vamos ver como ficou o data frame final

head(df) %>% knitr::kable()

link	titulo	preco	cidade	bairro	adicional	tem_quarto	tem_area	tem_taxa	tem_garagem	qtd_quarto	taxa_condominio	area_condominio	garagem
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-de-2-quartos-no-rio-centro-417491615	Apartamento de 2 quartos no Rio Centro	1500	Rio de Janeiro	Camorim	2 quarto \| Condomínio: RS 550 \| 1 vaga	TRUE	FALSE	TRUE	TRUE	2	550	NA	1
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-no-meier-vilela-tavares-417491090	Apartamento no Méier- Vilela Tavares	1600	Rio de Janeiro	Méier	2 quarto \| 60 m² \| Condomínio: RS 650	TRUE	TRUE	TRUE	FALSE	2	650	60	NA
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/vip-aluga-lindo-apartamento-2-quartos-com-armarios-417489866	(Vip Aluga) Lindo apartamento 2 quartos com armários	900	Rio de Janeiro	Campo Grande	2 quarto \| 48 m² \| Condomínio: RS 310 \| 1 vaga	TRUE	TRUE	TRUE	TRUE	2	310	48	1
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/tijuquinha-kitinete-itanhanga-417487116	Tijuquinha kitinete Itanhangá	750	Rio de Janeiro	Itanhangá	1 quarto	TRUE	FALSE	FALSE	FALSE	1	NA	NA	NA
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-de-3-quartos-com-dep-no-recreio-417487754	Apartamento de 3 quartos com dep. no Recreio	2500	Rio de Janeiro	Recreio Dos Bandeirantes	3 quarto \| 107 m² \| Condomínio: RS 880 \| 1 vaga	TRUE	TRUE	TRUE	TRUE	3	880	107	1
http://rj.olx.com.br/rio-de-janeiro-e-regiao/imoveis/apartamento-concetto-recreio-2-quartos-mobiliado-opcional-consulte-primeira-locacao-417487425	Apartamento Concetto Recreio, 2 Quartos, Mobiliado (Opcional, Consulte)- Primeira Locação	1799	Rio de Janeiro	Recreio Dos Bandeirantes	2 quarto \| 82 m² \| Condomínio: RS 492 \| 1 vaga	TRUE	TRUE	TRUE	TRUE	2	492	82	1

Conclusão

No próximo post, analisaremos os dados obtidos aqui.