Paixão por Dados

Censo da Educação Superior (2): Como plotar o movimento migratório universitário no Brasil em um mapa

Fri, 08 Jul 2016 00:00:00 +0000

No primeiro post sobre os microdados do Censo da Educação Superior, falei sobre as cidades e estados que mais atraem universitários de fora. Neste segundo post, discutirei mais a fundo este movimento migratório universitário, incluindo a elaboração de um rebusco mapa de fluxo migratório.

library(stringr)
library(tidyr)
library(magrittr)
library(dplyr)
library(feather)
library(maptools)
library(maps)
library(geosphere)
library(knitr)

Importação dos dados

Para plotar em um mapa os universitários que estudam em uma cidade diferente da que nasceram, precisamos de dois tipos de dados: - Dados espaciais dos municípios brasileiros;
- Um shapefile dos estados brasileiros - Dados de universitários que estudam em uma cidade diferente da que nasceram;

Dados espaciais

Para poder localizar os municípios brasileiros em um mapa, precisamos de dados sobre suas latitudes e longitudes. Em minhas pesquisas, a melhor fonte que eu encontrei foi neste site, que fornece o link para baixar um arquivo KML contendo os dados que precisamos. Para fazer a conversão de KML para um formato tratável pelo R, usei comandos em linux, como indicado pelo próprio site.

ATENÇÃO: Eu baixei o KML descrito acima em 08/06/2016, mas no momento que escrevo este post, o ftp do IBGE para baixar esse arquivo está fora do ar. Por isso, eu disponibilizei os arquivos KML e CSV no meu Github.

df_coord <- read.csv2("https://raw.githubusercontent.com/sillasgonzaga/sillasgonzaga.github.io/master/data/coordenadas_BR.csv",
                      stringsAsFactors = FALSE, header = FALSE)

# Ver estrutura do arquivo
head(df_coord, 10)

##                   V1                                             V2
## 1                                                                  
## 2                                                                  
## 3    BARRA DO QUARAÍ                              RIO GRANDE DO SUL
## 4         URUGUAIANA                              RIO GRANDE DO SUL
## 5             QUARAÍ                              RIO GRANDE DO SUL
## 6          SANT&apos                              ANA DO LIVRAMENTO
## 7  ANA DO LIVRAMENTO -55.5348142679597,-30.8893840103812,200.677824
## 8             ITAQUI                              RIO GRANDE DO SUL
## 9           ALEGRETE                              RIO GRANDE DO SUL
## 10         MAÇAMBARÁ                              RIO GRANDE DO SUL
##                   V3
## 1                   
## 2                   
## 3    BARRA DO QUARAÍ
## 4         URUGUAIANA
## 5             QUARAÍ
## 6  RIO GRANDE DO SUL
## 7                   
## 8             ITAQUI
## 9           ALEGRETE
## 10         MAÇAMBARÁ
##                                                        V4
## 1                                                        
## 2                                                        
## 3             -57.5570603248122,-30.2110754071007,42.0408
## 4   -57.0818249090229,-29.7598231712009,78.23018999999999
## 5          -56.4536470403836,-30.3828679600575,118.674261
## 6                                               SANT&apos
## 7                                                        
## 8           -56.55713349703041,-29.128636898258,62.084645
## 9  -55.7958701453331,-29.78204320831051,94.73120299999999
## 10         -56.06361348173561,-29.146144198381,104.458392

# Acrescentar nomes de colunas
names(df_coord) <- c("municipio", "uf", "municipio_localidade", "coordenadas")
# Remover duas primeiras linhas
df_coord <- df_coord[-(1:2),]
# Remover linha na coluna uf se contém número
df_coord <- df_coord[!grepl("\\d", df_coord$uf),]
# Remover linha na coluna coordenadas se NAO contem numero
df_coord <- df_coord[grepl("\\d", df_coord$coordenadas),]
# Separar coluna de coordenadas em três e remover a última
df_coord %<>% separate(coordenadas, into = c('x1', 'x2', 'x3'), sep = ",")

df_coord %<>% filter(municipio == municipio_localidade)
# remover última coluna
df_coord %<>% select(-x3, -municipio_localidade, -uf) %>% rename(lat = x2, lon = x1)
# remover acentos da coluna de municipio_localidade
df_coord$municipio %<>% iconv(to = "ASCII//TRANSLIT")
# remover duplicatas
df_coord %<>% distinct(municipio)
head(df_coord)

##         municipio                lon                lat
## 1 BARRA DO QUARAI  -57.5570603248122  -30.2110754071007
## 2      URUGUAIANA  -57.0818249090229  -29.7598231712009
## 3          QUARAI  -56.4536470403836  -30.3828679600575
## 4          ITAQUI -56.55713349703041   -29.128636898258
## 5        ALEGRETE  -55.7958701453331 -29.78204320831051
## 6       MACAMBARA -56.06361348173561   -29.146144198381

# Precisamos de uma coluna com o código do município.
# Para isso, usamos o arquivo df_cidades usado no post1 que eu disponibilizei tbm no github
df_cidades <- read.csv2("https://raw.githubusercontent.com/sillasgonzaga/sillasgonzaga.github.io/master/data/municipiosBR.csv")
names(df_cidades) <- c("uf", "cod_municipio", "municipio")  
df_cidades$municipio  %<>% iconv(to = "ASCII//TRANSLIT") %>% str_to_upper()
df_cidades %<>% left_join(df_coord, by = 'municipio')
df_cidades %<>% na.omit()
df_cidades$lon %<>% as.numeric()
df_cidades$lat %<>% as.numeric()
head(df_cidades)

##   uf cod_municipio               municipio       lon        lat
## 2 RO       1100379 ALTO ALEGRE DOS PARECIS -61.85308 -12.131777
## 3 RO       1100403            ALTO PARAISO -53.73289 -23.508131
## 5 RO       1100023               ARIQUEMES -63.03327  -9.908463
## 6 RO       1100452                 BURITIS -63.82968 -10.209805
## 7 RO       1100031                  CABIXI -60.54431 -13.499763
## 8 RO       1100601             CACAULANDIA -62.90319 -10.338873

# Importar o shapefile
# disponível em https://github.com/sillasgonzaga/sillasgonzaga.github.io/raw/master/data/estados_2010.shp
estados <- readShapePoly("/home/sillas/R/Projetos/CensoEducSuperior/Dados/shapefiles/estados_2010/estados_2010.shp")

Dados de universitários

O DM_ALUNO.csv, tratado no post anterior, e filtrado para os casos em que o município de nascimento não é o mesmo do município da IES:

# importar df original
system.time(df <- read_feather("/home/sillas/R/Projetos/CensoEducSuperior/Dados/dm_aluno_tratado.feather"))

##    user  system elapsed 
##   4.516   0.892   6.141

df %<>% filter(municipio_diferente == 1)
# excluir cidades que não estão presentes no df_cidades
df %<>% filter(CO_MUNICIPIO_NASCIMENTO %in% df_cidades$cod_municipio & CO_MUNICIPIO_IES %in% df_cidades$cod_municipio)

# selecionar apenas colunas referentes às cidades
df_agg <- df %>%
  select(cod_mun_aluno = CO_MUNICIPIO_NASCIMENTO, nome_mun_aluno =  municipioNascimento,
         cod_mun_ies = CO_MUNICIPIO_IES, nome_mun_ies = municipioIES) %>%
  group_by(cod_mun_aluno, nome_mun_aluno, cod_mun_ies, nome_mun_ies) %>%
  tally(sort = TRUE) %>%
  ungroup() %>%
  rename(qtd = n)

# Os 10 fluxos migratórios mais comuns
df_agg %>% top_n(n = 10, wt = qtd) %>% select(nome_mun_aluno, nome_mun_ies, qtd) %>% kable()

nome_mun_aluno	nome_mun_ies	qtd
Aracaju (SE)	Săo Cristóvăo (SE)	17574
Contagem (MG)	Belo Horizonte (MG)	11023
Niterói (RJ)	Rio de Janeiro (RJ)	16817
Rio de Janeiro (RJ)	Duque de Caxias (RJ)	12676
Rio de Janeiro (RJ)	Săo Gonçalo (RJ)	11029
São Bernardo do Campo (SP)	Săo Paulo (SP)	10811
São Paulo (SP)	Guarulhos (SP)	14762
São Paulo (SP)	Săo Bernardo do Campo (SP)	15408
Porto Alegre (RS)	Indaial (SC)	11902
Porto Alegre (RS)	Canoas (RS)	12571

Uma curiosidade sobre o primeiro lugar da lista: o fluxo Aracaju > São Cristóvão é devido ao fato de a única universidade pública de Sergipe, a Universidade Federal de Sergipe (UFS), estar localizado em São Cristóvão, mas como a UFS é muito próxima a Sergipe, os universitários aracajuanos vão à UFS e voltam para casa no mesmo dia.

Finalmente, vamos o código para plotar o mapa. O código abaixo foi “inspirado” deste post do Flowing Data, um ótimo blog sobre visualização de dados. Adaptar o código do artigo não foi tão direto como eu imaginava, por isso fiz questão de documentar todos os passos e explicar o que eles fazem.

# Para deixar mais fortes os fluxos mais frequentes, precisamos classificar os dados em ordem crescente de frequência
df_agg %<>% arrange(qtd)

# Criar dataframes separados para os municipios do aluno (origem ou org) e da IES (destino ou dest)
df_org <- select(df_agg, org = cod_mun_aluno)
df_dest <- select(df_agg, dest = cod_mun_ies)
# criar variáveis para a quantidade de cada fluxo
qtd <- df_agg$qtd
maxqtd <- max(qtd)
# acrescentar latitude e longitude para cada cidade dois dataframes
df_org %<>% left_join(df_cidades, by = c('org' = 'cod_municipio'))
df_dest %<>% left_join(df_cidades, by = c('dest' = 'cod_municipio'))

# para ver quanto tempo levou para gerar o mapa
t1 <- proc.time()

# Para salvar em um PNG de alta resolução, desmarque as duas linhas abaixo, além da dev.off()
#myPng <- function(..., width=13, height=13, res=300) {png(..., width=width*res, height=height*res, res=res)}
#myPng("mapa.png")

# Para deixar o gráfico bonito, usaremos um fundo preto
map(estados, col="#191919", fill=TRUE, bg="#000000")
# além de um escala que vai de preto (valores menores) a azul (valores maiores)
pal <- colorRampPalette(c("#333333", "white", "#1292db"))
colors <- pal(100)
# título
title("Mapeamento do movimento migratório \nuniversitário no Brasil", col.main = "white", cex.main = 1)
# referencia abaixo do mapa
mtext("Fonte: Censo do Ensino Superior 2014 \n Autor: Sillas Gonzaga (sillasgonzaga.github.io)",
      col = "white", side = 1, line = 1, cex = 1)
# Para gerar as linhas, a função gcIntermediate é necessária,
# porém dois dos argumentos dela, p1 e p2, só podem ser vetores de tamanho 2
# portanto, preciamos fazer um for loop para plotar cada linha de df_org e df_dest individualmente
# ao final do loop, todas as linhas estarão plotadas no mapa
for (i in 1:nrow(df_agg)) {
  p1 = c(df_org[i, ]$lon, df_org[i, ]$lat)
  p2 = c(df_dest[i, ]$lon, df_dest[i, ]$lat)
  inter <- gcIntermediate(p1, p2, n = 100, addStartEnd = TRUE)
  # determinar cor de cada fluxo
  colindex <- ((qtd[i]/maxqtd)*length(colors)) %>% round
  mycol = colors[colindex]
  lines(inter, col = mycol, lwd = 0.8)
}

Clique na imagem abaixo para ver em alta definição.

#dev.off()
t2 <- proc.time()
# Tempo necessário para construir o mapa (em segundos)
t2 - t1

##    user  system elapsed 
## 322.500   3.436 375.426

Censo da Educação Superior (1) - Quais são as cidades mais universitárias do Brasil?

Tue, 07 Jun 2016 00:00:00 +0000

Recentemente, discuti com um amigo meu que afirmou que Aracaju, cidade onde moramos, é uma capital universitária - ou seja, uma cidade que atrai muitos estudantes de fora -, que eu não acredito que seja verdade. Mas não há melhor maneira de responder a isso senão com análise de dados, não é mesmo?

library(data.table)
library(dplyr)
library(magrittr)
library(gdata)
library(feather)
library(ggplot2)
library(ggthemes)
library(stringr)
library(tidyr)
library(microbenchmark)
library(gridExtra)
library(scales)
library(cowplot)
library(gtable)
library(grid)
library(ggrepel)
setwd("/home/sillas/R/Projetos/CensoEducSuperior/Dados")

Introdução

Os dados que podem tirar essa dúvida, além de trazer a luz muitas outras informações interessantes, são os microdados do Censo da Educação Superior, disponibilizados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, o Inep. Segundo o Portal Brasileiro de Dados:

Anualmente, o Inep realiza a coleta de dados sobre a educação superior, com o objetivo de oferecer informações detalhadas sobre a situação atual e as grandes tendências do setor, tanto à comunidade acadêmica quanto à sociedade em geral. A coleta dos dados tem como referência as diretrizes gerais previstas pelo Decreto nº 6.425 de 4 de abril de 2008. O censo da educação superior reúne informações sobre as instituições de ensino superior, seus cursos de graduação presencial ou a distância, cursos seqüenciais, vagas oferecidas, inscrições, matrículas, ingressantes e concluintes, além de informações sobre docentes, nas diferentes formas de organização acadêmica e categoria administrativa.

Para saber mais: http://www.censosuperior.inep.gov.br/

Os dados mais atualizados disponíveis ao público são de 2014. Neste post, mostrarei todo o processo da análise dos dados, composto por limpeza, manipulação e apresentação dos resultados.

Limpeza de dados

O arquivo principal desta análise, o DM_ALUNO.csv, é um arquivo de 5,4 GB onde as colunas são separadas pelo caractere |. Como só tenho 4 GB de memória RAM em meu notebook, o R não conseguirá importar este arquivo da maneira tradicional. Contudo, não é necessário carregar o arquivo para o R para saber algumas características sobre ele. O dicionário dos microdados, disponível na planilha ANEXO I - 2014, informa que existem 117 colunas no arquivo em questão. Felizmente, para responder a pergunta deste post, só precisamos de quatro colunas:
- CO_IES, que informa o código único de identificação da IES do aluno;
- CO_UF_NASCIMENTO, que informa o código do estado de nascimento do aluno;
- CO_MUNICIPIO_NASCIMENTO, que informa o código do nascimento do aluno; - ANO_INGRESSO, que informa o ano de ingresso do aluno no curso.

Obs.: Veja que a variável ANO_INGRESSO diz respeito ao aluno que entrou no curso e não na universidade. Como mudanças de curso não são tão frequentes assim e como o volume de dados é muito grande, fazendo com que essas incertezas não prejudiquem o resultado, ignorarei esse detalhe nos resultados.

Para importar apenas essas colunas para o R, a melhor opção foi usar um comando em bash, que é muito mais rápido que o R para tarefas de tratamento de arquivos de texto. O que eu fiz foi criar um novo arquivo, chamado de DM_ALUNO_novo.csv, com apenas essas quatro variáveis:

# colunas importantes: CO_IES (1),  UF(40), CO_MUNICIPIO_NASCIMENTO(41), ANO_INGRESSO (117)
# cut_sh <- "cut -d '|' -f 1,40,41,117 DM_ALUNO.csv > DM_ALUNO_novo.csv"
# system.time(system(cut_sh))

# A operação acima leva cerca de 20 segundos para ser executada

# Comparando os dois arquivos:
file.size("DM_ALUNO.csv") %>% humanReadable()

## Error in if (any(x < 0)) stop("'x' must be positive"): missing value where TRUE/FALSE needed

file.size(("DM_ALUNO_novo.csv")) %>% humanReadable()

## Error in if (any(x < 0)) stop("'x' must be positive"): missing value where TRUE/FALSE needed

Assim, o arquivo a ser importado tem apenas 195,5 MB. Contudo, como ele tem muitas linhas, escolhi o pacote data.table para importar e manipular os dados:

system.time(df <- fread("DM_ALUNO_novo.csv"))

## Error in fread("DM_ALUNO_novo.csv"): File 'DM_ALUNO_novo.csv' does not exist. Include one or more spaces to consider the input a system command.

## Timing stopped at: 0 0 0

x = df %>% nrow %>% format(big.mark = ".", decimal.mark = ",")
paste0("Quantidade de linhas do arquivo importado: ", x)

## [1] "Quantidade de linhas do arquivo importado: 8.041.338"

head(df)

##    CO_IES CO_UF_NASCIMENTO CO_MUNICIPIO_NASCIMENTO ANO_INGRESSO
## 1:      1               51                 5108402         2012
## 2:      1               51                 5103403         2012
## 3:      1               51                 5103403         2012
## 4:      1               51                 5103403         2014
## 5:      1               51                 5103403         2011
## 6:      1               51                 5103403         2011
##                                 NO_IES SGL_IES DS_CATEGORIA_ADMINISTRATIVA
## 1: UNIVERSIDADE FEDERAL DE MATO GROSSO    UFMT             Pública Federal
## 2: UNIVERSIDADE FEDERAL DE MATO GROSSO    UFMT             Pública Federal
## 3: UNIVERSIDADE FEDERAL DE MATO GROSSO    UFMT             Pública Federal
## 4: UNIVERSIDADE FEDERAL DE MATO GROSSO    UFMT             Pública Federal
## 5: UNIVERSIDADE FEDERAL DE MATO GROSSO    UFMT             Pública Federal
## 6: UNIVERSIDADE FEDERAL DE MATO GROSSO    UFMT             Pública Federal
##    CO_MUNICIPIO_IES NO_MUNICIPIO_IES CO_UF_IES SGL_UF_IES NO_REGIAO_IES
## 1:          5103403           Cuiabá        51         MT  Centro-Oeste
## 2:          5103403           Cuiabá        51         MT  Centro-Oeste
## 3:          5103403           Cuiabá        51         MT  Centro-Oeste
## 4:          5103403           Cuiabá        51         MT  Centro-Oeste
## 5:          5103403           Cuiabá        51         MT  Centro-Oeste
## 6:          5103403           Cuiabá        51         MT  Centro-Oeste
##    municipioNascimento ufNascimento municipioIES capitalIES
## 1:  Várzea Grande (MT)           MT  Cuiabá (MT)          1
## 2:         Cuiabá (MT)           MT  Cuiabá (MT)          1
## 3:         Cuiabá (MT)           MT  Cuiabá (MT)          1
## 4:         Cuiabá (MT)           MT  Cuiabá (MT)          1
## 5:         Cuiabá (MT)           MT  Cuiabá (MT)          1
## 6:         Cuiabá (MT)           MT  Cuiabá (MT)          1
##    municipio_diferente uf_diferente
## 1:                   1            0
## 2:                   0            0
## 3:                   0            0
## 4:                   0            0
## 5:                   0            0
## 6:                   0            0

Com o data.table, o R levou menos de 3 segundos para carregar o arquivo. Já deu para ver que o objeto carregado tem quase 11 milhões de linhas e alguns valores nulos nas colunas referente à UF e ao município de nascimento.

# Percentual de alunos com informação de UF de nascimento inválida
100*sum(is.na(df$CO_UF_NASCIMENTO))/nrow(df)

## [1] 0

# filtrar fora alunos sem informação de UF
df <- df[!is.na(CO_UF_NASCIMENTO)]

Manipulação dos dados

Outro arquivo presente nos microdados é o DM_IES.csv, que traz informações sobre as Instituições de Ensino Superior no Brasil. Para este post, ele será usado como uma tabela suporte ao arquivo principal, que obterá dele informações sobre as IES de cada aluno, como o nome, o estado onde está localizada, o tipo da universidade, etc.

df_ies <- fread("DM_IES.CSV")

## Error in fread("DM_IES.CSV"): File 'DM_IES.CSV' does not exist. Include one or more spaces to consider the input a system command.

# Vendo se funcionou:
names(df_ies)

## Error in eval(expr, envir, enclos): object 'df_ies' not found

# Imprimindo alguns nomes de universidades:
df_ies$NO_IES %>% head

## Error in eval(expr, envir, enclos): object 'df_ies' not found

# Temos que consertar o encoding do arquivo. Para isso, usamos a função iconv
df_ies$NO_IES %<>% iconv(from = "ISO-8859-2", to = "UTF-8")

## Error in eval(expr, envir, enclos): object 'df_ies' not found

# Testando para ver se funcionou:
df_ies$NO_IES %>% head

## Error in eval(expr, envir, enclos): object 'df_ies' not found

# Funcionou! Vamos então fazer o mesmo para outras colunas de texto
df_ies$SGL_IES %<>% iconv(from = "ISO-8859-2", to = "UTF-8")

## Error in eval(expr, envir, enclos): object 'df_ies' not found

df_ies$DS_CATEGORIA_ADMINISTRATIVA %<>% iconv(from = "ISO-8859-2", to = "UTF-8")

## Error in eval(expr, envir, enclos): object 'df_ies' not found

df_ies$NO_MUNICIPIO_IES %<>% iconv(from = "ISO-8859-2", to = "UTF-8")

## Error in eval(expr, envir, enclos): object 'df_ies' not found

# Selecionando apenas colunas úteis para esta análise
df_ies %<>% select(CO_IES, NO_IES, SGL_IES, DS_CATEGORIA_ADMINISTRATIVA, CO_MUNICIPIO_IES,
                   NO_MUNICIPIO_IES, CO_UF_IES, SGL_UF_IES, NO_REGIAO_IES)

## Error in eval(expr, envir, enclos): object 'df_ies' not found

# juntando todos os arquivos em um só:
df %<>% left_join(df_ies, by = "CO_IES")

## Error in is.data.frame(y): object 'df_ies' not found

rm(df_ies)

## Warning in rm(df_ies): object 'df_ies' not found

# Certificar que o df será tratado como data.table:
setDT(df)
# Nosso df ficou assim:
str(df)

## Classes 'data.table' and 'data.frame':	8041338 obs. of  18 variables:
##  $ CO_IES                     : int  1 1 1 1 1 1 1 1 1 1 ...
##  $ CO_UF_NASCIMENTO           : int  51 51 51 51 51 51 51 51 51 51 ...
##  $ CO_MUNICIPIO_NASCIMENTO    : int  5108402 5103403 5103403 5103403 5103403 5103403 5103403 5103403 5103403 5103403 ...
##  $ ANO_INGRESSO               : int  2012 2012 2012 2014 2011 2011 2010 2010 2011 2010 ...
##  $ NO_IES                     : chr  "UNIVERSIDADE FEDERAL DE MATO GROSSO" "UNIVERSIDADE FEDERAL DE MATO GROSSO" "UNIVERSIDADE FEDERAL DE MATO GROSSO" "UNIVERSIDADE FEDERAL DE MATO GROSSO" ...
##  $ SGL_IES                    : chr  "UFMT" "UFMT" "UFMT" "UFMT" ...
##  $ DS_CATEGORIA_ADMINISTRATIVA: chr  "Pública Federal" "Pública Federal" "Pública Federal" "Pública Federal" ...
##  $ CO_MUNICIPIO_IES           : int  5103403 5103403 5103403 5103403 5103403 5103403 5103403 5103403 5103403 5103403 ...
##  $ NO_MUNICIPIO_IES           : chr  "Cuiabá" "Cuiabá" "Cuiabá" "Cuiabá" ...
##  $ CO_UF_IES                  : int  51 51 51 51 51 51 51 51 51 51 ...
##  $ SGL_UF_IES                 : chr  "MT" "MT" "MT" "MT" ...
##  $ NO_REGIAO_IES              : chr  "Centro-Oeste" "Centro-Oeste" "Centro-Oeste" "Centro-Oeste" ...
##  $ municipioNascimento        : chr  "Várzea Grande (MT)" "Cuiabá (MT)" "Cuiabá (MT)" "Cuiabá (MT)" ...
##  $ ufNascimento               : chr  "MT" "MT" "MT" "MT" ...
##  $ municipioIES               : chr  "Cuiabá (MT)" "Cuiabá (MT)" "Cuiabá (MT)" "Cuiabá (MT)" ...
##  $ capitalIES                 : num  1 1 1 1 1 1 1 1 1 1 ...
##  $ municipio_diferente        : num  1 0 0 0 0 0 0 0 0 0 ...
##  $ uf_diferente               : num  0 0 0 0 0 0 0 0 0 0 ...
##  - attr(*, "sorted")= chr "CO_IES"
##  - attr(*, ".internal.selfref")=<externalptr>

# Acrescentar nome do municipio de nascimento
# importar códigos dos municípios brasileiros (tirado do site do IBGE)
df_cidades <- fread("municipiosBR.csv")

## Error in fread("municipiosBR.csv"): File 'municipiosBR.csv' does not exist. Include one or more spaces to consider the input a system command.

names(df_cidades) <- c("uf", "codigo", "nomemunicipio")  
# Acrescentar coluna no df original:
df <- df[, municipioNascimento := df_cidades$nomemunicipio[match(CO_MUNICIPIO_NASCIMENTO, df_cidades$codigo)]]
df <- df[, ufNascimento := df_cidades$uf[match(CO_MUNICIPIO_NASCIMENTO, df_cidades$codigo)]]
# Acrescentar UF no nome da cidade
df <- df[, municipioIES := paste0(NO_MUNICIPIO_IES, " (", SGL_UF_IES, ")")]
df <- df[, municipioNascimento := paste0(municipioNascimento, " (", ufNascimento, ")")]


# Adicionar coluna que identifica se cidade é capital
capitaisBR <- c("RIO BRANCO", "MACEIO", "MACAPA", "MANAUS", "SALVADOR", "FORTALEZA", "BRASÍLIA", "VITORIA",
                "GOIANIA", "SAO LUIS", "CUIABA", "CAMPO GRANDE", "BELO HORIZONTE", "BELÉM", "JOAO PESSOA",
                "CURITIBA", "RECIFE", "TERESINA", "RIO DE JANEIRO", "NATAL", "PORTO ALEGRE", "PORTO VELHO",
                "BOA VISTA", "FLORIANOPOLIS", "SAO PAULO", "ARACAJU", "PALMAS"
                )


removeracentos <- function(x) iconv(x, to = "ASCII//TRANSLIT")
df <- df[, capitalIES := ifelse(removeracentos(str_to_upper(NO_MUNICIPIO_IES)) %in% capitaisBR, 1, 0)]

Apresentação de dados

Agora já é possível fazer diversas análises possíveis. Vamos então responder a algumas perguntas.

Quantos universitários estudam foram de suas cidades e de seus estados de nascimento?

media <- function(x) (round(100*mean(x), 2))
df <- df[, municipio_diferente := ifelse(CO_MUNICIPIO_IES != CO_MUNICIPIO_NASCIMENTO, 1, 0)]
df <- df[, uf_diferente := ifelse(CO_UF_IES != CO_UF_NASCIMENTO, 1, 0)]

media(df$municipio_diferente)

## [1] 57.38

media(df$uf_diferente)

## [1] 22.83

57,38% dos alunos estudam em uma cidade diferente da que nasceram e 22,83% em um estado diferente.

A distribuição desse índice por cidade e por IES pode ser observada nestes gráficos:

temp1 <- df %>%
  tbl_df() %>% # necessário para converter data.table em tbl_df, o formato do dplyr
  group_by(CO_MUNICIPIO_IES) %>%
  summarise(porc_cidade_dif = media(municipio_diferente), porc_uf_dif = media(uf_diferente)) %>%
  gather(referencia, valor, 2:3) %>%
  mutate(referencia = factor(referencia, labels = c("Alunos de outra cidade", "Alunos de outro estado")),
         estratificacao = "Estratificação por cidade") %>% select(-1)

temp2 <- df %>%
  tbl_df() %>% # necessário para converter data.table em tbl_df, o formato do dplyr
  group_by(CO_IES) %>%
  summarise(porc_cidade_dif = media(municipio_diferente), porc_uf_dif = media(uf_diferente)) %>%
  gather(referencia, valor, 2:3) %>%
  mutate(referencia = factor(referencia, labels = c("Alunos de outra cidade", "Alunos de outro estado")),
         estratificacao = "Estratificação por IES") %>% select(-1)

temp <- rbind(temp1, temp2)

ggplot(temp, aes(x = valor)) +
    geom_histogram(binwidth = 5, fill = "#1A476F", color = "black") +
    facet_wrap(estratificacao ~ referencia, scales = "free_y") +
    scale_x_continuous(breaks = seq(0, 100, 10)) + 
    theme_bw() +
    labs(x = "%", y = "Frequência")

A diferença da distribuição de alunos de outra cidade quando se agrega os resultados por cidade ou por IES é curiosa, a ponto de eu não conseguir formular uma explicação para ela.

Quais são as cidades que mais atraem universitários de outros municípios e estados?

# Definir um vetor de cores para cada região geográfica, 
# cada uma terá uma cor fixa, baseada no palette wsj() do pacote ggthemes()
cores <- c("Centro-Oeste" = '#c72e29', 'Nordeste' = '#016392',
           'Norte' = '#be9c2e', 'Sudeste' = '#098154', 'Sul' = '#fb832d')

#p1 = percentual de aluno de outros municipios
p1 <- df %>% tbl_df() %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_municipio = media(municipio_diferente)) %>%
  ungroup() %>%
  top_n(9, porc_municipio) %>%
  ggplot(aes(x = reorder(municipioIES, porc_municipio), y = porc_municipio, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw() +
    scale_y_continuous(limits = c(0, 100)) +
    theme(panel.border = element_blank()) +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Cidades com maior porcentual \nde universitários de cidades diferentes", fill = "Região")

# p2: percentual de aluno de outros estados
p2 <- df %>% tbl_df() %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_uf = media(uf_diferente)) %>%
  ungroup() %>%
  top_n(9, porc_uf) %>%
  ggplot(aes(x = reorder(municipioIES, porc_uf), y = porc_uf, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw()  +
    scale_y_continuous(limits = c(0, 100)) +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Cidades com maior porcentual \nde universitários de estados diferentes", fill = "Região") +
    theme(panel.border = element_blank())

# p1 com apenas capitais
p3 <- df %>% tbl_df() %>%
  filter(capitalIES == 1) %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_municipio = media(municipio_diferente)) %>%
  ungroup() %>%
  top_n(9, porc_municipio) %>%
  ggplot(aes(x = reorder(municipioIES, porc_municipio), y = porc_municipio, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw() +
    scale_y_continuous(limits = c(0, 100)) +
    theme(panel.border = element_blank()) +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Capitais com maior porcentual \nde universitários de cidades diferentes", fill = "Região")

# p2 com apenas capitais
p4 <- df %>% tbl_df() %>%
  filter(capitalIES == 1) %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_uf = media(uf_diferente)) %>%
  ungroup() %>%
  top_n(9, porc_uf) %>%
  ggplot(aes(x = reorder(municipioIES, porc_uf), y = porc_uf, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw()  +
    scale_y_continuous(limits = c(0, 100)) +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Capitais com maior porcentual \nde universitários de estados diferentes", fill = "Região") +
    theme(panel.border = element_blank())

Para isso, uma novidade aqui no blog: será usado o pacote cowplot para juntar quatro diferentes gráficos em uma imagem só.

# juntar quatro gráficos em um só
# Retira a legenda dos gráficos (para não ficar redundante) e 
# reduz a margem da direita e da esquerda para reduzir o espaço vazio
p1 <- p1 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))
p2 <- p2 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))
p3 <- p3 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))
p4 <- p4 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))

prow <- plot_grid(p1, p3, p2, p4, align = "vh", nrow = 2)

# plotar legenda embaixo dos 4 gráficos
grobs <- ggplotGrob(p3 + theme(legend.position="bottom"))$grobs
legend_b <- grobs[[which(sapply(grobs, function(x) x$name) == "guide-box")]]
# adicionar anotação:
p <- add_sub(prow, "Em % dos universitários da cidade")
p <- plot_grid(p, legend_b, ncol = 1, rel_heights = c(1, .2))
ggdraw(p)

Ou seja: para as 10 cidades com o maior porcentual de alunos de fora do município, esse valor é de 100%. O histograma dessa distribuição mostra que esse resultado não é surpreendente, pois existem mais de 20 cidades que têm no mínimo 95% de alunos de outra cidade. Já quando se trata de analisar as cidades que mais atraem universitários de outros estados, quatro cidades goianas e três paranaenses despontam como capitais universitárias. Surpreendentemente (ao menos para mim), apenas uma cidade do Sudeste consta nesse Top 10. Dentre as capitais, Palmas e Campo Grande se destacam como pólos universitários.

Possivelmente, o resultado será diferente se considerarmos, ao invés da quantidade relativa, o número absoluto de universitários, que é o que é feito abaixo:

#p1 = percentual de aluno de outros municipios
p1 <- df %>% tbl_df() %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_municipio = sum(municipio_diferente)/1000) %>%
  ungroup() %>%
  top_n(9, porc_municipio) %>%
  ggplot(aes(x = reorder(municipioIES, porc_municipio), y = porc_municipio, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw() +
    scale_y_continuous(labels = comma) +
    theme(panel.border = element_blank()) +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Cidades com maior número\nde universitários de cidades diferentes", fill = "Região")

# p2: percentual de aluno de outros estados
p2 <- df %>% tbl_df() %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_uf = sum(uf_diferente)/1000) %>%
  ungroup() %>%
  top_n(9, porc_uf) %>%
  ggplot(aes(x = reorder(municipioIES, porc_uf), y = porc_uf, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw()  +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Cidades com maior número\nde universitários de estados diferentes", fill = "Região") +
    theme(panel.border = element_blank())

# p1 com apenas capitais
p3 <- df %>% tbl_df() %>%
  filter(capitalIES == 1) %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_municipio = sum(municipio_diferente)/1000) %>%
  ungroup() %>%
  top_n(9, porc_municipio) %>%
  ggplot(aes(x = reorder(municipioIES, porc_municipio), y = porc_municipio, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw() +
    theme(panel.border = element_blank()) +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Capitais com maior número\nde universitários de cidades diferentes", fill = "Região")

# p2 com apenas capitais
p4 <- df %>% tbl_df() %>%
  filter(capitalIES == 1) %>%
  group_by(municipioIES, NO_REGIAO_IES) %>%
  summarise(porc_uf = sum(uf_diferente)/1000) %>%
  ungroup() %>%
  top_n(9, porc_uf) %>%
  ggplot(aes(x = reorder(municipioIES, porc_uf), y = porc_uf, fill = NO_REGIAO_IES)) +
    geom_bar(stat = "identity") +
    scale_fill_manual(values = cores) +
    theme_bw()  +
    coord_flip() +
    labs(x = NULL, y = NULL,
         title = "Capitais com maior número\nde universitários de estados diferentes", fill = "Região") +
    theme(panel.border = element_blank())

# acrescentar quatro gráficos em um só
p1 <- p1 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))
p2 <- p2 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))
p3 <- p3 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))
p4 <- p4 + theme(legend.position = "none", plot.margin = unit(c(6, 0, 6, 0), "pt"), plot.title = element_text(size = 12))

prow <- plot_grid(p1, p3, p2, p4, align = "vh", vjust = 30, nrow = 2)

grobs <- ggplotGrob(p3 + theme(legend.position="bottom"))$grobs
legend_b <- grobs[[which(sapply(grobs, function(x) x$name) == "guide-box")]]
p <- add_sub(prow, "Em milhares de universitários")
p <- plot_grid(p, legend_b, ncol = 1, rel_heights = c(1, .2))
ggdraw(p)

Já que analisamos os resultados por cidade, podemos fazer o mesmo por estado: quais UFs recebem mais estudantes de outros estados?

p <- df[, list(num_absoluto = sum(uf_diferente)/1000, porcentual = media(uf_diferente)), by = .(SGL_UF_IES, NO_REGIAO_IES)]

ggplot(p, aes(x = num_absoluto, y = porcentual, color = NO_REGIAO_IES, label = SGL_UF_IES)) +
    geom_point() +
    geom_text_repel() +
    scale_x_continuous(labels = comma) +
    scale_color_manual(values = cores) +
    labs(x = "Quantidade absoluta (milhares)",
         y = "% dos estudantes que são de outro estado",
         title = "Quantidade absoluta e porcentual do total de universitários de \noutros estados para cada UF",
         color = "Região") +
    theme_minimal() + theme(legend.position = "right")

O estado do Paraná é disparado o campeão nesse quesito em ambos os critérios, isto é, tanto por quantidade absoluta - cerca de 600.000 universitários de outras partes do Brasil estudam na Rússia brasileira - como por porcentual - aquela quantidade corresponde a cerca de 55% do total de estudantes matriculados em universidades paranaenses. Na outra ponta do gráfico, a ponta inferior esquerda, a maioria dos estados são da região Nordeste e Norte, com destaque negativo para Maranhão, Alagoas e Bahia, três dos estados mais pobres do país. Arrisco dizer que, por serem mais pobres que a média nacional, as universidades desses estados não têm reputação suficiente para atrair universitários de outros estados do Brasil.

Conclusão

Este é o fim de mais um post. No próximo post, falarei sobre o efeito do Enem no movimento migracional

# Salvar o arquivo para posteriores análises:
write_feather(df, "dm_aluno_tratado.feather")