Seminario de Instrumentos Computacionales

class: center, middle, inverse, title-slide

.title[
# Seminario de Instrumentos Computacionales
]
.subtitle[
## R - Clase 3
]
.author[
### Cristian Bonavida
]

---

## Repaso Clase 2

En la clase 2, nos metimos de lleno a manipular datos. Aprendimos el ABC de dplyr para realizar las transformaciones esenciales que necesitamos al trabajar con datos tabulares

Entre otras cosas aprendimos a:

- filtrar observaciones

- seleccionar y renombrar columnas

- crear o modificar columnas

- agrupar la base según alguna/s variables

- generar tabla resumen

- operar sobre múltiples columnas a la vez

---

## Manipular bases

En esencia, estuvimos viendo cómo manipular filas (filtrar y generar subconjuntos de datos), cómo manipular columnas (transformarlas y generar nuevas) y cómo agrupar los datos para generar estimaciones o cálculos por grupo
 
--

<br>

Ahora veamos cómo **manipular el dataframe como conjunto**, para relacionarlo con otros

Tipicamente existen dos tipos de operaciones entre bases de datos

- Combinar bases de datos

-  Cruzar bases (Join)
  
  -  Extender bases (Append)

- Reshape de una base de datos

---

## Manipular bases

Ahora veamos cómo **manipular el dataframe como conjunto**, para relacionarlo con otros

Tipicamente existen dos tipos de operaciones entre bases de datos

- **Combinar bases de datos**

-  **Cruzar bases (Join)**
  
  -  Extender bases (Append)

- Reshape de una base de datos

---

## Manipular bases: join

El análisis de datos no implica trabajar, con una sola tabla o dataframe, mas bien se suele trabajar con múltiples bases y la mayoría de las veces es necesario combinarlos parar poder dar respuestas a las preguntas que motivan el análisis

Varias tablas de datos se denominan **datos relacionales** por que para **vincularlas** es necesario establecer algún tipo de relación.

Este trabajo relacional de combinar bases tiene como objetivo agregar nuevas variables a un marco de datos a partir de observaciones coincidentes en otro, lo que se conoce como *mutating joins*

Realizamos esta operación cuando necesitamos juntar columnas que están en dataframes diferentes

Por ejemplo, en la EPH individual tenemos columnas diferentes de las que tenemos en la EPH por hogar y (casi) siempre necesitamos juntarlas

---

## Manipular bases: join

Para combinar dos bases necesitamos un **atributo en común**, es decir que haya una columna que se repita en ambas, que nos permita identificar a cada unidad en cada base para poder mantener las columnas de la base X y adosar las columnas de la base Y

Si pensamos en el caso de la base EPH individual y la EPH hogar tendríamos una estructura de este estilo:

---

## Manipular bases: join

En la base de individuos cada hogar se repite *n* veces, siendo *n* la cantidad de miembros del hogar. 
--
En este caso el hogar `1` tiene un miembro, el hogar `2` tiene tres miembros y el hogar `3` tiene dos.

Mientras que en la base de hogar tenemos una sola observación por hogar

**La estructura de las bases son distintas**. Y entender cuál es la estructura de cada base en términos del identificador que las vincula, es importante para entender qué estamos haciendo.

Estamos combinando una base que tiene varias observaciones **para un mismo identificador** junto con otra que tiene una sola observación por identificador

---

## Manipular bases: join

Según como sea la estructura de las bases a combinar tendremos 4 posibilidades diferentes:

- **1-1 (one to one)**
--
 Ambas bases de datos tienen una sola observación por id

- **1-m (one to many)**
--
 La base de la izquierda tiene una única obs por id y a la derecha múltiples

- **m-1 (many to one)**
--
 La base de la izquierda tiene múltiples obs por id y a la derecha una única

- **m-m (many to many)**
--
 Ambas bases tiene múltilpes observaaciones por id
   
   
---

## Manipular bases: join

La estructura de la base resultante dependerá de la estructura de cada una

Apliquemos el ejemplo de la PEH individual, a la cual queremos adosar algunas columnas de la EPH de hogares. 
--
Carguemos primero la base y seleccionemos 4 variables en cada una, aparte de las identificadoras

```r
eph_ind <- read.csv("datos/Clase2/EPH_3T_22/usu_individual_T322.txt", sep=";", dec=",")
eph_ind <- eph_ind %>% 
                     select(CODUSU, NRO_HOGAR, AGLOMERADO, CH03, CH04, CH06) %>% 
                     rename_with(tolower) %>% 
                     rename(relacion=ch03, sexo=ch04, edad=ch06)
```

```r
eph_hog <- read.csv("datos/Clase2/EPH_3T_22/usu_hogar_T322.txt", sep=";", dec=",")
eph_hog <- eph_hog %>% 
                     select(CODUSU, NRO_HOGAR, AGLOMERADO, IV1, IV2, IV6, IV8) %>% 
                     rename_with(tolower) %>% 
                     rename(tipo_viv=iv1, n_ambiente=iv2, agua=iv6, baño=iv8)
```

---

## Manipular bases: join

La función `inner_join()` nos permite realizar esta combinación. Para ello debemos especificar 3 argumentos esenciales

- `x=` dataframe de la izquierda
- `y=` dataframe de la derecha
- `by=` variable/s identificadora

El atributo para vincular ambas bases será el **identificador único** que es la combinación de las variables CODUSU Y NRO_HOGAR,

```r
eph_all <- inner_join(x=eph_ind, y=eph_hog, by=c("codusu", "nro_hogar"))
```

<br />

Revisemos la dimensión de la base resultante. Debería tener cuantas filas?...

---

## Manipular bases: join

Pensemos en la estructura de los datos.
--
 Realizamos una combinación del tipo  **m-1 (many to one)**
--
. Si logramos asignarle correctamente a cada miembro las variables de su hogar, deberíamos tener la misma cantidad de filas que la base individual

```r
nrow(eph_all)==nrow(eph_ind)
```

```
## [1] TRUE
```

Pero ahora nuestra base tiene el agregado de las columnas adosadas:

```r
names(eph_all)
```

```
##  [1] "codusu"       "nro_hogar"    "aglomerado.x" "relacion"     "sexo"        
##  [6] "edad"         "aglomerado.y" "tipo_viv"     "n_ambiente"   "agua"        
## [11] "baño"
```

--
En la base resultante tenemos para cada persona, las variables que corresponden a nivel hogar. 
--
 **Nuestro join fue exitoso!**

---

## Manipular bases: join

En el output de nombres vemos que R no duplicó las columnas que funcionaban de id, pero la columna de aglomerado que estaba presente en ambas bases quedó duplicada indicada con un subíndice por default.

A veces es útil mantener una misma columna de bases distintas, para chequear que el merge funcionó bien o simplemente porque necesitamos compararlas 
--
. En estos casos el argumento `suffix=` nos permite agregar un sufijo a elección, por ejemplo:

```r
eph_all <- inner_join(x=eph_ind, y=eph_hog, by=c("codusu", "nro_hogar"), suffix = c("_ind", "_hog"))
names(eph_all)
```

```
##  [1] "codusu"         "nro_hogar"      "aglomerado_ind" "relacion"      
##  [5] "sexo"           "edad"           "aglomerado_hog" "tipo_viv"      
##  [9] "n_ambiente"     "agua"           "baño"
```

---

## Manipular bases: join

El ejemplo con la EPH es una caso particular donde por construcción todas las observaciones en la base de individuos encuentran una correspondencia con el id por hogar

En un mismo trimestre nunca tendremos el caso de que en la base de la izquierda **hay observaciones que no matcheen con al menos una** de la derecha, ni viceversa

Sin embargo esto sí es algo muy común al trabajar con cualquier otra bases de datos. Es probable que al combinar dos dataframes nos encontremos con un caso como este o similar:

---

## Manipular bases: join

Pero qué pasa si tenemos **observaciones diferentes** en cada base.

--
Es decir en la base X tenemos filas que no están presentes en la base Y, o viceversa, o ambos casos en simultaneo

**¿Queremos mantener todas, solo las de la base X, o solo las de la base Y?**

Cómo combinamos o preservamos las filas entre bases depende del tipo de cruce que haremos. Es decir del criterio con el que definimos este emparejamiento o match entre filas.

En el ejemplo anterior utilizamos el `inner_join()`, pero en realidad este es una de 4 las opciones que podemos emplear para **definir un match**

- **Inner join** mantiene solo las observaciones comunes entre x e y
- **Left join** mantiene todas las observaciones que están en x
- **Right join** mantiene todas las observaciones que están en y
- **Full join** mantiene todas las observaciones que están tanto en x como en y

---

## Manipular bases: join

En la figura anterior ilustramos un caso donde las observaciones difieren entre bases, incluso cuando tengamos una relación de 1-1 (one to one)

La figura nos ayuda a clarificar que, el tipo de relación o **correspondencia entre observaciones** y **los casos de observaciones faltantes** entre bases, aunque puedan confundirse, son en realidad son **dos cuestinoes diferentes**

- El tipo de relación o correspondencia: refiere a si *un mismo id matchea con mas de una fila* en alguna de las bases

- Las observaciones faltantes o diferentes: responde al criterio de qué hacer con las *filas que no encuentran un match*

---

## Manipular bases: join

Más allá del tipo de relación entre bases (1-1; m-1; 1-m; m-m) podemos tener filas que no encuentren un match

Entonces debemos **definir un criterio** para tratar estas filas sin match, es decir para preservarlas o descartarlas según en qué base se encuentren. Esto es lo que hacemos con laos 4 tipos de funciones join: `inner_join()` `left_join()` `right_join()` `full_join()`

Veamos cada una en detalle. Para ilustrar usaremos la relación mas simple de 1-1 y haremos la aplicación con un sampleo de las bases de EPH, por lo que la relación sera de m-1

---