Explorando corpus con R: las palabras en acción

Demostración

Durante esta ejercitación utilizaremos funciones básicas en R para manipulación de datos, dataframe, vectores, etc, formas de iteración, formas de visualizaciones, y también una aproximación al análisis textual.

EL corpus con el que trabajaremos está compuesto por crónicas de viajeros y escritos de intelectuales del siglo XVI-XVII en la región de Paraguay y el Río de la Plata, utilizadas en nuestro Laboratorio.

Cada archivo fue denominado con el nombre del autor, guion bajo _ y las primeras palabras de la obra, con extensión .txt, es decir como texto plano.

Recuerden abrir RStudio, y en la parte superior a la derecha, desde nuevo script de R (cómo instalar R/RStudio y algunos comandos básicos se pueden encontrar en este link), allí copia cada uno de los comandos que presento a continuación.

Inicialmente, partiremos con la preparación de nuestro entorno de trabajo, (recuerden que al quitar el signo # del código puedes correrlo):

rm(list = ls()) #limpiamos el entorno

# setwd("/tucarpetadedestino") #seteo mi lugar de trabajo

Ahora instalaremos las librerías necesarias:

    # install.packages("tm")
    # install.packages("gridExtra")
    # install.packages("dplyr")
    # install.packages("ggplot2")
    # install.packages("wordcloud")
    # install.packages("wordcloud2")
    # install.packages("tidyverse")
    # install.packages("tidytext")

Primero paso: Vamos a descargar y descomprimir la carpeta ZIP, o se puede correr el sigueinte comando download.file descargarás el archivo *.zip con la url entre comillas, luego indicarás el nombre del archivo y finalmente con el parámetro wget se indica el método utilizado para realizar la descarga, aclaración en Windows debes cambiarlo por wininet. Luego, descomprime el archivo con el comando unzip. A continuación ingresa a tu carpeta de trabajo.

A continuación comenzaremos a trabajar en nuestro corpus, con las siguientes librerías, que cargamos en un paso previo:

  • tidyverse1 y tidytext2 Estas librerías serán fundamentales para la parte más interesante de este módulo, donde aprenderemos a limpiar y transformar datos en R. Este trabajo es indispensable para el text mining, que realizado en R, contará con varias ventajas: no requiere muestreo para extraer información, permite aplicar varias metodologías de forma rápida y genera procedimientos auditables y reproducibles. El principio básico de un dataframe tidy es que cada columna representa una variable y cada línea, una observación.

    La librería Tidytext permite realizar minería de texto con el uso de herramientas tidy, generando datos estructurados y tidy a partir de datos textuales.

  • ggplot23 es un paquete que permite la visualización de datos, implementa una representación organizada y en capas, de marcos, ejes, textos, títulos, etc., utilizando diferentes colores, símbolos, tamaños, etc. Fue desarrollada por L. Wilkinson et. al en 2000. No hace falta llamarlo pues se encuentra incluido dentro de tidyverse, sin embargo, es fundamental considerarlo porque es muy útil en R.

  • dplyr , este paquete posee funciones auxiliares necesarias para la manipulación y transformación de datos. En particular, el operador, pipe, %>% permite escribir funciones más legibles para seres humanos.

library(tidytext) #recuerda que si no está instalada la librería primero debes hacerlo mediante install.packages()
library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.4     ✔ readr     2.1.6
## ✔ forcats   1.0.1     ✔ stringr   1.6.0
## ✔ ggplot2   4.0.3     ✔ tibble    3.3.0
## ✔ lubridate 1.9.4     ✔ tidyr     1.3.1
## ✔ purrr     1.2.0     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag()    masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(dplyr)
library(purrr) # importante para map_dbl()

Una vez instalados estos requerimientos, llamaremos a la función list.file para corroborar que los archivos necesarios se encuentran en la carpeta donde estás trabajando.

list.files("corpus2", pattern='txt') 
##  [1] "Azara_Descripcion.txt"        "DiazDeGuzman_ArgManus.txt"   
##  [3] "DiazDeGuzman_Chiriguanos.txt" "DuBiscay_RelDeUnViaje.txt"   
##  [5] "Hudson_DiasDeOcio.txt"        "LeyendaAraucana.txt"         
##  [7] "PHernandez_RelCosas.txt"      "Pigafetta_PrimerViaje.txt"   
##  [9] "PMoreno_ViajePatagonia.txt"   "Schmidl_ViajeAlRdP.txt"      
## [11] "Viedma_Diario.txt"

En un segundo paso, crearemos una nueva lista, a la que puedes llamar archivos, cuyos elementos serán los textos planos dentro de la carpeta corpus, para ello, utilizarás, nuevamente, la función list.files, y le indicarás que tipo de archivo debe contener, txt, con la declaración pattern. Recuerda estar trabajando en la carpeta donde se encuentran tus archivos, sino deberás incorporar un declaración que indique la ubicación, path =, por ejemplo: list.files(path = "obras", pattern = "\\.txt$").

setwd("corpus2")

pathwd <- getwd() #guardamos la carpeta actual (setwd devuelve el directorio anterior, por eso usamos getwd)

archivos <- list.files(pattern = "\\.txt$", full.names = TRUE)
    
archivos #corroboramos que la lista es correcta
##  [1] "./Azara_Descripcion.txt"        "./DiazDeGuzman_ArgManus.txt"   
##  [3] "./DiazDeGuzman_Chiriguanos.txt" "./DuBiscay_RelDeUnViaje.txt"   
##  [5] "./Hudson_DiasDeOcio.txt"        "./LeyendaAraucana.txt"         
##  [7] "./PHernandez_RelCosas.txt"      "./Pigafetta_PrimerViaje.txt"   
##  [9] "./PMoreno_ViajePatagonia.txt"   "./Schmidl_ViajeAlRdP.txt"      
## [11] "./Viedma_Diario.txt"
class(archivos) 
## [1] "character"
#la función 'class()' devuelve el tipo de objeto, en este caso podrás ver que se trata de una lista de caracteres
length(archivos) 
## [1] 11
#la función 'length()' permite obtener el tamaño del objeto que se incluye dentro de los paréntesis

Ahora, para facilitar la visualización de cada texto en los siguientes pasos, eliminaremos lo que no es necesario del nombre de cada archivo. Para ello, se utilizará la función gsub, de gran utilidad para limpieza de datos que está incluida por defecto en R. Los parámetros indicarán, según orden de escritura, caracteres que se eliminarán (\\. será para indicar que se busca un . y no otro carácter según las reglas de expresión regular3), los que se agregarán (las doble comillas indican que no se agregará nada), y finalmente, con perl, se determina que se utilicen las reglas de expresiones regulares4.

textos_archivo <- gsub(".txt", "", archivos, perl = TRUE)
    
    #Ahora llama a la lista para corroborar que se ha realizado la limpieza
    
textos_archivo
##  [1] "./Azara_Descripcion"        "./DiazDeGuzman_ArgManus"   
##  [3] "./DiazDeGuzman_Chiriguanos" "./DuBiscay_RelDeUnViaje"   
##  [5] "./Hudson_DiasDeOcio"        "./LeyendaAraucana"         
##  [7] "./PHernandez_RelCosas"      "./Pigafetta_PrimerViaje"   
##  [9] "./PMoreno_ViajePatagonia"   "./Schmidl_ViajeAlRdP"      
## [11] "./Viedma_Diario"

Cuarto paso, con la lista de textos acorde para continuar el ejercicio, procedemos a armar un tibble, este objeto es muy similar a los data.frame presentados en la unidad anterior, pues es rectangular, organizado en filas y columnas, y pertenece al paquete tidyverse.

Existen tres diferencias entre los data.frame y los tibble, la primera es como se muestran en consola; segunda, los tibble eliminan por defecto rownames, e incluso no se recomienda su uso, para evitar problemas de compatibilidad principalmente con bases de datos SQL; por último, no convierte a las string (cadenas de caracteres) en factores. Igualmente, ambos objetos son intercambiables5.

Armaremos el tibble con tres columnas, la primera y última tendrán caracteres dentro de sus variables, y parrafo será numérica, como se muestra a continuación:

mensajes <- tibble(textos_archivo = character(),
                       parrafo = numeric(),
                       texto = character()) 
    
    #Si llamas a "mensajes" comprobarás que figura como vacío, esto es porque aún no se ha completado con datos, ello lo realizarás en el próximo paso.
    
    mensajes
## # A tibble: 0 × 3
## # ℹ 3 variables: textos_archivo <chr>, parrafo <dbl>, texto <chr>

Para poder completar el tibble mensajes que creamos, lo hacemos mediante una iteración con el bucle for, que permite repetir instrucciones, evaluando el mismo código para cada elemento de un vector o lista.

En este ejercicio, se le indica que comience la iteración en 1 hasta el tamaño (length) de archivos. Luego, armará en el objeto obras lo que leerá con la función read_lines, allí se indicará que con la función paste junte los textos dentro de tu carpeta de trabajo, importante añadir esa dirección, con el contenido de archivos[i] , cuyo valor cambiará en cada repetición del bucle. El parámetro sep = será para indicar que los pegue con “/“ .

Paso siguiente, convertiremos lo que acaba de leer en una nueva tabla, otra tibble llamada temporal, tal como hiciste con la anterior de mensajes, indicando que complete con cada texto. La primer columna, parrafo indicará el número de párrafos de cada texto, se lo adjudicará con la función seq_along que contará hasta el número máximo en el objeto obras y por último, en texto se agregará cada párrafo. Para finalizar la repetición, indicarás que en mensajes se sume la tabla temporal, mediante la función bind_rows.

#Iteración 
    
    for (i in seq_along(archivos)){
      obras <- read_lines(paste(pathwd, #recuerden que uso pathwd porque es donde me situé y están mis archivos
                                   archivos[i],
                                   sep = "/"))
      temporal <- tibble(textos_archivo = textos_archivo[i],
                         parrafo = seq_along(obras),
                         texto = obras)
      mensajes <- bind_rows(mensajes, temporal)
    } 
    
    mensajes #corrobora que se creó correctamente la tabla
## # A tibble: 7,891 × 3
##    textos_archivo      parrafo texto                                            
##    <chr>                 <dbl> <chr>                                            
##  1 ./Azara_Descripcion       1 "Prólogo del autor"                              
##  2 ./Azara_Descripcion       2 ""                                               
##  3 ./Azara_Descripcion       3 "1. El año de 1781 me embarqué de orden del rey …
##  4 ./Azara_Descripcion       4 ""                                               
##  5 ./Azara_Descripcion       5 "2. En cuanto a los ríos principales, creí ocios…
##  6 ./Azara_Descripcion       6 ""                                               
##  7 ./Azara_Descripcion       7 "Así copié las primeras vertientes del Paraná ha…
##  8 ./Azara_Descripcion       8 ""                                               
##  9 ./Azara_Descripcion       9 "3. Por lo que hace a los tributarios de los cit…
## 10 ./Azara_Descripcion      10 ""                                               
## # ℹ 7,881 more rows

Este sexto paso, será para proceder con la tokenización del corpus, es decir extraer sus unidades de análisis. Para ello, se utilizará la función unnest_tokens que se encuentra dentro del paquete tidytext; se indicará que a cada fila de parrafo, lo separe a nivel de palabra según la columna texto.

textos_palabras estará formado por tres columnas, una que indicará el texto, la otra el número de párrafo y finalmente, las palabras de cada uno, pero separadas. Recuerda que el operador pipe (%>%) fue presentado en la primera unidad.

textos_palabras <- mensajes %>% 
      unnest_tokens(palabra, texto)
    
    
textos_palabras
## # A tibble: 463,141 × 3
##    textos_archivo      parrafo palabra 
##    <chr>                 <dbl> <chr>   
##  1 ./Azara_Descripcion       1 prólogo 
##  2 ./Azara_Descripcion       1 del     
##  3 ./Azara_Descripcion       1 autor   
##  4 ./Azara_Descripcion       3 1       
##  5 ./Azara_Descripcion       3 el      
##  6 ./Azara_Descripcion       3 año     
##  7 ./Azara_Descripcion       3 de      
##  8 ./Azara_Descripcion       3 1781    
##  9 ./Azara_Descripcion       3 me      
## 10 ./Azara_Descripcion       3 embarqué
## # ℹ 463,131 more rows

Como siguiente paso, se eliminarán las palabras vacías, que no serán útil en este ejercicio, pero si pueden servir para otros análisis; asimismo, lo realizarás para continuar con la parte de ejercitación que solicitaré como extra. Para ello, se armará una una tabla con las palabras que se obtienen de la función get_stopwords que forma parte del paquete tidytext, y se aclarará que se utilice en español.

stopwords1 <- get_stopwords("es")
    
    stopwords1
## # A tibble: 308 × 2
##    word  lexicon 
##    <chr> <chr>   
##  1 de    snowball
##  2 la    snowball
##  3 que   snowball
##  4 el    snowball
##  5 en    snowball
##  6 y     snowball
##  7 a     snowball
##  8 los   snowball
##  9 del   snowball
## 10 se    snowball
## # ℹ 298 more rows

Paso siguiente, se le indicará que cambie la columna word por palabra, mediante la función rename, que forma parte del paquete dplyr, que a su vez pertenece a tidyverse, es útil para cambiar el nombre de variables u objetos. Cuestión que debe considerarse al momento de renombrar, es que primero debe escribirse el nuevo término, y a continuación el que se va a cambiar. Este paso es importante para poder eliminar las palabras vacías de textos_palabras.

stopwords1 <- stopwords1 %>%
rename(palabra = word)

Ahora, para poder obtener una nueva lista con palabras vacías excluidas, se usará la función anti_join que compara las columnas con el mismo nombre, en este caso palabra y elimina los elementos que coinciden. Cuando finalice la ejecución, aparece un mensaje que significa que las dos listas tienen iguales elementos en esas columnas, en caso contraria, devolverá mensaje de error.

textos_limpio <- textos_palabras %>%
anti_join(stopwords1)
## Joining with `by = join_by(palabra)`

Como paso siguiente, se procederá a la limpieza de la lista textos_palabras y textos_limpio. Para ello, se eliminarán dígitos, palabras con menos de tres caracteres, celdas sin caracteres y las que contengan puntos, todo ello se realizará en la columna palabra. Por lo cual, se utilizarán las siguientes funciones:

  • mutate, que crea, modifica y elimina columnas según ciertos parámetros que se le adjudican, se encuentra dentro del paquete tidyverse. En este caso se le sumará str_remove_all (función que se utiliza para eliminar coincidencias en una cadena de caracteres) para que elimine en la columna palabra los números que aparezcan.

  • filter, será para filtrar las palabras con menos de tres caracteres, con la ayuda de nchar que cuenta el número de caracteres; también se utilizará para eliminar los espacios con valores de caracteres vacíos y cuando encuentre un . o n° (símbolo de número que figura en los textos).

Repetirás las limpieza en las dos listas, recuerda guardar las que no fueron limpias, adjudicando nuevos nombres a las que si se hayan limpiado.

#sin stopwords
textos_pal_limpio <- textos_palabras %>%
mutate(palabra = str_remove_all(palabra, "\\d+")) %>%
filter(nchar(palabra) >= 3) %>% #en este item puedo dejar que sea estrictamente mayor a 3, pero lo he dejado como igual o mayor porque había algunas palabras que podrían ser de utilidad
filter(palabra != "") %>%   
filter(palabra != ".") %>%   
filter(palabra != "n°") %>%   
filter(palabra != "del")

textos_pal_limpio
## # A tibble: 321,620 × 3
##    textos_archivo      parrafo palabra 
##    <chr>                 <dbl> <chr>   
##  1 ./Azara_Descripcion       1 prólogo 
##  2 ./Azara_Descripcion       1 autor   
##  3 ./Azara_Descripcion       3 año     
##  4 ./Azara_Descripcion       3 embarqué
##  5 ./Azara_Descripcion       3 orden   
##  6 ./Azara_Descripcion       3 rey     
##  7 ./Azara_Descripcion       3 lisboa  
##  8 ./Azara_Descripcion       3 arribé  
##  9 ./Azara_Descripcion       3 brasil  
## 10 ./Azara_Descripcion       3 donde   
## # ℹ 321,610 more rows

Indica nuevo nombre a esta tabla que se ha limpiado. Esta nueva tabla será útil para realizar la parte de ejercitación extra.

#con stopwords
mensajes_limpio <- textos_limpio %>%
mutate(palabra = str_remove_all(palabra, "\\d+")) %>%
filter(nchar(palabra) >= 3) %>% 
filter(palabra != "") %>%   
filter(palabra != ".") %>%   
filter(palabra != "n°")


mensajes_limpio
## # A tibble: 226,944 × 3
##    textos_archivo      parrafo palabra 
##    <chr>                 <dbl> <chr>   
##  1 ./Azara_Descripcion       1 prólogo 
##  2 ./Azara_Descripcion       1 autor   
##  3 ./Azara_Descripcion       3 año     
##  4 ./Azara_Descripcion       3 embarqué
##  5 ./Azara_Descripcion       3 orden   
##  6 ./Azara_Descripcion       3 rey     
##  7 ./Azara_Descripcion       3 lisboa  
##  8 ./Azara_Descripcion       3 arribé  
##  9 ./Azara_Descripcion       3 brasil  
## 10 ./Azara_Descripcion       3 pasé    
## # ℹ 226,934 more rows

En el paso que sigue, se dará inicio a los análisis de frecuencia y gráficos de los textos del corpus. Para lo cual, primero se contará las palabras que se encuentran dentro de la columna palabra en textos_pal_limpio, por medio de la función count, que también pertenece al paquete tidyverse, y presentará la frecuencia absoluta de cada una, o sea la cantidad de veces que se repite.

textos_pal_limpio %>% 
  count(palabra, sort = TRUE)
## # A tibble: 33,061 × 2
##    palabra     n
##    <chr>   <int>
##  1 que     16275
##  2 los     10278
##  3 con      5814
##  4 las      5373
##  5 por      5100
##  6 para     2891
##  7 una      2870
##  8 más      2195
##  9 como     2128
## 10 sus      1999
## # ℹ 33,051 more rows
mensajes_limpio %>% 
  count(palabra, sort = TRUE)
## # A tibble: 32,854 × 2
##    palabra     n
##    <chr>   <int>
##  1 indios   1272
##  2 río      1179
##  3 dos      1012
##  4 tierra    932
##  5 tan       704
##  6 dicho     698
##  7 día       671
##  8 gente     628
##  9 tiempo    601
## 10 agua      595
## # ℹ 32,844 more rows

Como la frecuencia absoluta no representa ningún dato novedoso, se calculará el promedio de palabras por texto, que no han sido procesadas con la limpieza de datos, pudiéndose calcular entre el resultado del número de columnas obtenidos con la función nrow y el tamaño de la lista archivos, calculado en los primeros pasos.

nrow(textos_palabras) / length(archivos) 
## [1] 42103.73
nrow(mensajes_limpio) / length(archivos)
## [1] 20631.27

Ese dato solo indicará un promedio, por lo cual, a continuación se calculará la frecuencia relativa por palabras y será adjudica como una nueva columna, dentro del tibble limpio: textos_pal_limpio, que se denominará relativa. Por lo cual tendremos tres columnas, la del término, su frecuencia absoluta y la relativa. Por ello armaremos un nuevo tibble denominado, mensajes_frecuencias:

mensajes_frec_limpio <- textos_pal_limpio %>%
  count (palabra, sort = TRUE) %>%
  mutate (relativa = n / sum(n))

mensajes_frec_limpio 
## # A tibble: 33,061 × 3
##    palabra     n relativa
##    <chr>   <int>    <dbl>
##  1 que     16275  0.0506 
##  2 los     10278  0.0320 
##  3 con      5814  0.0181 
##  4 las      5373  0.0167 
##  5 por      5100  0.0159 
##  6 para     2891  0.00899
##  7 una      2870  0.00892
##  8 más      2195  0.00682
##  9 como     2128  0.00662
## 10 sus      1999  0.00622
## # ℹ 33,051 more rows
#veremos como quedó conformado el nuevo dataframe

También, podrías pedir que devuelva la frecuencia por cada texto, para ello, se deberá agrupar por cada uno mediante la función group_by, del paquete tidyverse, únicamente indicando que debe considerar la lista de textos, antes preparada; luego del cálculo de la frecuencia absoluta, debe crearse una nueva columna para la frecuencia relativa, y finalmente que desagrupe los datos, con ungroup(). Todo ello, será guardado en otra tabla frecuencia_text_arch:

frecuencia_text_arch <- textos_pal_limpio %>%
           group_by(textos_archivo) %>%
           count(palabra, sort = T) %>%
           mutate(relativa = n / sum(n)) %>%
           ungroup()

frecuencia_text_arch
## # A tibble: 63,390 × 4
##    textos_archivo           palabra     n relativa
##    <chr>                    <chr>   <int>    <dbl>
##  1 ./Azara_Descripcion      que      4417   0.0528
##  2 ./Azara_Descripcion      los      3360   0.0401
##  3 ./PMoreno_ViajePatagonia que      2622   0.0536
##  4 ./DiazDeGuzman_ArgManus  que      2280   0.0536
##  5 ./Hudson_DiasDeOcio      que      1923   0.0488
##  6 ./Azara_Descripcion      las      1499   0.0179
##  7 ./Azara_Descripcion      con      1377   0.0164
##  8 ./PMoreno_ViajePatagonia los      1377   0.0281
##  9 ./DiazDeGuzman_ArgManus  los      1265   0.0298
## 10 ./DiazDeGuzman_ArgManus  con      1149   0.0270
## # ℹ 63,380 more rows

Ahora veamos cuales son las palabras más frecuentes filtadas en cada uno de los textos.

frecuencia_text_arch_limpio <- mensajes_limpio %>%
           group_by(textos_archivo) %>%
           count(palabra, sort = T) %>%
           mutate(relativa = n / sum(n)) %>%
           ungroup()

frecuencia_text_arch_limpio
## # A tibble: 61,976 × 4
##    textos_archivo             palabra       n relativa
##    <chr>                      <chr>     <int>    <dbl>
##  1 ./Azara_Descripcion        indios      533  0.00905
##  2 ./Azara_Descripcion        río         450  0.00764
##  3 ./DiazDeGuzman_Chiriguanos dicho       380  0.0507 
##  4 ./Azara_Descripcion        dos         351  0.00596
##  5 ./Azara_Descripcion        españoles   346  0.00587
##  6 ./DiazDeGuzman_ArgManus    indios      330  0.0112 
##  7 ./DiazDeGuzman_ArgManus    aquella     288  0.00981
##  8 ./DiazDeGuzman_ArgManus    río         286  0.00975
##  9 ./Pigafetta_PrimerViaje    rey         275  0.0156 
## 10 ./Viedma_Diario            día         272  0.0145 
## # ℹ 61,966 more rows

Ahora, para visualizar estos datos calculados realizarás un gráfico, donde se presentará la frecuencia por cada texto, con la función ggplot, que fue convocada al principio de la práctica con el paquete tidyverse, se le indicará que se graficará en barras, mediante el parámetro geom_bar, luego se indicará con aes, el contenido de los eje X e Y, en ese orden; y por último, con stat, que tipo de transformación estadísticas tendrán los datos. Recuerda que hemos trabajado con textos_pal_limpio y mediante group_by los reunimos según los elementos de la columna textos_archivo:

textos_pal_limpio %>%
  group_by(textos_archivo) %>%
  count(palabra, sort = T) %>%
  ggplot() +
  geom_bar(aes(x = textos_archivo, y = n),
           stat = 'identity', width = 0.7, color = 'purple') +
  labs(y = "Cantidad de palabras",
    x = "Obras",
    title = "Frecuencias absolutas de palabras por textos"
  ) + 
  theme(axis.text.x = element_text(angle = 45, hjust = 1))

Otro gráfico que se puede realizar es observando las palabras más frecuentes de los textos, para ello primero, se llamará a textos_pal_limpio, se pedirá que cuente las ocurrencias, ordenadas de mayor a menor; en la tercera línea se indicará que filtre las ocurrencias mayores a 10, pues se han eliminado las palabras vacías. Como se explicó antes, al crear una nueva tabla interna se debe indicar con mutate, la nueva columna, que almacenará los nuevos datos. Luego se indicarán los parámetros del gráfico. Aclaración, ggplot une sus parámetros con +; el argumento fill hará que cada palabra tenga un color determinado, stat indicará que las barras tendrán la altura según n. Las líneas siguientes presentarán parámetros para título, ubicación de leyenda y etiquetas en los ejes; y con coord_flip() se asegura que el eje Y se imprima de forma horizontal.

textos_pal_limpio %>%
count(palabra, sort = T) %>%
filter(n > 550) %>%
mutate(palabra = reorder(palabra, n)) %>%
ggplot(aes(x = palabra, y = n, fill = palabra)) +
geom_col() +
theme_minimal() +
theme(legend.position = "none") +
ylab("Número de veces que aparecen") +
xlab(NULL) +
ggtitle("Palabras más frecuentes por textos") +
coord_flip()

Puedes guardar el gráfico con el siguiente comando: ggsave(“textos_palabras.png”)

Un gráfico interesante podría realizarse teniendo en cuenta los mensajes limpios, es decir con las stopwords eliminadas, pero observando que sucede en cada obra. En el segundo gráfico podremos ver que, solo le he indicado que fill sea diferenciado por autor.

mensajes_limpio %>%
count(palabra, sort = T) %>%
filter(n > 550) %>%
mutate(palabra = reorder(palabra, n)) %>%
ggplot(aes(x = palabra, y = n, fill = palabra)) +
geom_col() +
theme_minimal() +
theme(legend.position = "none") +
ylab("Número de veces que aparecen") +
xlab(NULL) +
ggtitle("Palabras más frecuentes por textos") +
coord_flip()

mensajes_limpio %>%
  count(palabra, textos_archivo, sort = TRUE) %>%
  group_by(textos_archivo) %>%
  slice_max(n, n = 5) %>%  # top 10 palabras por texto 
  ungroup() %>%
  mutate(textos_archivo = str_replace_all(textos_archivo, "_", " ")) %>%
  mutate(palabra = reorder_within(palabra, n, textos_archivo)) %>%
  ggplot(aes(x = palabra, y = n, fill = textos_archivo)) +
  geom_col(show.legend = FALSE, width = 0.7) +
  facet_wrap(~textos_archivo, scales = "free_y", ncol = 3,
             labeller = label_wrap_gen(width = 15)) +
  scale_x_reordered() +
  coord_flip() +
  labs(
    title = "Palabras más frecuentes por texto",
    y = "Número de apariciones",
    x = NULL
  ) +
  theme_minimal(base_size = 7) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5, size = 10),
    axis.text.y = element_text(size = 7, color = "gray20"),
    axis.text.x = element_text(size = 7, color = "gray30"),
    strip.text = element_text(face = "bold", color = "purple4", size = 7),
    panel.spacing = unit(1, "lines")
  )

mensajes_limpio %>%
   count(palabra, textos_archivo, sort = T) %>%
  filter(n > 150) %>%
  mutate(palabra = reorder(palabra, n)) %>%
  ggplot(aes(x = palabra, y = n, fill = textos_archivo)) +
  geom_col() +
  theme_minimal() +
  ylab("Número de veces que aparecen") +
  xlab(NULL) +
  ggtitle("Palabras más frecuentes por textos") +
  coord_flip()

Otra utilidad que podemos apreciar, y la hemos visto en la parte teórica, es la Ley de Zipf, por lo cual, vamos a reorganizar los parámetros de ggplot para poder apreciar la relación entre cada palabra y su frecuencia.

Para ello, primero se armará una tabla con textos_palabras, con columnas con frecuencia absoluta = n y frecuencia relativa, sumada una última columna, que indicará el orden de palabras en forma descendente, o el número de filas, llamada Clasificacion.

mensajes_frecuencias <- textos_palabras %>%
  count (palabra, sort = TRUE) %>%
  mutate (relativa = n / sum(n)) %>% 
   mutate(Clasificacion = row_number())

mensajes_frecuencias
## # A tibble: 33,819 × 4
##    palabra     n relativa Clasificacion
##    <chr>   <int>    <dbl>         <int>
##  1 de      27087   0.0585             1
##  2 y       18750   0.0405             2
##  3 que     16275   0.0351             3
##  4 la      13559   0.0293             4
##  5 el      11819   0.0255             5
##  6 en      11341   0.0245             6
##  7 a       10988   0.0237             7
##  8 los     10277   0.0222             8
##  9 se       6260   0.0135             9
## 10 con      5814   0.0126            10
## # ℹ 33,809 more rows

Para realizar el gráfico con dichos datos, se utilizará la tabla anterior, y se indicará en la tercera línea, mediante geom_line la forma en que va a realizar la línea del gráfico; y en las últimas dos, se indicará que en ambos ejes se usará la escala logarítimica.

mensajes_frecuencias %>%  
  ggplot(aes(Clasificacion, relativa, color = n)) + 
  geom_line(linewidth = 1.5, alpha = 1, show.legend = FALSE) + 
  scale_x_log10() +
  scale_y_log10()

# Frecuencias de palabras por corpus completo
zipf_df <- mensajes_limpio %>%
  count(palabra, sort = TRUE) %>%
  mutate(rango = row_number(),
         freq_rel = n / sum(n))

# Gráfico log-log
ggplot(zipf_df, aes(x = rango, y = freq_rel)) +
  geom_point(alpha = 0.6, color = "purple4") +
  scale_x_log10() +
  scale_y_log10() +
  labs(
    title = "Ley de Zipf en el corpus",
    x = "Rango de la palabra (log10)",
    y = "Frecuencia relativa (log10)"
  ) +
  theme_minimal(base_size = 14)

Veamos si se corrobora ley de Heaps

textos_palabras %>%
  mutate(textos_archivo = str_replace_all(textos_archivo, "_", " ")) %>%
  group_by(textos_archivo) %>%
  mutate(
    n_tokens = row_number(),
    vocab_acum = cumsum(!duplicated(palabra))
  ) %>%
  ungroup() %>%
  ggplot(aes(x = n_tokens, y = vocab_acum, color = textos_archivo)) +
  geom_line(linewidth = 0.9) +
  scale_color_viridis_d(option = "C") +
  labs(
    title = "Comprobación de la ley de Heaps",
    subtitle = "Crecimiento del vocabulario comparado entre fuentes",
    x = "Cantidad de palabras procesadas (N)",
    y = "Palabras únicas acumuladas (V)",
    color = "Fuente / Autor"
  ) +
  theme_minimal(base_size = 10) +
  theme(
    plot.title = element_text(face = "bold", size = 12),
    plot.subtitle = element_text(size = 9, color = "gray30"),
    legend.position = "right"
  )

Ahora generaré visualizaciones muy utilizadas hoy día, gráficos de nube de palabras. Para lo cual, deberás utilizar los datos de mensajes_limpio y cargaras la librería wordcloud. Primero, indicaremos que seleccione los datos para realizar la nube, luego mediante count se contarán las observaciones, indicando que las clasifique, con el argumento with podremos realizar la evaluación de la función wordcloud, primero le diremos que tome las palabras de determinada frecuencia, max.words, que nos indicará que elija los términos más con determinada frecuencia, y por último indicaremos la gama de colores que deseamos (pueden acceder al siguiente enlace para una paleta de colores completa).

library("wordcloud")
## Cargando paquete requerido: RColorBrewer
mensajes_limpio %>% 
  count(palabra, sort = T) %>%
  with(wordcloud(palabra,
                 n,
                 max.words = 250,
                 color = brewer.pal(8, "Paired")))

La library `wordcloud2`` permite nubes de palabras interactivas, que presentan la frecuencia

library(wordcloud2)

mensajes_limpio %>%
  count(palabra, sort = TRUE) %>%
  wordcloud2(data = ., size = 0.5)

Atribución de Autoría y Palabras Discriminantes (Caso Federalist Papers)

Uno de los hitos fundacionales del análisis textual cuantitativo fue el estudio de Frederick Mosteller y David Wallace (1963) sobre los Federalist Papers5. El problema histórico consistía en atribuir la autoría de 15 ensayos disputados entre Alexander Hamilton, John Jay y James Madison, los denominados padres fundadores de estados unidos.

Para resolver este problema, los autores descubrieron dos principios fundamentales:

  1. Inutilidad de la longitud de oraciones: La estructura sintáctica de ambos autores era prácticamente idéntica en longitud promedio y desviación estándar.

  2. Importancia de las palabras funcionales (no contextuales): Palabras como by, from, to, upon o there presentan tasas de uso marcadamente distintas entre autores y son independientes del tema (a diferencia de palabras contextuales como war o tax).

En nuestro análisis de crónicas coloniales, podemos aplicar una lógica similar para relizar una Comparación del Énfasis Temático y Términos Clave para ello, Analizamos la tasa de frecuencia por cada 1.000 palabras de un conjunto de términos clave de la experiencia colonial (indios, tierra, españoles, puerto, costa, etc.).

A diferencia de la normalización por frecuencia relativa simple, calcular la tasa por 1.000 tokens permite comparar equitativamente el peso de estos conceptos centrales en crónicas de extensiones muy heterogéneas.

1. Tasa de frecuencia por cada 1.000 palabras

Calculamos la tasa de uso de cada término por texto para poder comparar de forma estandarizada.

tasa_palabras <- textos_palabras %>%
  group_by(textos_archivo) %>%
  mutate(total_tokens = n()) %>%
  group_by(textos_archivo, palabra) %>%
  summarize( conteo = n(), tasa_1k = (conteo / first(total_tokens)) * 1000, .groups = "drop" )

tasa_palabras
## # A tibble: 65,034 × 4
##    textos_archivo      palabra conteo tasa_1k
##    <chr>               <chr>    <int>   <dbl>
##  1 ./Azara_Descripcion 1           63 0.517  
##  2 ./Azara_Descripcion 10          46 0.378  
##  3 ./Azara_Descripcion 100          4 0.0328 
##  4 ./Azara_Descripcion 1000         1 0.00821
##  5 ./Azara_Descripcion 101          2 0.0164 
##  6 ./Azara_Descripcion 102          4 0.0328 
##  7 ./Azara_Descripcion 103          4 0.0328 
##  8 ./Azara_Descripcion 104          2 0.0164 
##  9 ./Azara_Descripcion 105          3 0.0246 
## 10 ./Azara_Descripcion 106          2 0.0164 
## # ℹ 65,024 more rows
2. Selección de términos funcionales / gramaticales para la prueba estilométrica

A diferencia de las palabras temáticas, las palabras de función revelan el estilo inconsciente del autor.

palabras_estudio <- c("indios", "río", "plata", "españoles", "puerto", "tierra", "hombres", "indio", "leguas", "costa", "indias", "mujer")

tasa_filtrada <- tasa_palabras %>% filter(palabra %in% palabras_estudio) %>%
  mutate(textos_archivo = str_replace_all(textos_archivo, "_", " "))

tasa_filtrada
## # A tibble: 116 × 4
##    textos_archivo      palabra   conteo tasa_1k
##    <chr>               <chr>      <int>   <dbl>
##  1 ./Azara Descripcion costa         88   0.722
##  2 ./Azara Descripcion españoles    346   2.84 
##  3 ./Azara Descripcion hombres       46   0.378
##  4 ./Azara Descripcion indias        20   0.164
##  5 ./Azara Descripcion indio         47   0.386
##  6 ./Azara Descripcion indios       533   4.38 
##  7 ./Azara Descripcion leguas       106   0.870
##  8 ./Azara Descripcion mujer         32   0.263
##  9 ./Azara Descripcion plata        125   1.03 
## 10 ./Azara Descripcion puerto        61   0.501
## # ℹ 106 more rows
3. Gráfico de cajas (Boxplots) comparativo de uso de palabras discriminantes por texto/autor
ggplot(tasa_filtrada,
       aes(x = textos_archivo,
           y = tasa_1k,
           fill = textos_archivo)) +
  geom_col(show.legend = FALSE) +
  facet_wrap(~ palabra, scales = "free_y", ncol = 4) +
  theme_minimal(base_size = 8) +
  scale_fill_viridis_d(option = "C") +
  labs( title = "Comparación estilométrica de uso de palabras claves",
        subtitle = "Tasa de frecuencia por cada 1.000 palabras",
        x = NULL,
        y = "Frecuencia / 1K Palabras" ) +
  theme(plot.title = element_text(face = "bold", size = 12, margin = margin(b = 4)),
    plot.subtitle = element_text(size = 9.5, color = "gray30", margin = margin(b = 8)),
    
    # Ejes
    axis.text.x = element_text(angle = 60, hjust = 1, size = 7),
    axis.text.y = element_text(size = 7),
    
    # facetas
    strip.text = element_text(face = "bold", color = "purple4", size = 8))

Ejercitación:

Consignas propuestas, elijan una de las siguientes cinco propuestas:

1. Exploración inicial del corpus (manipulación de datos)

A partir del objeto mensajes, respondé:

  • ¿Cuántos textos y cuántos párrafos componen el corpus? (pista: distinct() y count())

  • ¿Cuál es el texto con mayor cantidad de párrafos? ¿Y con menor cantidad?

  • Creá una nueva columna llamada epoca que clasifique cada texto en un solo valor (por ejemplo, “s. XVI” o “s. XVII”) según el autor. Justificá tu criterio.

2. Vocabulario y stopwords (análisis textual)

Usando textos_palabras y mensajes_limpio:

  • Calculá el tipo-token ratio (palabras únicas / total de palabras) de cada texto. ¿Cuál autor presenta el vocabulario más rico?

  • Elegí cinco palabras de contenido (por ejemplo: indios, tierra, leguas…) y cinco stopwords (por ejemplo: porque, aquel…) y compará su frecuencia relativa entre al menos dos textos. ¿Qué diferencias observás y qué podrían estar indicando?

3. Leyes de Zipf y Heaps (interpretación de gráficos)

A partir de los gráficos generados en la clase:

  • Reproducí el gráfico log-log de Zipf pero por cada texto por separado (facet_wrap). ¿La pendiente se mantiene similar entre autores? ¿Qué implica eso?
  • En el gráfico de Heaps: ¿qué texto alcanza mayor vocabulario acumulado con la misma cantidad de tokens? Proponé una hipótesis histórica/discursiva que lo explique.

4. Mini-reporte estilométrico (integración + reproducibilidad)

Elaborá un breve informe (máx. 1 página) que:

  • Modifica la lista palabras_estudio sumando 3 términos propios de la región (Rio de la Plata / Paraguay) que consideren significativos para la comparación estilométrica.
  • Genera el gráfico de barras correspondiente con facet_wrap(\~ palabra).
  • Redacta un párrafo de interpretación:
    • ¿qué autor usa más términos referidos a lo “natural/territorial” y cuál a lo “social/humano”?
    • ¿Qué diría eso sobre tu mirada colonial?

5. Respondé las siguientes preguntas:

  • ¿Cuántos archivos .txt (textos) tiene el corpus? ¿Y cuántos párrafos en total tiene el corpus completo? Escribí el código que usaste para averiguarlo.

  • Tomando mensajes_limpio (el corpus ya sin stopwords), ¿cuáles son las 5 palabras más frecuentes de todo el corpus? Anotalas junto con su frecuencia absoluta (n).

  • ¿Cuántas veces aparece la palabra “indios” en cada texto? (pista: usá count(palabra, textos_archivo) y luego filter(palabra == "indios")). ¿En qué texto es más frecuente?

  • Mirando el gráfico de la Ley de Zipf que hicimos en clase: ¿la curva baja rápido al principio y luego se aplana? Explicá con tus palabras qué significa eso sobre el uso de las palabras en los textos.


  1. Para más información sobre tidyverse acceder a https://www.tidyverse.org/learn/.↩︎

  2. Para más información sobre tidytext en https://cran.r-project.org/web/packages/tidytext/tidytext.pdf.↩︎

  3. Pueden encontrar más información sobre la librería en: https://ggplot2.tidyverse.org/.↩︎

  4. Para más información sobre expresiones regulares, pueden acceder a https://indexingdata.com/blog/analitica-web/guia-basica-expresiones-regulares/.↩︎

  5. Mosteller, F., & Wallace, D. L. (1963). Inference in an authorship problem. Journal of the American Statistical Association, 58(302), 275. https://doi.org/10.1080/01621459.1963.10500849↩︎