Durante esta ejercitación utilizaremos funciones básicas en R para manipulación de datos, dataframe, vectores, etc, formas de iteración, formas de visualizaciones, y también una aproximación al análisis textual.
EL corpus con el que trabajaremos está compuesto por crónicas de viajeros y escritos de intelectuales del siglo XVI-XVII en la región de Paraguay y el Río de la Plata, utilizadas en nuestro Laboratorio.
Cada archivo fue denominado con el nombre del autor,
guion bajo _ y las primeras palabras de la obra, con extensión
.txt, es decir como texto plano.
Recuerden abrir RStudio, y en la parte superior a la derecha, desde
nuevo script de R (cómo instalar R/RStudio y algunos
comandos básicos se pueden encontrar en este link),
allí copia cada uno de los comandos que presento a continuación.
Inicialmente, partiremos con la preparación de nuestro entorno de trabajo, (recuerden que al quitar el signo # del código puedes correrlo):
rm(list = ls()) #limpiamos el entorno
# setwd("/tucarpetadedestino") #seteo mi lugar de trabajo
Ahora instalaremos las librerías necesarias:
# install.packages("tm")
# install.packages("gridExtra")
# install.packages("dplyr")
# install.packages("ggplot2")
# install.packages("wordcloud")
# install.packages("wordcloud2")
# install.packages("tidyverse")
# install.packages("tidytext")
Primero paso: Vamos a descargar y descomprimir la
carpeta ZIP, o se puede correr el sigueinte comando
download.file descargarás el archivo *.zip con la url entre
comillas, luego indicarás el nombre del archivo y finalmente con el
parámetro wget se indica el método utilizado para
realizar la descarga, aclaración en Windows debes
cambiarlo por wininet. Luego, descomprime el archivo
con el comando unzip. A continuación ingresa a tu carpeta
de trabajo.
A continuación comenzaremos a trabajar en nuestro corpus, con las siguientes librerías, que cargamos en un paso previo:
tidyverse1 y tidytext2 Estas librerías serán
fundamentales para la parte más interesante de este módulo, donde
aprenderemos a limpiar y transformar datos en R. Este trabajo es
indispensable para el text mining, que realizado en R, contará con
varias ventajas: no requiere muestreo para extraer información, permite
aplicar varias metodologías de forma rápida y genera procedimientos
auditables y reproducibles. El principio básico de un dataframe
tidy es que cada columna representa una variable y cada
línea, una observación.
La librería Tidytext permite realizar minería de texto
con el uso de herramientas tidy, generando datos estructurados y tidy a
partir de datos textuales.
ggplot23 es un paquete que permite la visualización
de datos, implementa una representación organizada y en capas, de
marcos, ejes, textos, títulos, etc., utilizando diferentes colores,
símbolos, tamaños, etc. Fue desarrollada por L. Wilkinson et. al en
2000. No hace falta llamarlo pues se encuentra incluido dentro de
tidyverse, sin embargo, es fundamental considerarlo
porque es muy útil en R.
dplyr , este paquete posee funciones auxiliares
necesarias para la manipulación y transformación de datos. En
particular, el operador, pipe, %>% permite
escribir funciones más legibles para seres humanos.
library(tidytext) #recuerda que si no está instalada la librería primero debes hacerlo mediante install.packages()
library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.4 ✔ readr 2.1.6
## ✔ forcats 1.0.1 ✔ stringr 1.6.0
## ✔ ggplot2 4.0.3 ✔ tibble 3.3.0
## ✔ lubridate 1.9.4 ✔ tidyr 1.3.1
## ✔ purrr 1.2.0
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(dplyr)
library(purrr) # importante para map_dbl()
Una vez instalados estos requerimientos, llamaremos a la función
list.file para corroborar que los archivos necesarios se
encuentran en la carpeta donde estás trabajando.
list.files("corpus2", pattern='txt')
## [1] "Azara_Descripcion.txt" "DiazDeGuzman_ArgManus.txt"
## [3] "DiazDeGuzman_Chiriguanos.txt" "DuBiscay_RelDeUnViaje.txt"
## [5] "Hudson_DiasDeOcio.txt" "LeyendaAraucana.txt"
## [7] "PHernandez_RelCosas.txt" "Pigafetta_PrimerViaje.txt"
## [9] "PMoreno_ViajePatagonia.txt" "Schmidl_ViajeAlRdP.txt"
## [11] "Viedma_Diario.txt"
En un segundo paso, crearemos una nueva lista, a la
que puedes llamar archivos, cuyos elementos serán los
textos planos dentro de la carpeta corpus, para ello,
utilizarás, nuevamente, la función list.files, y le
indicarás que tipo de archivo debe contener, txt, con
la declaración pattern. Recuerda estar trabajando en la
carpeta donde se encuentran tus archivos, sino deberás incorporar un
declaración que indique la ubicación, path =, por ejemplo:
list.files(path = "obras", pattern = "\\.txt$").
setwd("corpus2")
pathwd <- getwd() #guardamos la carpeta actual (setwd devuelve el directorio anterior, por eso usamos getwd)
archivos <- list.files(pattern = "\\.txt$", full.names = TRUE)
archivos #corroboramos que la lista es correcta
## [1] "./Azara_Descripcion.txt" "./DiazDeGuzman_ArgManus.txt"
## [3] "./DiazDeGuzman_Chiriguanos.txt" "./DuBiscay_RelDeUnViaje.txt"
## [5] "./Hudson_DiasDeOcio.txt" "./LeyendaAraucana.txt"
## [7] "./PHernandez_RelCosas.txt" "./Pigafetta_PrimerViaje.txt"
## [9] "./PMoreno_ViajePatagonia.txt" "./Schmidl_ViajeAlRdP.txt"
## [11] "./Viedma_Diario.txt"
class(archivos)
## [1] "character"
#la función 'class()' devuelve el tipo de objeto, en este caso podrás ver que se trata de una lista de caracteres
length(archivos)
## [1] 11
#la función 'length()' permite obtener el tamaño del objeto que se incluye dentro de los paréntesis
Ahora, para facilitar la visualización de cada texto en los
siguientes pasos, eliminaremos lo que no es necesario del nombre de cada
archivo. Para ello, se utilizará la función gsub, de gran
utilidad para limpieza de datos que está incluida por defecto en
R. Los parámetros indicarán, según orden de escritura,
caracteres que se eliminarán (\\. será para indicar que se busca un
. y no otro carácter según las reglas de
expresión regular3), los que se agregarán (las doble
comillas indican que no se agregará nada), y finalmente, con
perl, se determina que se utilicen las reglas de
expresiones regulares4.
textos_archivo <- gsub(".txt", "", archivos, perl = TRUE)
#Ahora llama a la lista para corroborar que se ha realizado la limpieza
textos_archivo
## [1] "./Azara_Descripcion" "./DiazDeGuzman_ArgManus"
## [3] "./DiazDeGuzman_Chiriguanos" "./DuBiscay_RelDeUnViaje"
## [5] "./Hudson_DiasDeOcio" "./LeyendaAraucana"
## [7] "./PHernandez_RelCosas" "./Pigafetta_PrimerViaje"
## [9] "./PMoreno_ViajePatagonia" "./Schmidl_ViajeAlRdP"
## [11] "./Viedma_Diario"
Cuarto paso, con la lista de textos acorde para continuar el
ejercicio, procedemos a armar un tibble, este objeto es muy
similar a los data.frame presentados en la unidad anterior, pues es
rectangular, organizado en filas y columnas, y pertenece al paquete
tidyverse.
Existen tres diferencias entre los data.frame y los tibble, la primera es como se muestran en consola; segunda, los tibble eliminan por defecto rownames, e incluso no se recomienda su uso, para evitar problemas de compatibilidad principalmente con bases de datos SQL; por último, no convierte a las string (cadenas de caracteres) en factores. Igualmente, ambos objetos son intercambiables5.
Armaremos el tibble con tres columnas, la primera y última tendrán
caracteres dentro de sus variables, y parrafo será
numérica, como se muestra a continuación:
mensajes <- tibble(textos_archivo = character(),
parrafo = numeric(),
texto = character())
#Si llamas a "mensajes" comprobarás que figura como vacío, esto es porque aún no se ha completado con datos, ello lo realizarás en el próximo paso.
mensajes
## # A tibble: 0 × 3
## # ℹ 3 variables: textos_archivo <chr>, parrafo <dbl>, texto <chr>
Para poder completar el tibble mensajes que creamos,
lo hacemos mediante una iteración con el bucle for, que
permite repetir instrucciones, evaluando el mismo código para cada
elemento de un vector o lista.
En este ejercicio, se le indica que comience la iteración en 1 hasta
el tamaño (length) de archivos. Luego,
armará en el objeto obras lo que leerá con la función
read_lines, allí se indicará que con la función
paste junte los textos dentro de tu carpeta de trabajo,
importante añadir esa dirección, con el
contenido de archivos[i] , cuyo valor cambiará en cada
repetición del bucle. El parámetro sep = será para indicar
que los pegue con “/“ .
Paso siguiente, convertiremos lo que acaba de leer en una nueva
tabla, otra tibble llamada temporal, tal como hiciste con
la anterior de mensajes, indicando que complete con cada
texto. La primer columna, parrafo indicará el número de
párrafos de cada texto, se lo adjudicará con la función
seq_along que contará hasta el número máximo en el objeto
obras y por último, en texto se agregará cada
párrafo. Para finalizar la repetición, indicarás que en
mensajes se sume la tabla temporal,
mediante la función bind_rows.
#Iteración
for (i in seq_along(archivos)){
obras <- read_lines(paste(pathwd, #recuerden que uso pathwd porque es donde me situé y están mis archivos
archivos[i],
sep = "/"))
temporal <- tibble(textos_archivo = textos_archivo[i],
parrafo = seq_along(obras),
texto = obras)
mensajes <- bind_rows(mensajes, temporal)
}
mensajes #corrobora que se creó correctamente la tabla
## # A tibble: 7,891 × 3
## textos_archivo parrafo texto
## <chr> <dbl> <chr>
## 1 ./Azara_Descripcion 1 "Prólogo del autor"
## 2 ./Azara_Descripcion 2 ""
## 3 ./Azara_Descripcion 3 "1. El año de 1781 me embarqué de orden del rey …
## 4 ./Azara_Descripcion 4 ""
## 5 ./Azara_Descripcion 5 "2. En cuanto a los ríos principales, creí ocios…
## 6 ./Azara_Descripcion 6 ""
## 7 ./Azara_Descripcion 7 "Así copié las primeras vertientes del Paraná ha…
## 8 ./Azara_Descripcion 8 ""
## 9 ./Azara_Descripcion 9 "3. Por lo que hace a los tributarios de los cit…
## 10 ./Azara_Descripcion 10 ""
## # ℹ 7,881 more rows
Este sexto paso, será para proceder con la tokenización del corpus,
es decir extraer sus unidades de análisis. Para ello, se utilizará la
función unnest_tokens que se encuentra dentro del paquete
tidytext; se indicará que a cada fila de
parrafo, lo separe a nivel de palabra según la columna
texto.
textos_palabras estará formado por tres columnas, una que indicará el texto, la otra el número de párrafo y finalmente, las palabras de cada uno, pero separadas. Recuerda que el operador pipe (%>%) fue presentado en la primera unidad.
textos_palabras <- mensajes %>%
unnest_tokens(palabra, texto)
textos_palabras
## # A tibble: 463,141 × 3
## textos_archivo parrafo palabra
## <chr> <dbl> <chr>
## 1 ./Azara_Descripcion 1 prólogo
## 2 ./Azara_Descripcion 1 del
## 3 ./Azara_Descripcion 1 autor
## 4 ./Azara_Descripcion 3 1
## 5 ./Azara_Descripcion 3 el
## 6 ./Azara_Descripcion 3 año
## 7 ./Azara_Descripcion 3 de
## 8 ./Azara_Descripcion 3 1781
## 9 ./Azara_Descripcion 3 me
## 10 ./Azara_Descripcion 3 embarqué
## # ℹ 463,131 more rows
Como siguiente paso, se eliminarán las palabras vacías, que no serán útil en este ejercicio, pero si pueden servir para otros análisis; asimismo, lo realizarás para continuar con la parte de ejercitación que solicitaré como extra. Para ello, se armará una una tabla con las palabras que se obtienen de la función get_stopwords que forma parte del paquete tidytext, y se aclarará que se utilice en español.
stopwords1 <- get_stopwords("es")
stopwords1
## # A tibble: 308 × 2
## word lexicon
## <chr> <chr>
## 1 de snowball
## 2 la snowball
## 3 que snowball
## 4 el snowball
## 5 en snowball
## 6 y snowball
## 7 a snowball
## 8 los snowball
## 9 del snowball
## 10 se snowball
## # ℹ 298 more rows
Paso siguiente, se le indicará que cambie la columna
word por palabra, mediante la función
rename, que forma parte del paquete dplyr,
que a su vez pertenece a tidyverse, es útil para
cambiar el nombre de variables u objetos. Cuestión que debe considerarse
al momento de renombrar, es que primero debe escribirse el nuevo
término, y a continuación el que se va a cambiar. Este paso es
importante para poder eliminar las palabras vacías de
textos_palabras.
stopwords1 <- stopwords1 %>%
rename(palabra = word)
Ahora, para poder obtener una nueva lista con palabras vacías
excluidas, se usará la función anti_join que compara las
columnas con el mismo nombre, en este caso palabra y
elimina los elementos que coinciden. Cuando finalice la ejecución,
aparece un mensaje que significa que las dos listas tienen iguales
elementos en esas columnas, en caso contraria, devolverá mensaje de
error.
textos_limpio <- textos_palabras %>%
anti_join(stopwords1)
## Joining with `by = join_by(palabra)`
Como paso siguiente, se procederá a la limpieza de la lista textos_palabras y textos_limpio. Para ello, se eliminarán dígitos, palabras con menos de tres caracteres, celdas sin caracteres y las que contengan puntos, todo ello se realizará en la columna palabra. Por lo cual, se utilizarán las siguientes funciones:
mutate, que crea, modifica y elimina columnas según ciertos parámetros que se le adjudican, se encuentra dentro del paquete tidyverse. En este caso se le sumará str_remove_all (función que se utiliza para eliminar coincidencias en una cadena de caracteres) para que elimine en la columna palabra los números que aparezcan.
filter, será para filtrar las palabras con menos de tres caracteres, con la ayuda de nchar que cuenta el número de caracteres; también se utilizará para eliminar los espacios con valores de caracteres vacíos y cuando encuentre un . o n° (símbolo de número que figura en los textos).
Repetirás las limpieza en las dos listas, recuerda guardar las que no fueron limpias, adjudicando nuevos nombres a las que si se hayan limpiado.
#sin stopwords
textos_pal_limpio <- textos_palabras %>%
mutate(palabra = str_remove_all(palabra, "\\d+")) %>%
filter(nchar(palabra) >= 3) %>% #en este item puedo dejar que sea estrictamente mayor a 3, pero lo he dejado como igual o mayor porque había algunas palabras que podrían ser de utilidad
filter(palabra != "") %>%
filter(palabra != ".") %>%
filter(palabra != "n°") %>%
filter(palabra != "del")
textos_pal_limpio
## # A tibble: 321,620 × 3
## textos_archivo parrafo palabra
## <chr> <dbl> <chr>
## 1 ./Azara_Descripcion 1 prólogo
## 2 ./Azara_Descripcion 1 autor
## 3 ./Azara_Descripcion 3 año
## 4 ./Azara_Descripcion 3 embarqué
## 5 ./Azara_Descripcion 3 orden
## 6 ./Azara_Descripcion 3 rey
## 7 ./Azara_Descripcion 3 lisboa
## 8 ./Azara_Descripcion 3 arribé
## 9 ./Azara_Descripcion 3 brasil
## 10 ./Azara_Descripcion 3 donde
## # ℹ 321,610 more rows
Indica nuevo nombre a esta tabla que se ha limpiado. Esta nueva tabla será útil para realizar la parte de ejercitación extra.
#con stopwords
mensajes_limpio <- textos_limpio %>%
mutate(palabra = str_remove_all(palabra, "\\d+")) %>%
filter(nchar(palabra) >= 3) %>%
filter(palabra != "") %>%
filter(palabra != ".") %>%
filter(palabra != "n°")
mensajes_limpio
## # A tibble: 226,944 × 3
## textos_archivo parrafo palabra
## <chr> <dbl> <chr>
## 1 ./Azara_Descripcion 1 prólogo
## 2 ./Azara_Descripcion 1 autor
## 3 ./Azara_Descripcion 3 año
## 4 ./Azara_Descripcion 3 embarqué
## 5 ./Azara_Descripcion 3 orden
## 6 ./Azara_Descripcion 3 rey
## 7 ./Azara_Descripcion 3 lisboa
## 8 ./Azara_Descripcion 3 arribé
## 9 ./Azara_Descripcion 3 brasil
## 10 ./Azara_Descripcion 3 pasé
## # ℹ 226,934 more rows
En el paso que sigue, se dará inicio a los análisis de frecuencia y gráficos de los textos del corpus. Para lo cual, primero se contará las palabras que se encuentran dentro de la columna palabra en textos_pal_limpio, por medio de la función count, que también pertenece al paquete tidyverse, y presentará la frecuencia absoluta de cada una, o sea la cantidad de veces que se repite.
textos_pal_limpio %>%
count(palabra, sort = TRUE)
## # A tibble: 33,061 × 2
## palabra n
## <chr> <int>
## 1 que 16275
## 2 los 10278
## 3 con 5814
## 4 las 5373
## 5 por 5100
## 6 para 2891
## 7 una 2870
## 8 más 2195
## 9 como 2128
## 10 sus 1999
## # ℹ 33,051 more rows
mensajes_limpio %>%
count(palabra, sort = TRUE)
## # A tibble: 32,854 × 2
## palabra n
## <chr> <int>
## 1 indios 1272
## 2 río 1179
## 3 dos 1012
## 4 tierra 932
## 5 tan 704
## 6 dicho 698
## 7 día 671
## 8 gente 628
## 9 tiempo 601
## 10 agua 595
## # ℹ 32,844 more rows
Como la frecuencia absoluta no representa ningún dato novedoso, se calculará el promedio de palabras por texto, que no han sido procesadas con la limpieza de datos, pudiéndose calcular entre el resultado del número de columnas obtenidos con la función nrow y el tamaño de la lista archivos, calculado en los primeros pasos.
nrow(textos_palabras) / length(archivos)
## [1] 42103.73
nrow(mensajes_limpio) / length(archivos)
## [1] 20631.27
Ese dato solo indicará un promedio, por lo cual, a continuación se calculará la frecuencia relativa por palabras y será adjudica como una nueva columna, dentro del tibble limpio: textos_pal_limpio, que se denominará relativa. Por lo cual tendremos tres columnas, la del término, su frecuencia absoluta y la relativa. Por ello armaremos un nuevo tibble denominado, mensajes_frecuencias:
mensajes_frec_limpio <- textos_pal_limpio %>%
count (palabra, sort = TRUE) %>%
mutate (relativa = n / sum(n))
mensajes_frec_limpio
## # A tibble: 33,061 × 3
## palabra n relativa
## <chr> <int> <dbl>
## 1 que 16275 0.0506
## 2 los 10278 0.0320
## 3 con 5814 0.0181
## 4 las 5373 0.0167
## 5 por 5100 0.0159
## 6 para 2891 0.00899
## 7 una 2870 0.00892
## 8 más 2195 0.00682
## 9 como 2128 0.00662
## 10 sus 1999 0.00622
## # ℹ 33,051 more rows
#veremos como quedó conformado el nuevo dataframe
También, podrías pedir que devuelva la frecuencia por cada texto, para ello, se deberá agrupar por cada uno mediante la función group_by, del paquete tidyverse, únicamente indicando que debe considerar la lista de textos, antes preparada; luego del cálculo de la frecuencia absoluta, debe crearse una nueva columna para la frecuencia relativa, y finalmente que desagrupe los datos, con ungroup(). Todo ello, será guardado en otra tabla frecuencia_text_arch:
frecuencia_text_arch <- textos_pal_limpio %>%
group_by(textos_archivo) %>%
count(palabra, sort = T) %>%
mutate(relativa = n / sum(n)) %>%
ungroup()
frecuencia_text_arch
## # A tibble: 63,390 × 4
## textos_archivo palabra n relativa
## <chr> <chr> <int> <dbl>
## 1 ./Azara_Descripcion que 4417 0.0528
## 2 ./Azara_Descripcion los 3360 0.0401
## 3 ./PMoreno_ViajePatagonia que 2622 0.0536
## 4 ./DiazDeGuzman_ArgManus que 2280 0.0536
## 5 ./Hudson_DiasDeOcio que 1923 0.0488
## 6 ./Azara_Descripcion las 1499 0.0179
## 7 ./Azara_Descripcion con 1377 0.0164
## 8 ./PMoreno_ViajePatagonia los 1377 0.0281
## 9 ./DiazDeGuzman_ArgManus los 1265 0.0298
## 10 ./DiazDeGuzman_ArgManus con 1149 0.0270
## # ℹ 63,380 more rows
Ahora veamos cuales son las palabras más frecuentes filtadas en cada uno de los textos.
frecuencia_text_arch_limpio <- mensajes_limpio %>%
group_by(textos_archivo) %>%
count(palabra, sort = T) %>%
mutate(relativa = n / sum(n)) %>%
ungroup()
frecuencia_text_arch_limpio
## # A tibble: 61,976 × 4
## textos_archivo palabra n relativa
## <chr> <chr> <int> <dbl>
## 1 ./Azara_Descripcion indios 533 0.00905
## 2 ./Azara_Descripcion río 450 0.00764
## 3 ./DiazDeGuzman_Chiriguanos dicho 380 0.0507
## 4 ./Azara_Descripcion dos 351 0.00596
## 5 ./Azara_Descripcion españoles 346 0.00587
## 6 ./DiazDeGuzman_ArgManus indios 330 0.0112
## 7 ./DiazDeGuzman_ArgManus aquella 288 0.00981
## 8 ./DiazDeGuzman_ArgManus río 286 0.00975
## 9 ./Pigafetta_PrimerViaje rey 275 0.0156
## 10 ./Viedma_Diario día 272 0.0145
## # ℹ 61,966 more rows
Ahora, para visualizar estos datos calculados realizarás un gráfico,
donde se presentará la frecuencia por cada texto, con la función
ggplot, que fue convocada al principio de la práctica
con el paquete tidyverse, se le indicará que se
graficará en barras, mediante el parámetro geom_bar,
luego se indicará con aes, el contenido de los eje
X e Y, en ese orden; y por último, con
stat, que tipo de transformación estadísticas tendrán
los datos. Recuerda que hemos trabajado con textos_pal_limpio y mediante
group_by los reunimos según los elementos de la columna
textos_archivo:
textos_pal_limpio %>%
group_by(textos_archivo) %>%
count(palabra, sort = T) %>%
ggplot() +
geom_bar(aes(x = textos_archivo, y = n),
stat = 'identity', width = 0.7, color = 'purple') +
labs(y = "Cantidad de palabras",
x = "Obras",
title = "Frecuencias absolutas de palabras por textos"
) +
theme(axis.text.x = element_text(angle = 45, hjust = 1))
Otro gráfico que se puede realizar es observando las palabras más frecuentes de los textos, para ello primero, se llamará a textos_pal_limpio, se pedirá que cuente las ocurrencias, ordenadas de mayor a menor; en la tercera línea se indicará que filtre las ocurrencias mayores a 10, pues se han eliminado las palabras vacías. Como se explicó antes, al crear una nueva tabla interna se debe indicar con mutate, la nueva columna, que almacenará los nuevos datos. Luego se indicarán los parámetros del gráfico. Aclaración, ggplot une sus parámetros con +; el argumento fill hará que cada palabra tenga un color determinado, stat indicará que las barras tendrán la altura según n. Las líneas siguientes presentarán parámetros para título, ubicación de leyenda y etiquetas en los ejes; y con coord_flip() se asegura que el eje Y se imprima de forma horizontal.
textos_pal_limpio %>%
count(palabra, sort = T) %>%
filter(n > 550) %>%
mutate(palabra = reorder(palabra, n)) %>%
ggplot(aes(x = palabra, y = n, fill = palabra)) +
geom_col() +
theme_minimal() +
theme(legend.position = "none") +
ylab("Número de veces que aparecen") +
xlab(NULL) +
ggtitle("Palabras más frecuentes por textos") +
coord_flip()
Puedes guardar el gráfico con el siguiente comando: ggsave(“textos_palabras.png”)
Un gráfico interesante podría realizarse teniendo en cuenta los
mensajes limpios, es decir con las stopwords eliminadas, pero observando
que sucede en cada obra. En el segundo gráfico podremos ver que, solo le
he indicado que fill sea diferenciado por autor.
mensajes_limpio %>%
count(palabra, sort = T) %>%
filter(n > 550) %>%
mutate(palabra = reorder(palabra, n)) %>%
ggplot(aes(x = palabra, y = n, fill = palabra)) +
geom_col() +
theme_minimal() +
theme(legend.position = "none") +
ylab("Número de veces que aparecen") +
xlab(NULL) +
ggtitle("Palabras más frecuentes por textos") +
coord_flip()
mensajes_limpio %>%
count(palabra, textos_archivo, sort = TRUE) %>%
group_by(textos_archivo) %>%
slice_max(n, n = 5) %>% # top 10 palabras por texto
ungroup() %>%
mutate(textos_archivo = str_replace_all(textos_archivo, "_", " ")) %>%
mutate(palabra = reorder_within(palabra, n, textos_archivo)) %>%
ggplot(aes(x = palabra, y = n, fill = textos_archivo)) +
geom_col(show.legend = FALSE, width = 0.7) +
facet_wrap(~textos_archivo, scales = "free_y", ncol = 3,
labeller = label_wrap_gen(width = 15)) +
scale_x_reordered() +
coord_flip() +
labs(
title = "Palabras más frecuentes por texto",
y = "Número de apariciones",
x = NULL
) +
theme_minimal(base_size = 7) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5, size = 10),
axis.text.y = element_text(size = 7, color = "gray20"),
axis.text.x = element_text(size = 7, color = "gray30"),
strip.text = element_text(face = "bold", color = "purple4", size = 7),
panel.spacing = unit(1, "lines")
)
mensajes_limpio %>%
count(palabra, textos_archivo, sort = T) %>%
filter(n > 150) %>%
mutate(palabra = reorder(palabra, n)) %>%
ggplot(aes(x = palabra, y = n, fill = textos_archivo)) +
geom_col() +
theme_minimal() +
ylab("Número de veces que aparecen") +
xlab(NULL) +
ggtitle("Palabras más frecuentes por textos") +
coord_flip()
Otra utilidad que podemos apreciar, y la hemos visto en la parte
teórica, es la Ley de Zipf, por lo cual, vamos a reorganizar los
parámetros de ggplot para poder apreciar la relación entre
cada palabra y su frecuencia.
Para ello, primero se armará una tabla con textos_palabras, con columnas con frecuencia absoluta = n y frecuencia relativa, sumada una última columna, que indicará el orden de palabras en forma descendente, o el número de filas, llamada Clasificacion.
mensajes_frecuencias <- textos_palabras %>%
count (palabra, sort = TRUE) %>%
mutate (relativa = n / sum(n)) %>%
mutate(Clasificacion = row_number())
mensajes_frecuencias
## # A tibble: 33,819 × 4
## palabra n relativa Clasificacion
## <chr> <int> <dbl> <int>
## 1 de 27087 0.0585 1
## 2 y 18750 0.0405 2
## 3 que 16275 0.0351 3
## 4 la 13559 0.0293 4
## 5 el 11819 0.0255 5
## 6 en 11341 0.0245 6
## 7 a 10988 0.0237 7
## 8 los 10277 0.0222 8
## 9 se 6260 0.0135 9
## 10 con 5814 0.0126 10
## # ℹ 33,809 more rows
Para realizar el gráfico con dichos datos, se utilizará la tabla anterior, y se indicará en la tercera línea, mediante geom_line la forma en que va a realizar la línea del gráfico; y en las últimas dos, se indicará que en ambos ejes se usará la escala logarítimica.
mensajes_frecuencias %>%
ggplot(aes(Clasificacion, relativa, color = n)) +
geom_line(linewidth = 1.5, alpha = 1, show.legend = FALSE) +
scale_x_log10() +
scale_y_log10()
# Frecuencias de palabras por corpus completo
zipf_df <- mensajes_limpio %>%
count(palabra, sort = TRUE) %>%
mutate(rango = row_number(),
freq_rel = n / sum(n))
# Gráfico log-log
ggplot(zipf_df, aes(x = rango, y = freq_rel)) +
geom_point(alpha = 0.6, color = "purple4") +
scale_x_log10() +
scale_y_log10() +
labs(
title = "Ley de Zipf en el corpus",
x = "Rango de la palabra (log10)",
y = "Frecuencia relativa (log10)"
) +
theme_minimal(base_size = 14)
Veamos si se corrobora ley de Heaps
textos_palabras %>%
mutate(textos_archivo = str_replace_all(textos_archivo, "_", " ")) %>%
group_by(textos_archivo) %>%
mutate(
n_tokens = row_number(),
vocab_acum = cumsum(!duplicated(palabra))
) %>%
ungroup() %>%
ggplot(aes(x = n_tokens, y = vocab_acum, color = textos_archivo)) +
geom_line(linewidth = 0.9) +
scale_color_viridis_d(option = "C") +
labs(
title = "Comprobación de la ley de Heaps",
subtitle = "Crecimiento del vocabulario comparado entre fuentes",
x = "Cantidad de palabras procesadas (N)",
y = "Palabras únicas acumuladas (V)",
color = "Fuente / Autor"
) +
theme_minimal(base_size = 10) +
theme(
plot.title = element_text(face = "bold", size = 12),
plot.subtitle = element_text(size = 9, color = "gray30"),
legend.position = "right"
)
Ahora generaré visualizaciones muy utilizadas hoy día, gráficos de
nube de palabras. Para lo cual, deberás utilizar los
datos de mensajes_limpio y cargaras la librería
wordcloud. Primero, indicaremos que seleccione los datos
para realizar la nube, luego mediante count se contarán las
observaciones, indicando que las clasifique, con el argumento
with podremos realizar la evaluación de la función
wordcloud, primero le diremos que tome las palabras de
determinada frecuencia, max.words, que nos indicará que
elija los términos más con determinada frecuencia, y por último
indicaremos la gama de colores que deseamos (pueden acceder al siguiente
enlace para una paleta de colores completa).
library("wordcloud")
## Cargando paquete requerido: RColorBrewer
mensajes_limpio %>%
count(palabra, sort = T) %>%
with(wordcloud(palabra,
n,
max.words = 250,
color = brewer.pal(8, "Paired")))
La library `wordcloud2`` permite nubes de palabras interactivas, que presentan la frecuencia
library(wordcloud2)
mensajes_limpio %>%
count(palabra, sort = TRUE) %>%
wordcloud2(data = ., size = 0.5)
Uno de los hitos fundacionales del análisis textual cuantitativo fue el estudio de Frederick Mosteller y David Wallace (1963) sobre los Federalist Papers5. El problema histórico consistía en atribuir la autoría de 15 ensayos disputados entre Alexander Hamilton, John Jay y James Madison, los denominados padres fundadores de estados unidos.
Para resolver este problema, los autores descubrieron dos principios fundamentales:
Inutilidad de la longitud de oraciones: La estructura sintáctica de ambos autores era prácticamente idéntica en longitud promedio y desviación estándar.
Importancia de las palabras funcionales (no contextuales): Palabras como by, from, to, upon o there presentan tasas de uso marcadamente distintas entre autores y son independientes del tema (a diferencia de palabras contextuales como war o tax).
En nuestro análisis de crónicas coloniales, podemos aplicar una lógica similar para relizar una Comparación del Énfasis Temático y Términos Clave para ello, Analizamos la tasa de frecuencia por cada 1.000 palabras de un conjunto de términos clave de la experiencia colonial (indios, tierra, españoles, puerto, costa, etc.).
A diferencia de la normalización por frecuencia relativa simple, calcular la tasa por 1.000 tokens permite comparar equitativamente el peso de estos conceptos centrales en crónicas de extensiones muy heterogéneas.
Calculamos la tasa de uso de cada término por texto para poder comparar de forma estandarizada.
tasa_palabras <- textos_palabras %>%
group_by(textos_archivo) %>%
mutate(total_tokens = n()) %>%
group_by(textos_archivo, palabra) %>%
summarize( conteo = n(), tasa_1k = (conteo / first(total_tokens)) * 1000, .groups = "drop" )
tasa_palabras
## # A tibble: 65,034 × 4
## textos_archivo palabra conteo tasa_1k
## <chr> <chr> <int> <dbl>
## 1 ./Azara_Descripcion 1 63 0.517
## 2 ./Azara_Descripcion 10 46 0.378
## 3 ./Azara_Descripcion 100 4 0.0328
## 4 ./Azara_Descripcion 1000 1 0.00821
## 5 ./Azara_Descripcion 101 2 0.0164
## 6 ./Azara_Descripcion 102 4 0.0328
## 7 ./Azara_Descripcion 103 4 0.0328
## 8 ./Azara_Descripcion 104 2 0.0164
## 9 ./Azara_Descripcion 105 3 0.0246
## 10 ./Azara_Descripcion 106 2 0.0164
## # ℹ 65,024 more rows
A diferencia de las palabras temáticas, las palabras de función revelan el estilo inconsciente del autor.
palabras_estudio <- c("indios", "río", "plata", "españoles", "puerto", "tierra", "hombres", "indio", "leguas", "costa", "indias", "mujer")
tasa_filtrada <- tasa_palabras %>% filter(palabra %in% palabras_estudio) %>%
mutate(textos_archivo = str_replace_all(textos_archivo, "_", " "))
tasa_filtrada
## # A tibble: 116 × 4
## textos_archivo palabra conteo tasa_1k
## <chr> <chr> <int> <dbl>
## 1 ./Azara Descripcion costa 88 0.722
## 2 ./Azara Descripcion españoles 346 2.84
## 3 ./Azara Descripcion hombres 46 0.378
## 4 ./Azara Descripcion indias 20 0.164
## 5 ./Azara Descripcion indio 47 0.386
## 6 ./Azara Descripcion indios 533 4.38
## 7 ./Azara Descripcion leguas 106 0.870
## 8 ./Azara Descripcion mujer 32 0.263
## 9 ./Azara Descripcion plata 125 1.03
## 10 ./Azara Descripcion puerto 61 0.501
## # ℹ 106 more rows
ggplot(tasa_filtrada,
aes(x = textos_archivo,
y = tasa_1k,
fill = textos_archivo)) +
geom_col(show.legend = FALSE) +
facet_wrap(~ palabra, scales = "free_y", ncol = 4) +
theme_minimal(base_size = 8) +
scale_fill_viridis_d(option = "C") +
labs( title = "Comparación estilométrica de uso de palabras claves",
subtitle = "Tasa de frecuencia por cada 1.000 palabras",
x = NULL,
y = "Frecuencia / 1K Palabras" ) +
theme(plot.title = element_text(face = "bold", size = 12, margin = margin(b = 4)),
plot.subtitle = element_text(size = 9.5, color = "gray30", margin = margin(b = 8)),
# Ejes
axis.text.x = element_text(angle = 60, hjust = 1, size = 7),
axis.text.y = element_text(size = 7),
# facetas
strip.text = element_text(face = "bold", color = "purple4", size = 8))
Consignas propuestas, elijan una de las siguientes cinco propuestas:
A partir del objeto mensajes, respondé:
¿Cuántos textos y cuántos párrafos componen el corpus? (pista: distinct() y count())
¿Cuál es el texto con mayor cantidad de párrafos? ¿Y con menor cantidad?
Creá una nueva columna llamada epoca que clasifique
cada texto en un solo valor (por ejemplo, “s. XVI” o “s. XVII”) según el
autor. Justificá tu criterio.
Usando textos_palabras y
mensajes_limpio:
Calculá el tipo-token ratio (palabras únicas / total de palabras) de cada texto. ¿Cuál autor presenta el vocabulario más rico?
Elegí cinco palabras de contenido (por ejemplo: indios, tierra, leguas…) y cinco stopwords (por ejemplo: porque, aquel…) y compará su frecuencia relativa entre al menos dos textos. ¿Qué diferencias observás y qué podrían estar indicando?
A partir de los gráficos generados en la clase:
Elaborá un breve informe (máx. 1 página) que:
palabras_estudio sumando 3 términos
propios de la región (Rio de la Plata / Paraguay) que consideren
significativos para la comparación estilométrica.facet_wrap(\~ palabra).¿Cuántos archivos .txt (textos) tiene el corpus? ¿Y
cuántos párrafos en total tiene el corpus completo? Escribí el código
que usaste para averiguarlo.
Tomando mensajes_limpio (el corpus ya sin
stopwords), ¿cuáles son las 5 palabras más frecuentes de todo el corpus?
Anotalas junto con su frecuencia absoluta (n).
¿Cuántas veces aparece la palabra “indios” en cada texto? (pista:
usá count(palabra, textos_archivo) y luego
filter(palabra == "indios")). ¿En qué texto es más
frecuente?
Mirando el gráfico de la Ley de Zipf que hicimos en clase: ¿la curva baja rápido al principio y luego se aplana? Explicá con tus palabras qué significa eso sobre el uso de las palabras en los textos.
Para más información sobre tidyverse
acceder a https://www.tidyverse.org/learn/.↩︎
Para más información sobre tidytext en https://cran.r-project.org/web/packages/tidytext/tidytext.pdf.↩︎
Pueden encontrar más información sobre la librería en: https://ggplot2.tidyverse.org/.↩︎
Para más información sobre expresiones regulares, pueden acceder a https://indexingdata.com/blog/analitica-web/guia-basica-expresiones-regulares/.↩︎
Mosteller, F., & Wallace, D. L. (1963). Inference in an authorship problem. Journal of the American Statistical Association, 58(302), 275. https://doi.org/10.1080/01621459.1963.10500849↩︎