Función que tokeniza las notas/textos.
Usage
acep_token(x, tolower = TRUE, cleaning = TRUE)
Arguments
- x
vector de textos al que se le aplica la función de tokenización.
- tolower
convierte los textos a minúsculas.
- cleaning
hace una limpieza de los textos.
Value
Si todas las entradas son correctas,
la salida será un data.frame con las palabras tokenizadas.
Examples
acep_token("Huelga de obreros del pescado en el puerto")
#> texto_id tokens
#> 1 1 huelga
#> 2 1 obreros
#> 3 1 pescado
#> 4 1 puerto
