Funcion que tokeniza las notas/textos.
Arguments
- x
vector de textos al que se le aplica la funcion de tokenizacion.
- tolower
convierte los textos a minusculas.
Examples
acep_token("Huelga de obreros del pescado en el puerto")
#> id_doc texto id_token id_token_doc
#> 1 1 Huelga de obreros del pescado en el puerto 1 1
#> 2 1 Huelga de obreros del pescado en el puerto 2 2
#> 3 1 Huelga de obreros del pescado en el puerto 3 3
#> 4 1 Huelga de obreros del pescado en el puerto 4 4
#> 5 1 Huelga de obreros del pescado en el puerto 5 5
#> 6 1 Huelga de obreros del pescado en el puerto 6 6
#> 7 1 Huelga de obreros del pescado en el puerto 7 7
#> 8 1 Huelga de obreros del pescado en el puerto 8 8
#> token
#> 1 huelga
#> 2 de
#> 3 obreros
#> 4 del
#> 5 pescado
#> 6 en
#> 7 el
#> 8 puerto