Skip to contents

Funcion que tokeniza las notas/textos.

Usage

acep_token(x, tolower = TRUE)

Arguments

x

vector de textos al que se le aplica la funcion de tokenizacion.

tolower

convierte los textos a minusculas.

Examples

acep_token("Huelga de obreros del pescado en el puerto")
#>   id_doc                                      texto id_token id_token_doc
#> 1      1 Huelga de obreros del pescado en el puerto        1            1
#> 2      1 Huelga de obreros del pescado en el puerto        2            2
#> 3      1 Huelga de obreros del pescado en el puerto        3            3
#> 4      1 Huelga de obreros del pescado en el puerto        4            4
#> 5      1 Huelga de obreros del pescado en el puerto        5            5
#> 6      1 Huelga de obreros del pescado en el puerto        6            6
#> 7      1 Huelga de obreros del pescado en el puerto        7            7
#> 8      1 Huelga de obreros del pescado en el puerto        8            8
#>     token
#> 1  huelga
#> 2      de
#> 3 obreros
#> 4     del
#> 5 pescado
#> 6      en
#> 7      el
#> 8  puerto