From 2a2654c756be2296777f0e6e70a0b62533e4e262 Mon Sep 17 00:00:00 2001 From: mgr Date: Mon, 18 Apr 2022 22:04:02 +0200 Subject: [PATCH] Remove significant or not very frequent words from stop word list [es] MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit The list of stop words for Spanish contained many inadequate words, see: https://github.com/explosion/spaCy/issues/3052#issuecomment-1100760100 Removed words: - verb forms of 'trabajar' (work) and intentar (try) - words related to 'empleo' (employment) - incorrect words: ampleamos, arribaabajo, soyos, paìs - miscellaneous words due to being too significant of too infrequent: actualmente, aproximadamente, antaño, cosas, ejemplo, horas, general, pais, principalmente, raras Added other stop words for completion: - Spanish one-letter words - numbers up to twelve Some reformatting to 79 columns. When in doubt, the English and German lists have been consulted as good examples. --- spacy/lang/es/stop_words.py | 84 ++++++++++++++++++------------------- 1 file changed, 41 insertions(+), 43 deletions(-) diff --git a/spacy/lang/es/stop_words.py b/spacy/lang/es/stop_words.py index 004df4fca..6d2885481 100644 --- a/spacy/lang/es/stop_words.py +++ b/spacy/lang/es/stop_words.py @@ -1,82 +1,80 @@ STOP_WORDS = set( """ -actualmente acuerdo adelante ademas además adrede afirmó agregó ahi ahora ahí -al algo alguna algunas alguno algunos algún alli allí alrededor ambos ampleamos -antano antaño ante anterior antes apenas aproximadamente aquel aquella aquellas -aquello aquellos aqui aquél aquélla aquéllas aquéllos aquí arriba arribaabajo -aseguró asi así atras aun aunque ayer añadió aún +a acuerdo adelante ademas además afirmó agregó ahi ahora ahí al algo alguna +algunas alguno algunos algún alli allí alrededor ambos ante anterior antes +apenas aproximadamente aquel aquella aquellas aquello aquellos aqui aquél +aquélla aquéllas aquéllos aquí arriba aseguró asi así atras aun aunque añadió +aún bajo bastante bien breve buen buena buenas bueno buenos -cada casi cerca cierta ciertas cierto ciertos cinco claro comentó como con -conmigo conocer conseguimos conseguir considera consideró consigo consigue -consiguen consigues contigo contra cosas creo cual cuales cualquier cuando -cuanta cuantas cuanto cuantos cuatro cuenta cuál cuáles cuándo cuánta cuántas -cuánto cuántos cómo +cada casi cierta ciertas cierto ciertos cinco claro comentó como con conmigo +conocer conseguimos conseguir considera consideró consigo consigue consiguen +consigues contigo contra creo cual cuales cualquier cuando cuanta cuantas +cuanto cuantos cuatro cuenta cuál cuáles cuándo cuánta cuántas cuánto cuántos +cómo da dado dan dar de debajo debe deben debido decir dejó del delante demasiado demás dentro deprisa desde despacio despues después detras detrás dia dias dice -dicen dicho dieron diferente diferentes dijeron dijo dio donde dos durante día -días dónde +dicen dicho dieron diez diferente diferentes dijeron dijo dio doce donde dos +durante día días dónde -ejemplo el ella ellas ello ellos embargo empleais emplean emplear empleas -empleo en encima encuentra enfrente enseguida entonces entre era eramos eran -eras eres es esa esas ese eso esos esta estaba estaban estado estados estais -estamos estan estar estará estas este esto estos estoy estuvo está están ex -excepto existe existen explicó expresó él ésa ésas ése ésos ésta éstas éste -éstos +e el ella ellas ello ellos embargo en encima encuentra enfrente enseguida +entonces entre era eramos eran eras eres es esa esas ese eso esos esta estaba +estaban estado estados estais estamos estan estar estará estas este esto estos +estoy estuvo está están excepto existe existen explicó expresó él ésa ésas ése +ésos ésta éstas éste éstos fin final fue fuera fueron fui fuimos -general gran grandes gueno +gran grande grandes ha haber habia habla hablan habrá había habían hace haceis hacemos hacen hacer hacerlo haces hacia haciendo hago han hasta hay haya he hecho hemos hicieron -hizo horas hoy hubo +hizo hoy hubo -igual incluso indicó informo informó intenta intentais intentamos intentan -intentar intentas intento ir +igual incluso indicó informo informó ir junto -la lado largo las le lejos les llegó lleva llevar lo los luego lugar +la lado largo las le les llegó lleva llevar lo los luego mal manera manifestó mas mayor me mediante medio mejor mencionó menos menudo mi -mia mias mientras mio mios mis misma mismas mismo mismos modo momento mucha -muchas mucho muchos muy más mí mía mías mío míos +mia mias mientras mio mios mis misma mismas mismo mismos modo mucha muchas +mucho muchos muy más mí mía mías mío míos nada nadie ni ninguna ningunas ninguno ningunos ningún no nos nosotras nosotros -nuestra nuestras nuestro nuestros nueva nuevas nuevo nuevos nunca +nuestra nuestras nuestro nuestros nueva nuevas nueve nuevo nuevos nunca -ocho os otra otras otro otros +o ocho once os otra otras otro otros -pais para parece parte partir pasada pasado paìs peor pero pesar poca pocas -poco pocos podeis podemos poder podria podriais podriamos podrian podrias podrá +para parece parte partir pasada pasado paìs peor pero pesar poca pocas poco +pocos podeis podemos poder podria podriais podriamos podrian podrias podrá podrán podría podrían poner por porque posible primer primera primero primeros -principalmente pronto propia propias propio propios proximo próximo próximos -pudo pueda puede pueden puedo pues +pronto propia propias propio propios proximo próximo próximos pudo pueda puede +pueden puedo pues -qeu que quedó queremos quien quienes quiere quiza quizas quizá quizás quién quiénes qué +qeu que quedó queremos quien quienes quiere quiza quizas quizá quizás quién +quiénes qué -raras realizado realizar realizó repente respecto +realizado realizar realizó repente respecto sabe sabeis sabemos saben saber sabes salvo se sea sean segun segunda segundo según seis ser sera será serán sería señaló si sido siempre siendo siete sigue -siguiente sin sino sobre sois sola solamente solas solo solos somos son soy -soyos su supuesto sus suya suyas suyo sé sí sólo +siguiente sin sino sobre sois sola solamente solas solo solos somos son soy su +supuesto sus suya suyas suyo suyos sé sí sólo tal tambien también tampoco tan tanto tarde te temprano tendrá tendrán teneis -tenemos tener tenga tengo tenido tenía tercera ti tiempo tiene tienen toda -todas todavia todavía todo todos total trabaja trabajais trabajamos trabajan -trabajar trabajas trabajo tras trata través tres tu tus tuvo tuya tuyas tuyo -tuyos tú +tenemos tener tenga tengo tenido tenía tercera tercero ti tiene tienen toda +todas todavia todavía todo todos total tras trata través tres tu tus tuvo tuya +tuyas tuyo tuyos tú -ultimo un una unas uno unos usa usais usamos usan usar usas uso usted ustedes +u ultimo un una unas uno unos usa usais usamos usan usar usas uso usted ustedes última últimas último últimos -va vais valor vamos van varias varios vaya veces ver verdad verdadera verdadero -vez vosotras vosotros voy vuestra vuestras vuestro vuestros +va vais vamos van varias varios vaya veces ver verdad verdadera verdadero vez +vosotras vosotros voy vuestra vuestras vuestro vuestros -ya yo +y ya yo """.split() )