mirror of
https://github.com/explosion/spaCy.git
synced 2025-01-12 02:06:31 +03:00
added ellided forms (#9878)
* added ellided forms * rearranged a bit * rearranged a bit * added stopword tests * blacked tests file
This commit is contained in:
parent
3cfeb518ee
commit
7ec1452f5f
|
@ -10,18 +10,18 @@ avresti avrete avrà avrò avuta avute avuti avuto
|
||||||
|
|
||||||
basta bene benissimo brava bravo
|
basta bene benissimo brava bravo
|
||||||
|
|
||||||
casa caso cento certa certe certi certo che chi chicchessia chiunque ci
|
casa caso cento certa certe certi certo che chi chicchessia chiunque ci c'
|
||||||
ciascuna ciascuno cima cio cioe circa citta città co codesta codesti codesto
|
ciascuna ciascuno cima cio cioe circa citta città co codesta codesti codesto
|
||||||
cogli coi col colei coll coloro colui come cominci comunque con concernente
|
cogli coi col colei coll coloro colui come cominci comunque con concernente
|
||||||
conciliarsi conclusione consiglio contro cortesia cos cosa cosi così cui
|
conciliarsi conclusione consiglio contro cortesia cos cosa cosi così cui
|
||||||
|
|
||||||
da dagl dagli dai dal dall dalla dalle dallo dappertutto davanti degl degli
|
d' da dagl dagli dai dal dall dall' dalla dalle dallo dappertutto davanti degl degli
|
||||||
dei del dell della delle dello dentro detto deve di dice dietro dire
|
dei del dell dell' della delle dello dentro detto deve di dice dietro dire
|
||||||
dirimpetto diventa diventare diventato dopo dov dove dovra dovrà dovunque due
|
dirimpetto diventa diventare diventato dopo dov dove dovra dovrà dovunque due
|
||||||
dunque durante
|
dunque durante
|
||||||
|
|
||||||
ebbe ebbero ebbi ecc ecco ed effettivamente egli ella entrambi eppure era
|
e ebbe ebbero ebbi ecc ecco ed effettivamente egli ella entrambi eppure era
|
||||||
erano eravamo eravate eri ero esempio esse essendo esser essere essi ex
|
erano eravamo eravate eri ero esempio esse essendo esser essere essi ex è
|
||||||
|
|
||||||
fa faccia facciamo facciano facciate faccio facemmo facendo facesse facessero
|
fa faccia facciamo facciano facciate faccio facemmo facendo facesse facessero
|
||||||
facessi facessimo faceste facesti faceva facevamo facevano facevate facevi
|
facessi facessimo faceste facesti faceva facevamo facevano facevate facevi
|
||||||
|
@ -30,21 +30,21 @@ fareste faresti farete farà farò fatto favore fece fecero feci fin finalmente
|
||||||
finche fine fino forse forza fosse fossero fossi fossimo foste fosti fra
|
finche fine fino forse forza fosse fossero fossi fossimo foste fosti fra
|
||||||
frattempo fu fui fummo fuori furono futuro generale
|
frattempo fu fui fummo fuori furono futuro generale
|
||||||
|
|
||||||
gia già giacche giorni giorno gli gliela gliele glieli glielo gliene governo
|
gia già giacche giorni giorno gli gl' gliela gliele glieli glielo gliene governo
|
||||||
grande grazie gruppo
|
grande grazie gruppo
|
||||||
|
|
||||||
ha haha hai hanno ho
|
ha haha hai hanno ho
|
||||||
|
|
||||||
ieri il improvviso in inc infatti inoltre insieme intanto intorno invece io
|
ieri il improvviso in inc infatti inoltre insieme intanto intorno invece io
|
||||||
|
|
||||||
la là lasciato lato lavoro le lei li lo lontano loro lui lungo luogo
|
l' la là lasciato lato lavoro le lei li lo lontano loro lui lungo luogo
|
||||||
|
|
||||||
ma macche magari maggior mai male malgrado malissimo mancanza marche me
|
m' ma macche magari maggior mai male malgrado malissimo mancanza marche me
|
||||||
medesimo mediante meglio meno mentre mesi mezzo mi mia mie miei mila miliardi
|
medesimo mediante meglio meno mentre mesi mezzo mi mia mie miei mila miliardi
|
||||||
milioni minimi ministro mio modo molti moltissimo molto momento mondo mosto
|
milioni minimi ministro mio modo molti moltissimo molto momento mondo mosto
|
||||||
|
|
||||||
nazionale ne negl negli nei nel nell nella nelle nello nemmeno neppure nessun
|
nazionale ne negl negli nei nel nell nella nelle nello nemmeno neppure nessun nessun'
|
||||||
nessuna nessuno niente no noi non nondimeno nonostante nonsia nostra nostre
|
nessuna nessuno nient' niente no noi non nondimeno nonostante nonsia nostra nostre
|
||||||
nostri nostro novanta nove nulla nuovo
|
nostri nostro novanta nove nulla nuovo
|
||||||
|
|
||||||
od oggi ogni ognuna ognuno oltre oppure ora ore osi ossia ottanta otto
|
od oggi ogni ognuna ognuno oltre oppure ora ore osi ossia ottanta otto
|
||||||
|
@ -56,12 +56,12 @@ potrebbe preferibilmente presa press prima primo principalmente probabilmente
|
||||||
proprio puo può pure purtroppo
|
proprio puo può pure purtroppo
|
||||||
|
|
||||||
qualche qualcosa qualcuna qualcuno quale quali qualunque quando quanta quante
|
qualche qualcosa qualcuna qualcuno quale quali qualunque quando quanta quante
|
||||||
quanti quanto quantunque quasi quattro quel quella quelle quelli quello quest
|
quanti quanto quantunque quasi quattro quel quel' quella quelle quelli quello quest quest'
|
||||||
questa queste questi questo qui quindi
|
questa queste questi questo qui quindi
|
||||||
|
|
||||||
realmente recente recentemente registrazione relativo riecco salvo
|
realmente recente recentemente registrazione relativo riecco salvo
|
||||||
|
|
||||||
sara sarà sarai saranno sarebbe sarebbero sarei saremmo saremo sareste
|
s' sara sarà sarai saranno sarebbe sarebbero sarei saremmo saremo sareste
|
||||||
saresti sarete saro sarò scola scopo scorso se secondo seguente seguito sei
|
saresti sarete saro sarò scola scopo scorso se secondo seguente seguito sei
|
||||||
sembra sembrare sembrato sembri sempre senza sette si sia siamo siano siate
|
sembra sembrare sembrato sembri sempre senza sette si sia siamo siano siate
|
||||||
siete sig solito solo soltanto sono sopra sotto spesso srl sta stai stando
|
siete sig solito solo soltanto sono sopra sotto spesso srl sta stai stando
|
||||||
|
@ -72,12 +72,12 @@ steste stesti stette stettero stetti stia stiamo stiano stiate sto su sua
|
||||||
subito successivamente successivo sue sugl sugli sui sul sull sulla sulle
|
subito successivamente successivo sue sugl sugli sui sul sull sulla sulle
|
||||||
sullo suo suoi
|
sullo suo suoi
|
||||||
|
|
||||||
tale tali talvolta tanto te tempo ti titolo tra tranne tre trenta
|
t' tale tali talvolta tanto te tempo ti titolo tra tranne tre trenta
|
||||||
troppo trovato tu tua tue tuo tuoi tutta tuttavia tutte tutti tutto
|
troppo trovato tu tua tue tuo tuoi tutta tuttavia tutte tutti tutto
|
||||||
|
|
||||||
uguali ulteriore ultimo un una uno uomo
|
uguali ulteriore ultimo un un' una uno uomo
|
||||||
|
|
||||||
va vale vari varia varie vario verso vi via vicino visto vita voi volta volte
|
v' va vale vari varia varie vario verso vi via vicino visto vita voi volta volte
|
||||||
vostra vostre vostri vostro
|
vostra vostre vostri vostro
|
||||||
""".split()
|
""".split()
|
||||||
)
|
)
|
||||||
|
|
17
spacy/tests/lang/it/test_stopwords.py
Normal file
17
spacy/tests/lang/it/test_stopwords.py
Normal file
|
@ -0,0 +1,17 @@
|
||||||
|
import pytest
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(
|
||||||
|
"word", ["un", "lo", "dell", "dall", "si", "ti", "mi", "quest", "quel", "quello"]
|
||||||
|
)
|
||||||
|
def test_stopwords_basic(it_tokenizer, word):
|
||||||
|
tok = it_tokenizer(word)[0]
|
||||||
|
assert tok.is_stop
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(
|
||||||
|
"word", ["quest'uomo", "l'ho", "un'amica", "dell'olio", "s'arrende", "m'ascolti"]
|
||||||
|
)
|
||||||
|
def test_stopwords_elided(it_tokenizer, word):
|
||||||
|
tok = it_tokenizer(word)[0]
|
||||||
|
assert tok.is_stop
|
Loading…
Reference in New Issue
Block a user