mirror of
https://github.com/explosion/spaCy.git
synced 2024-11-15 14:17:58 +03:00
251119455d
Default stop words in Norwegian bokmål (nb) in Spacy contain important entities, e.g. France, Germany, Russia, Sweden and USA, police district, important units of time, e.g. months and days of the week, and organisations. Nobody expects their presence among the default stop words. There is a danger of users complying with the general recommendation of filtering out stop words, while being unaware of filtering out important entities from their data. See explanation in https://github.com/explosion/spaCy/issues/3052#issuecomment-986756711 and comment https://github.com/explosion/spaCy/issues/3052#issuecomment-986951831
51 lines
1.1 KiB
Python
51 lines
1.1 KiB
Python
STOP_WORDS = set(
|
|
"""
|
|
alle allerede alt and andre annen annet at av
|
|
|
|
bak bare bedre beste blant ble bli blir blitt bris by både
|
|
|
|
da dag de del dem den denne der dermed det dette disse du
|
|
|
|
eller en enn er et ett etter
|
|
|
|
fem fikk fire fjor flere folk for fortsatt fra fram
|
|
funnet få får fått før først første
|
|
|
|
gang gi gikk gjennom gjorde gjort gjør gjøre god godt grunn gå går
|
|
|
|
ha hadde ham han hans har hele helt henne hennes her hun
|
|
|
|
i ifølge igjen ikke ingen inn
|
|
|
|
ja jeg
|
|
|
|
kamp kampen kan kl klart kom komme kommer kontakt kort kroner kunne kveld
|
|
|
|
la laget land landet langt leder ligger like litt løpet
|
|
|
|
man mange med meg mellom men mener mennesker mens mer mot mye må mål måtte
|
|
|
|
ned neste noe noen nok ny nye nå når
|
|
|
|
og også om opp opplyser oss over
|
|
|
|
personer plass poeng på
|
|
|
|
runde rundt
|
|
|
|
sa saken samme sammen samtidig satt se seg seks selv senere ser sett
|
|
siden sier sin sine siste sitt skal skriver skulle slik som sted stedet stor
|
|
store står svært så
|
|
|
|
ta tatt tid tidligere til tilbake tillegg tok tror
|
|
|
|
under ut uten utenfor
|
|
|
|
vant var ved veldig vi videre viktig vil ville viser vår være vært
|
|
|
|
å år
|
|
|
|
ønsker
|
|
""".split()
|
|
)
|