mirror of
https://github.com/explosion/spaCy.git
synced 2024-09-22 03:49:17 +03:00
77 lines
909 B
Python
77 lines
909 B
Python
|
# encoding: utf8
|
||
|
|
from __future__ import unicode_literals
|
||
|
|
|
||
|
|
from ..symbols import *
|
||
|
|
from ..language_data import PRON_LEMMA
|
||
|
|
|
||
|
|
|
||
|
|
TOKENIZER_EXCEPTIONS = {
|
||
|
|
|
||
|
|
}
|
||
|
|
|
||
|
|
|
||
|
|
ORTH_ONLY = [
|
||
|
|
"ang.",
|
||
|
|
"anm.",
|
||
|
|
"bil.",
|
||
|
|
"bl.a.",
|
||
|
|
"ca",
|
||
|
|
"cm",
|
||
|
|
"dl",
|
||
|
|
"dvs.",
|
||
|
|
"e.Kr.",
|
||
|
|
"el.",
|
||
|
|
"e.d.",
|
||
|
|
"eng.",
|
||
|
|
"etc.",
|
||
|
|
"exkl.",
|
||
|
|
"f.d.",
|
||
|
|
"fid.",
|
||
|
|
"f.Kr.",
|
||
|
|
"forts.",
|
||
|
|
"fr.o.m.",
|
||
|
|
"f.ö.",
|
||
|
|
"förf.",
|
||
|
|
"ha",
|
||
|
|
"hg",
|
||
|
|
"inkl.",
|
||
|
|
"i sht",
|
||
|
|
"i st",
|
||
|
|
"jmf",
|
||
|
|
"jur.",
|
||
|
|
"kcal",
|
||
|
|
"kg",
|
||
|
|
"kl.",
|
||
|
|
"km",
|
||
|
|
"kr.",
|
||
|
|
"l",
|
||
|
|
"lat.",
|
||
|
|
"m",
|
||
|
|
"m.a.o.",
|
||
|
|
"max.",
|
||
|
|
"m.fl.",
|
||
|
|
"min.",
|
||
|
|
"mm",
|
||
|
|
"m.m.",
|
||
|
|
"ngn",
|
||
|
|
"ngt",
|
||
|
|
"nr",
|
||
|
|
"obs.",
|
||
|
|
"o.d.",
|
||
|
|
"osv.",
|
||
|
|
"p.g.a.",
|
||
|
|
"ref.",
|
||
|
|
"resp.",
|
||
|
|
"s.",
|
||
|
|
"s.a.s.",
|
||
|
|
"s.k.",
|
||
|
|
"st.",
|
||
|
|
"s:t",
|
||
|
|
"t.ex.",
|
||
|
|
"t.o.m.",
|
||
|
|
"tfn",
|
||
|
|
"ung.",
|
||
|
|
"äv.",
|
||
|
|
"övers."
|
||
|
|
]
|