mirror of
https://github.com/explosion/spaCy.git
synced 2024-12-26 18:06:29 +03:00
Add more custom rules for abbreviations
This commit is contained in:
Ines Montani
parent
bfaa42636c
commit
877f09218b
|
|
@ -1901,46 +1901,247 @@ TOKENIZER_EXCEPTIONS = {
|
||||||
"that's": [
|
"that's": [
|
||||||
{ORTH: "that"},
|
{ORTH: "that"},
|
||||||
{ORTH: "'s"}
|
{ORTH: "'s"}
|
||||||
]
|
],
|
||||||
|
|
||||||
|
"'em": [
|
||||||
|
{ORTH: "'em", LEMMA: PRON_LEMMA}
|
||||||
|
],
|
||||||
|
|
||||||
|
"ol'": [
|
||||||
|
{ORTH: "ol'", LEMMA: "old"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ak.": [
|
||||||
|
{ORTH: "Ak.", LEMMA: "Alaska"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ala.": [
|
||||||
|
{ORTH: "Ala.", LEMMA: "Alabama"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Apr.": [
|
||||||
|
{ORTH: "Apr.", LEMMA: "April"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ariz.": [
|
||||||
|
{ORTH: "Ariz.", LEMMA: "Arizona"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ark.": [
|
||||||
|
{ORTH: "Ark.", LEMMA: "Arkansas"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Aug.": [
|
||||||
|
{ORTH: "Aug.", LEMMA: "August"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Calif.": [
|
||||||
|
{ORTH: "Calif.", LEMMA: "California"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Colo.": [
|
||||||
|
{ORTH: "Colo.", LEMMA: "Colorado"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Conn.": [
|
||||||
|
{ORTH: "Conn.", LEMMA: "Connecticut"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Dec.": [
|
||||||
|
{ORTH: "Dec.", LEMMA: "December"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Del.": [
|
||||||
|
{ORTH: "Del.", LEMMA: "Delaware"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Feb.": [
|
||||||
|
{ORTH: "Feb.", LEMMA: "February"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Fla.": [
|
||||||
|
{ORTH: "Fla.", LEMMA: "Florida"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ga.": [
|
||||||
|
{ORTH: "Ga.", LEMMA: "Georgia"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ia.": [
|
||||||
|
{ORTH: "Ia.", LEMMA: "Iowa"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Id.": [
|
||||||
|
{ORTH: "Id.", LEMMA: "Idaho"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ill.": [
|
||||||
|
{ORTH: "Ill.", LEMMA: "Illinois"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ind.": [
|
||||||
|
{ORTH: "Ind.", LEMMA: "Indiana"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Jan.": [
|
||||||
|
{ORTH: "Jan.", LEMMA: "January"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Jul.": [
|
||||||
|
{ORTH: "Jul.", LEMMA: "July"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Jun.": [
|
||||||
|
{ORTH: "Jun.", LEMMA: "June"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Kan.": [
|
||||||
|
{ORTH: "Kan.", LEMMA: "Kansas"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Kans.": [
|
||||||
|
{ORTH: "Kans.", LEMMA: "Kansas"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ky.": [
|
||||||
|
{ORTH: "Ky.", LEMMA: "Kentucky"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"La.": [
|
||||||
|
{ORTH: "La.", LEMMA: "Louisiana"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Mar.": [
|
||||||
|
{ORTH: "Mar.", LEMMA: "March"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Mass.": [
|
||||||
|
{ORTH: "Mass.", LEMMA: "Massachusetts"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"May.": [
|
||||||
|
{ORTH: "May.", LEMMA: "May"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Mich.": [
|
||||||
|
{ORTH: "Mich.", LEMMA: "Michigan"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Minn.": [
|
||||||
|
{ORTH: "Minn.", LEMMA: "Minnesota"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Miss.": [
|
||||||
|
{ORTH: "Miss.", LEMMA: "Mississippi"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"N.C.": [
|
||||||
|
{ORTH: "N.C.", LEMMA: "North Carolina"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"N.D.": [
|
||||||
|
{ORTH: "N.D.", LEMMA: "North Dakota"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"N.H.": [
|
||||||
|
{ORTH: "N.H.", LEMMA: "New Hampshire"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"N.J.": [
|
||||||
|
{ORTH: "N.J.", LEMMA: "New Jersey"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"N.M.": [
|
||||||
|
{ORTH: "N.M.", LEMMA: "New Mexico"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"N.Y.": [
|
||||||
|
{ORTH: "N.Y.", LEMMA: "New York"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Neb.": [
|
||||||
|
{ORTH: "Neb.", LEMMA: "Nebraska"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Nebr.": [
|
||||||
|
{ORTH: "Nebr.", LEMMA: "Nebraska"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Nev.": [
|
||||||
|
{ORTH: "Nev.", LEMMA: "Nevada"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Nov.": [
|
||||||
|
{ORTH: "Nov.", LEMMA: "November"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Oct.": [
|
||||||
|
{ORTH: "Oct.", LEMMA: "October"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Okla.": [
|
||||||
|
{ORTH: "Okla.", LEMMA: "Oklahoma"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Ore.": [
|
||||||
|
{ORTH: "Ore.", LEMMA: "Oregon"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Pa.": [
|
||||||
|
{ORTH: "Pa.", LEMMA: "Pennsylvania"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"S.C.": [
|
||||||
|
{ORTH: "S.C.", LEMMA: "South Carolina"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Sep.": [
|
||||||
|
{ORTH: "Sep.", LEMMA: "September"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Sept.": [
|
||||||
|
{ORTH: "Sept.", LEMMA: "September"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Tenn.": [
|
||||||
|
{ORTH: "Tenn.", LEMMA: "Tennessee"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Va.": [
|
||||||
|
{ORTH: "Va.", LEMMA: "Virginia"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Wash.": [
|
||||||
|
{ORTH: "Wash.", LEMMA: "Washington"}
|
||||||
|
],
|
||||||
|
|
||||||
|
"Wis.": [
|
||||||
|
{ORTH: "Wis.", LEMMA: "Wisconsin"}
|
||||||
|
],
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
self_map = [
|
self_map = [
|
||||||
"''",
|
"''",
|
||||||
"'em",
|
|
||||||
"'ol'",
|
|
||||||
"\")",
|
"\")",
|
||||||
"a.",
|
"a.",
|
||||||
"a.m.",
|
"a.m.",
|
||||||
"Adm.",
|
"Adm.",
|
||||||
"Ala.",
|
|
||||||
"Apr.",
|
|
||||||
"Ariz.",
|
|
||||||
"Ark.",
|
|
||||||
"Aug.",
|
|
||||||
"b.",
|
"b.",
|
||||||
"Bros.",
|
"Bros.",
|
||||||
"c.",
|
"c.",
|
||||||
"Calif.",
|
|
||||||
"co.",
|
"co.",
|
||||||
"Co.",
|
"Co.",
|
||||||
"Colo.",
|
|
||||||
"Conn.",
|
|
||||||
"Corp.",
|
"Corp.",
|
||||||
"d.",
|
"d.",
|
||||||
"D.C.",
|
"D.C.",
|
||||||
"Dec.",
|
|
||||||
"Del.",
|
|
||||||
"Dr.",
|
"Dr.",
|
||||||
"e.",
|
"e.",
|
||||||
"e.g.",
|
"e.g.",
|
||||||
"E.g.",
|
"E.g.",
|
||||||
"E.G.",
|
"E.G.",
|
||||||
"f.",
|
"f.",
|
||||||
"Feb.",
|
|
||||||
"Fla.",
|
|
||||||
"g.",
|
"g.",
|
||||||
"Ga.",
|
|
||||||
"Gen.",
|
"Gen.",
|
||||||
"Gov.",
|
"Gov.",
|
||||||
"h.",
|
"h.",
|
||||||
|
|
@ -1948,53 +2149,24 @@ self_map = [
|
||||||
"i.e.",
|
"i.e.",
|
||||||
"I.e.",
|
"I.e.",
|
||||||
"I.E.",
|
"I.E.",
|
||||||
"Ill.",
|
|
||||||
"Inc.",
|
"Inc.",
|
||||||
"Ind.",
|
|
||||||
"j.",
|
"j.",
|
||||||
"Jan.",
|
|
||||||
"Jr.",
|
"Jr.",
|
||||||
"Jul.",
|
|
||||||
"Jun.",
|
|
||||||
"k.",
|
"k.",
|
||||||
"Kan.",
|
|
||||||
"Kans.",
|
|
||||||
"Ky.",
|
|
||||||
"l.",
|
"l.",
|
||||||
"La.",
|
|
||||||
"Ltd.",
|
"Ltd.",
|
||||||
"m.",
|
"m.",
|
||||||
"Mar.",
|
|
||||||
"Mass.",
|
|
||||||
"May."
|
|
||||||
"Md.",
|
"Md.",
|
||||||
"Messrs.",
|
"Messrs.",
|
||||||
"Mich.",
|
|
||||||
"Minn.",
|
|
||||||
"Miss.",
|
|
||||||
"Mo.",
|
"Mo.",
|
||||||
"Mont.",
|
"Mont.",
|
||||||
"Mr.",
|
"Mr.",
|
||||||
"Mrs.",
|
"Mrs.",
|
||||||
"Ms.",
|
"Ms.",
|
||||||
"n.",
|
"n.",
|
||||||
"N.C.",
|
|
||||||
"N.D.",
|
|
||||||
"N.H.",
|
|
||||||
"N.J.",
|
|
||||||
"N.M.",
|
|
||||||
"N.Y.",
|
|
||||||
"Neb.",
|
|
||||||
"Nebr.",
|
|
||||||
"Nev.",
|
|
||||||
"Nov.",
|
|
||||||
"o.",
|
"o.",
|
||||||
"Oct.",
|
|
||||||
"Okla.",
|
|
||||||
"Ore.",
|
|
||||||
"p.",
|
"p.",
|
||||||
"p.m.",
|
"p.m.",
|
||||||
"Pa.",
|
|
||||||
"Ph.D.",
|
"Ph.D.",
|
||||||
"q.",
|
"q.",
|
||||||
"r.",
|
"r.",
|
||||||
|
|
@ -2002,18 +2174,12 @@ self_map = [
|
||||||
"Rev.",
|
"Rev.",
|
||||||
"s.",
|
"s.",
|
||||||
"Sen.",
|
"Sen.",
|
||||||
"Sep.",
|
|
||||||
"Sept.",
|
|
||||||
"St.",
|
"St.",
|
||||||
"t.",
|
"t.",
|
||||||
"Tenn.",
|
|
||||||
"u.",
|
"u.",
|
||||||
"v.",
|
"v.",
|
||||||
"Va.",
|
|
||||||
"vs.",
|
"vs.",
|
||||||
"w.",
|
"w.",
|
||||||
"Wash.",
|
|
||||||
"Wis.",
|
|
||||||
"x.",
|
"x.",
|
||||||
"y.",
|
"y.",
|
||||||
"z."
|
"z."
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue
Block a user