mirror of
https://github.com/explosion/spaCy.git
synced 2025-07-11 08:42:28 +03:00
added tokenizer exceptions list
This commit is contained in:
parent
c1f3fe99fe
commit
ad56c9179a
506
spacy/lang/id/_tokenizer_exceptions_list.py
Normal file
506
spacy/lang/id/_tokenizer_exceptions_list.py
Normal file
|
@ -0,0 +1,506 @@
|
||||||
|
# coding: utf8
|
||||||
|
from __future__ import unicode_literals
|
||||||
|
|
||||||
|
ID_BASE_EXCEPTIONS = """
|
||||||
|
Oedipus-kompleks
|
||||||
|
Zend-Avesta
|
||||||
|
aba-aba
|
||||||
|
abah-abah
|
||||||
|
abong-abong
|
||||||
|
abrit-abrit
|
||||||
|
abu-abu
|
||||||
|
abuk-abuk
|
||||||
|
abun-abun
|
||||||
|
acang-acang
|
||||||
|
aci-aci
|
||||||
|
adang-adang
|
||||||
|
agak-agih
|
||||||
|
agar-agar
|
||||||
|
agut-agut
|
||||||
|
ajar-ajar
|
||||||
|
aji-aji
|
||||||
|
alai-belai
|
||||||
|
alan-alan
|
||||||
|
alang-alang
|
||||||
|
alap-alap
|
||||||
|
ali-ali
|
||||||
|
alih-alih
|
||||||
|
alu-alu
|
||||||
|
alu-aluan
|
||||||
|
alun-alun
|
||||||
|
alur-alur
|
||||||
|
ambah-ambah
|
||||||
|
ambai-ambai
|
||||||
|
ambreng-ambrengan
|
||||||
|
ambu-ambu
|
||||||
|
ambung-ambung
|
||||||
|
amin-amin
|
||||||
|
amit-amit
|
||||||
|
ampai-ampai
|
||||||
|
anai-anai
|
||||||
|
ancak-ancak
|
||||||
|
ancar-ancar
|
||||||
|
andang-andang
|
||||||
|
andeng-andeng
|
||||||
|
anggung-anggip
|
||||||
|
angkal-angkal
|
||||||
|
angkul-angkul
|
||||||
|
angkut-angkut
|
||||||
|
ani-ani
|
||||||
|
aning-aning
|
||||||
|
anjang-anjang
|
||||||
|
anjing-anjing
|
||||||
|
antah-berantah
|
||||||
|
antar-antar
|
||||||
|
anter-anter
|
||||||
|
antung-antung
|
||||||
|
anyang-anyang
|
||||||
|
api-api
|
||||||
|
apit-apit
|
||||||
|
apu-apu
|
||||||
|
arem-arem
|
||||||
|
ari-ari
|
||||||
|
asuh-asuh
|
||||||
|
awar-awar
|
||||||
|
awat-awat
|
||||||
|
awik-awik
|
||||||
|
ayak-ayak
|
||||||
|
ayang-ayang
|
||||||
|
ba-bi-bu
|
||||||
|
bajang-bajang
|
||||||
|
baji-baji
|
||||||
|
balai-balai
|
||||||
|
bangun-bangun
|
||||||
|
barat-barat
|
||||||
|
barau-barau
|
||||||
|
bare-bare
|
||||||
|
bari-bari
|
||||||
|
barung-barung
|
||||||
|
basa-basi
|
||||||
|
bata-bata
|
||||||
|
batir-batir
|
||||||
|
bayan-bayan
|
||||||
|
begana-begini
|
||||||
|
belat-belit
|
||||||
|
belu-belai
|
||||||
|
bengang-bengut
|
||||||
|
benggal-benggil
|
||||||
|
bengkal-bengkil
|
||||||
|
bengkang-bengkok
|
||||||
|
bengkang-bengkong
|
||||||
|
bengkang-bengkung
|
||||||
|
berang-berang
|
||||||
|
beras-beras
|
||||||
|
berek-berek
|
||||||
|
bereng-bereng
|
||||||
|
beri-beri
|
||||||
|
bering-bering
|
||||||
|
berkali-kali
|
||||||
|
bermacam-macam
|
||||||
|
bersama-sama
|
||||||
|
bersiap-siap
|
||||||
|
bertanya-tanya
|
||||||
|
berturut-turut
|
||||||
|
betak-betak
|
||||||
|
beti-beti
|
||||||
|
biar-biar
|
||||||
|
bilang-bilang
|
||||||
|
bincang-bincut
|
||||||
|
biri-biri
|
||||||
|
bolak-balik
|
||||||
|
bolang-baling
|
||||||
|
bongkar-bangkir
|
||||||
|
boro-boro
|
||||||
|
boyo-boyo
|
||||||
|
buaya-buaya
|
||||||
|
bugi-bugi
|
||||||
|
bulang-baling
|
||||||
|
buli-buli
|
||||||
|
bulu-bulu
|
||||||
|
bulus-bulus
|
||||||
|
caci-maki
|
||||||
|
cawe-cawe
|
||||||
|
celam-celum
|
||||||
|
celangak-celinguk
|
||||||
|
celas-celus
|
||||||
|
celedang-celedok
|
||||||
|
celengkak-celengkok
|
||||||
|
cenal-cenil
|
||||||
|
cengar-cengir
|
||||||
|
cengir-cengir
|
||||||
|
cengis-cengis
|
||||||
|
ceplas-ceplos
|
||||||
|
cerai-berai
|
||||||
|
cobak-cabik
|
||||||
|
cobar-cabir
|
||||||
|
cola-cala
|
||||||
|
colang-caling
|
||||||
|
comat-comot
|
||||||
|
compang-camping
|
||||||
|
conggah-canggih
|
||||||
|
congkah-cangkih
|
||||||
|
congkah-mangkih
|
||||||
|
copak-capik
|
||||||
|
crat-crit
|
||||||
|
cumi-cumi
|
||||||
|
dag-dag
|
||||||
|
dag-dig-dug
|
||||||
|
dali-dali
|
||||||
|
dapur-dapur
|
||||||
|
dari-dari
|
||||||
|
daru-daru
|
||||||
|
dawai-dawai
|
||||||
|
dekak-dekak
|
||||||
|
desas-desus
|
||||||
|
dewi-dewi
|
||||||
|
dinul-Islam
|
||||||
|
dog-dog
|
||||||
|
dokok-dokok
|
||||||
|
dolak-dalik
|
||||||
|
dulang-dulang
|
||||||
|
engap-engap
|
||||||
|
engket-engket
|
||||||
|
erek-erek
|
||||||
|
flip-plop
|
||||||
|
gaba-gaba
|
||||||
|
gada-gada
|
||||||
|
gading-gading
|
||||||
|
gado-gado
|
||||||
|
gala-gala
|
||||||
|
galing-galing
|
||||||
|
galu-galu
|
||||||
|
gana-gini
|
||||||
|
gapah-gopoh
|
||||||
|
gara-gara
|
||||||
|
gayang-gayang
|
||||||
|
gebyah-uyah
|
||||||
|
gedana-gedini
|
||||||
|
gedebak-gedebuk
|
||||||
|
gedebar-gedebur
|
||||||
|
geli-geli
|
||||||
|
gembar-gembor
|
||||||
|
gembrang-gembreng
|
||||||
|
gempul-gempul
|
||||||
|
genjang-genjot
|
||||||
|
gerbas-gerbus
|
||||||
|
gereng-gereng
|
||||||
|
gerot-gerot
|
||||||
|
getak-getuk
|
||||||
|
getem-getem
|
||||||
|
geti-geti
|
||||||
|
gili-gili
|
||||||
|
girap-girap
|
||||||
|
giring-giring
|
||||||
|
golak-galik
|
||||||
|
gondas-gandes
|
||||||
|
gonta-ganti
|
||||||
|
gorong-gorong
|
||||||
|
gresek-gresek
|
||||||
|
gudu-gudu
|
||||||
|
gulang-gulang
|
||||||
|
halai-balai
|
||||||
|
hasta-wara
|
||||||
|
hila-hila
|
||||||
|
hiru-biru
|
||||||
|
hiru-hara
|
||||||
|
hubar-habir
|
||||||
|
hubaya-hubaya
|
||||||
|
hula-hula
|
||||||
|
hura-hura
|
||||||
|
huru-hara
|
||||||
|
ibar-ibar
|
||||||
|
icak-icak
|
||||||
|
ikan-ikan
|
||||||
|
ilam-ilam
|
||||||
|
ilat-ilatan
|
||||||
|
iming-iming
|
||||||
|
imut-imut
|
||||||
|
incang-incut
|
||||||
|
ingat-ingat
|
||||||
|
inggang-inggung
|
||||||
|
ira-ira
|
||||||
|
irah-irahan
|
||||||
|
isak-isak
|
||||||
|
jali-jali
|
||||||
|
jarum-jarum
|
||||||
|
jegal-jegalan
|
||||||
|
jelur-jelir
|
||||||
|
jentik-jentik
|
||||||
|
jongkar-jangkir
|
||||||
|
jongkat-jangkit
|
||||||
|
kabang-kabang
|
||||||
|
kabu-kabu
|
||||||
|
kacang-kacang
|
||||||
|
kacang-kacangan
|
||||||
|
kala-kala
|
||||||
|
kalau-kalau
|
||||||
|
kalut-malut
|
||||||
|
kanak-kanak
|
||||||
|
kareseh-peseh
|
||||||
|
kasak-kusuk
|
||||||
|
katang-katang
|
||||||
|
kawa-kawa
|
||||||
|
kecuh-kecah
|
||||||
|
kelak-kelik
|
||||||
|
kelak-keluk
|
||||||
|
kelang-kelok
|
||||||
|
kelap-kelip
|
||||||
|
kelemak-kelemek
|
||||||
|
kelik-kelik
|
||||||
|
kelontang-kelantung
|
||||||
|
kelusuh-kelasah
|
||||||
|
kencrang-kencring
|
||||||
|
kerang-keroh
|
||||||
|
kercap-kercip
|
||||||
|
kercap-kercup
|
||||||
|
keriang-keriut
|
||||||
|
kernyat-kernyut
|
||||||
|
keropas-kerapis
|
||||||
|
keruntang-pungkang
|
||||||
|
kesap-kesip
|
||||||
|
kesu-kesi
|
||||||
|
kesuh-kesih
|
||||||
|
kesuk-kesik
|
||||||
|
ketakar-keteker
|
||||||
|
ketap-ketap
|
||||||
|
ketir-ketir
|
||||||
|
kiang-kiut
|
||||||
|
kibang-kibut
|
||||||
|
kicang-kecoh
|
||||||
|
kicang-kicu
|
||||||
|
kida-kida
|
||||||
|
kijang-kijang
|
||||||
|
kira-kira
|
||||||
|
kiu-kiu
|
||||||
|
kluntang-klantung
|
||||||
|
kocah-kacih
|
||||||
|
kocar-kacir
|
||||||
|
kodok-kodok
|
||||||
|
kolang-kaling
|
||||||
|
kole-kole
|
||||||
|
koleh-koleh
|
||||||
|
komat-kamit
|
||||||
|
kontal-kantil
|
||||||
|
kontang-kanting
|
||||||
|
kopat-kapit
|
||||||
|
kosak-kasik
|
||||||
|
kotak-katik
|
||||||
|
kucar-kacir
|
||||||
|
kuda-kuda
|
||||||
|
kulik-kulik
|
||||||
|
kunang-kunang
|
||||||
|
kunar-kunar
|
||||||
|
kupat-kapit
|
||||||
|
kupu-kupu
|
||||||
|
kura-kura
|
||||||
|
kusat-mesat
|
||||||
|
kutat-kutet
|
||||||
|
kuwung-kuwung
|
||||||
|
laba-laba
|
||||||
|
labi-labi
|
||||||
|
laguh-lagah
|
||||||
|
lalu-lalang
|
||||||
|
lamat-lamat
|
||||||
|
lancar-lancar
|
||||||
|
langak-longok
|
||||||
|
langit-langit
|
||||||
|
lapat-lapat
|
||||||
|
legak-legok
|
||||||
|
legup-legup
|
||||||
|
leha-leha
|
||||||
|
lekak-lekuk
|
||||||
|
lekap-lekup
|
||||||
|
lekuh-lekih
|
||||||
|
lekum-lekum
|
||||||
|
lekup-lekap
|
||||||
|
lenggak-lenggok
|
||||||
|
lentam-lentum
|
||||||
|
lentang-lentok
|
||||||
|
lete-lete
|
||||||
|
lidah-lidah
|
||||||
|
liuk-liuk
|
||||||
|
liung-liung
|
||||||
|
lobi-lobi
|
||||||
|
longak-longok
|
||||||
|
lontang-lanting
|
||||||
|
lontang-lantung
|
||||||
|
lumba-lumba
|
||||||
|
lumi-lumi
|
||||||
|
luntang-lantung
|
||||||
|
lupa-lupa
|
||||||
|
mahi-mahi
|
||||||
|
mali-mali
|
||||||
|
masing-masing
|
||||||
|
mata-mata
|
||||||
|
megal-megol
|
||||||
|
megap-megap
|
||||||
|
megrek-megrek
|
||||||
|
melak-melak
|
||||||
|
menanti-nanti
|
||||||
|
mencla-mencle
|
||||||
|
mentul-mentul
|
||||||
|
mercak-mercik
|
||||||
|
mondar-mandir
|
||||||
|
morat-marit
|
||||||
|
nasi-nasi
|
||||||
|
neka-neka
|
||||||
|
nong-nong
|
||||||
|
ogah-agih
|
||||||
|
ogah-ogah
|
||||||
|
ogak-agik
|
||||||
|
ogak-ogak
|
||||||
|
olak-alik
|
||||||
|
olak-olak
|
||||||
|
olang-aling
|
||||||
|
oleh-oleh
|
||||||
|
olong-olong
|
||||||
|
ombang-ambing
|
||||||
|
onde-onde
|
||||||
|
ondel-ondel
|
||||||
|
oneng-oneng
|
||||||
|
ongol-ongol
|
||||||
|
ontran-ontran
|
||||||
|
onyah-anyih
|
||||||
|
onyak-anyik
|
||||||
|
opak-apik
|
||||||
|
orak-arik
|
||||||
|
orang-aring
|
||||||
|
orat-oret
|
||||||
|
orok-orok
|
||||||
|
orong-orong
|
||||||
|
otak-atik
|
||||||
|
otak-otak
|
||||||
|
palas-palas
|
||||||
|
palato-alveolar
|
||||||
|
pao-pao
|
||||||
|
parang-parang
|
||||||
|
pasu-pasu
|
||||||
|
paya-paya
|
||||||
|
perak-perak
|
||||||
|
peras-perus
|
||||||
|
pertama-tama
|
||||||
|
petantang-petenteng
|
||||||
|
petatang-peteteng
|
||||||
|
pete-pete
|
||||||
|
pina-pina
|
||||||
|
plintat-plintut
|
||||||
|
plonga-plongo
|
||||||
|
pontang-panting
|
||||||
|
porak-parik
|
||||||
|
porak-peranda
|
||||||
|
porak-poranda
|
||||||
|
pukang-pukang
|
||||||
|
pungak-pinguk
|
||||||
|
pura-pura
|
||||||
|
puruk-parak
|
||||||
|
puvi-puvi
|
||||||
|
raba-rubu
|
||||||
|
rama-rama
|
||||||
|
randa-rondo
|
||||||
|
rango-rango
|
||||||
|
rep-repan
|
||||||
|
riang-riang
|
||||||
|
ribu-ribu
|
||||||
|
rigi-rigi
|
||||||
|
rintik-rintik
|
||||||
|
robak-rabik
|
||||||
|
robat-rabit
|
||||||
|
rombang-rambing
|
||||||
|
romol-romol
|
||||||
|
rondah-rondih
|
||||||
|
ropak-rapik
|
||||||
|
ruba-ruba
|
||||||
|
rumbai-rumbai
|
||||||
|
rundu-rundu
|
||||||
|
runggu-rangga
|
||||||
|
runtang-runtung
|
||||||
|
sabu-sabu
|
||||||
|
sama-sama
|
||||||
|
samo-samo
|
||||||
|
sampai-sampai
|
||||||
|
sarit-sarit
|
||||||
|
sebaik-baiknya
|
||||||
|
segan-segan
|
||||||
|
sekali-kali
|
||||||
|
sekonyong-konyong
|
||||||
|
sekurang-kurangnya
|
||||||
|
selak-seluk
|
||||||
|
selama-lamanya
|
||||||
|
selang-seli
|
||||||
|
selang-seling
|
||||||
|
selentang-selenting
|
||||||
|
seluk-beluk
|
||||||
|
sema-sema
|
||||||
|
semang-semang
|
||||||
|
semata-mata
|
||||||
|
sengar-sengir
|
||||||
|
seolah-olah
|
||||||
|
sepala-pala
|
||||||
|
serbah-serbih
|
||||||
|
serembah-serembih
|
||||||
|
serta-merta
|
||||||
|
setidak-tidaknya
|
||||||
|
sia-sia
|
||||||
|
slintat-slintut
|
||||||
|
sorak-sorai
|
||||||
|
sudu-sudu
|
||||||
|
sulat-sulit
|
||||||
|
sumpah-sumpah
|
||||||
|
tabar-tabar
|
||||||
|
takang-takik
|
||||||
|
tawa-tawa
|
||||||
|
tawak-tawak
|
||||||
|
tawang-tawang
|
||||||
|
tawar-tawar
|
||||||
|
teka-teki
|
||||||
|
temut-temut
|
||||||
|
teringat-ingat
|
||||||
|
tiba-tiba
|
||||||
|
timah-timah
|
||||||
|
timu-timu
|
||||||
|
tuang-tuang
|
||||||
|
tuli-tuli
|
||||||
|
tumpang-tindih
|
||||||
|
tupai-tupai
|
||||||
|
ubrak-abrik
|
||||||
|
ubun-ubun
|
||||||
|
ubur-ubur
|
||||||
|
uci-uci
|
||||||
|
ugal-ugalan
|
||||||
|
uget-uget
|
||||||
|
uir-uir
|
||||||
|
ula-ula
|
||||||
|
ulang-alik
|
||||||
|
ulang-aling
|
||||||
|
ulap-ulap
|
||||||
|
ular-ular
|
||||||
|
ular-ularan
|
||||||
|
ulu-ulu
|
||||||
|
ulung-ulung
|
||||||
|
umang-umang
|
||||||
|
umbang-ambing
|
||||||
|
umbul-umbul
|
||||||
|
umbut-umbut
|
||||||
|
uncang-uncit
|
||||||
|
unduk-unduk
|
||||||
|
undung-undung
|
||||||
|
undur-undur
|
||||||
|
unek-unek
|
||||||
|
ungah-angih
|
||||||
|
unggang-anggit
|
||||||
|
unggat-unggit
|
||||||
|
untang-anting
|
||||||
|
ura-ura
|
||||||
|
uran-uran
|
||||||
|
user-user
|
||||||
|
utak-atik
|
||||||
|
utar-utar
|
||||||
|
uter-uter
|
||||||
|
wanti-wanti
|
||||||
|
wara-wiri
|
||||||
|
warna-warni
|
||||||
|
wira-wiri
|
||||||
|
wora-wari
|
||||||
|
yang-yang
|
||||||
|
zig-zag
|
||||||
|
""".split()
|
Loading…
Reference in New Issue
Block a user