added tokenizer exceptions list

spacy/lang/id/_tokenizer_exceptions_list.py

@@ -0,0 +1,506 @@
+# coding: utf8
+from __future__ import unicode_literals
+
+ID_BASE_EXCEPTIONS = """
+Oedipus-kompleks
+Zend-Avesta
+aba-aba
+abah-abah
+abong-abong
+abrit-abrit
+abu-abu
+abuk-abuk
+abun-abun
+acang-acang
+aci-aci
+adang-adang
+agak-agih
+agar-agar
+agut-agut
+ajar-ajar
+aji-aji
+alai-belai
+alan-alan
+alang-alang
+alap-alap
+ali-ali
+alih-alih
+alu-alu
+alu-aluan
+alun-alun
+alur-alur
+ambah-ambah
+ambai-ambai
+ambreng-ambrengan
+ambu-ambu
+ambung-ambung
+amin-amin
+amit-amit
+ampai-ampai
+anai-anai
+ancak-ancak
+ancar-ancar
+andang-andang
+andeng-andeng
+anggung-anggip
+angkal-angkal
+angkul-angkul
+angkut-angkut
+ani-ani
+aning-aning
+anjang-anjang
+anjing-anjing
+antah-berantah
+antar-antar
+anter-anter
+antung-antung
+anyang-anyang
+api-api
+apit-apit
+apu-apu
+arem-arem
+ari-ari
+asuh-asuh
+awar-awar
+awat-awat
+awik-awik
+ayak-ayak
+ayang-ayang
+ba-bi-bu
+bajang-bajang
+baji-baji
+balai-balai
+bangun-bangun
+barat-barat
+barau-barau
+bare-bare
+bari-bari
+barung-barung
+basa-basi
+bata-bata
+batir-batir
+bayan-bayan
+begana-begini
+belat-belit
+belu-belai
+bengang-bengut
+benggal-benggil
+bengkal-bengkil
+bengkang-bengkok
+bengkang-bengkong
+bengkang-bengkung
+berang-berang
+beras-beras
+berek-berek
+bereng-bereng
+beri-beri
+bering-bering
+berkali-kali
+bermacam-macam
+bersama-sama
+bersiap-siap
+bertanya-tanya
+berturut-turut
+betak-betak
+beti-beti
+biar-biar
+bilang-bilang
+bincang-bincut
+biri-biri
+bolak-balik
+bolang-baling
+bongkar-bangkir
+boro-boro
+boyo-boyo
+buaya-buaya
+bugi-bugi
+bulang-baling
+buli-buli
+bulu-bulu
+bulus-bulus
+caci-maki
+cawe-cawe
+celam-celum
+celangak-celinguk
+celas-celus
+celedang-celedok
+celengkak-celengkok
+cenal-cenil
+cengar-cengir
+cengir-cengir
+cengis-cengis
+ceplas-ceplos
+cerai-berai
+cobak-cabik
+cobar-cabir
+cola-cala
+colang-caling
+comat-comot
+compang-camping
+conggah-canggih
+congkah-cangkih
+congkah-mangkih
+copak-capik
+crat-crit
+cumi-cumi
+dag-dag
+dag-dig-dug
+dali-dali
+dapur-dapur
+dari-dari
+daru-daru
+dawai-dawai
+dekak-dekak
+desas-desus
+dewi-dewi
+dinul-Islam
+dog-dog
+dokok-dokok
+dolak-dalik
+dulang-dulang
+engap-engap
+engket-engket
+erek-erek
+flip-plop
+gaba-gaba
+gada-gada
+gading-gading
+gado-gado
+gala-gala
+galing-galing
+galu-galu
+gana-gini
+gapah-gopoh
+gara-gara
+gayang-gayang
+gebyah-uyah
+gedana-gedini
+gedebak-gedebuk
+gedebar-gedebur
+geli-geli
+gembar-gembor
+gembrang-gembreng
+gempul-gempul
+genjang-genjot
+gerbas-gerbus
+gereng-gereng
+gerot-gerot
+getak-getuk
+getem-getem
+geti-geti
+gili-gili
+girap-girap
+giring-giring
+golak-galik
+gondas-gandes
+gonta-ganti
+gorong-gorong
+gresek-gresek
+gudu-gudu
+gulang-gulang
+halai-balai
+hasta-wara
+hila-hila
+hiru-biru
+hiru-hara
+hubar-habir
+hubaya-hubaya
+hula-hula
+hura-hura
+huru-hara
+ibar-ibar
+icak-icak
+ikan-ikan
+ilam-ilam
+ilat-ilatan
+iming-iming
+imut-imut
+incang-incut
+ingat-ingat
+inggang-inggung
+ira-ira
+irah-irahan
+isak-isak
+jali-jali
+jarum-jarum
+jegal-jegalan
+jelur-jelir
+jentik-jentik
+jongkar-jangkir
+jongkat-jangkit
+kabang-kabang
+kabu-kabu
+kacang-kacang
+kacang-kacangan
+kala-kala
+kalau-kalau
+kalut-malut
+kanak-kanak
+kareseh-peseh
+kasak-kusuk
+katang-katang
+kawa-kawa
+kecuh-kecah
+kelak-kelik
+kelak-keluk
+kelang-kelok
+kelap-kelip
+kelemak-kelemek
+kelik-kelik
+kelontang-kelantung
+kelusuh-kelasah
+kencrang-kencring
+kerang-keroh
+kercap-kercip
+kercap-kercup
+keriang-keriut
+kernyat-kernyut
+keropas-kerapis
+keruntang-pungkang
+kesap-kesip
+kesu-kesi
+kesuh-kesih
+kesuk-kesik
+ketakar-keteker
+ketap-ketap
+ketir-ketir
+kiang-kiut
+kibang-kibut
+kicang-kecoh
+kicang-kicu
+kida-kida
+kijang-kijang
+kira-kira
+kiu-kiu
+kluntang-klantung
+kocah-kacih
+kocar-kacir
+kodok-kodok
+kolang-kaling
+kole-kole
+koleh-koleh
+komat-kamit
+kontal-kantil
+kontang-kanting
+kopat-kapit
+kosak-kasik
+kotak-katik
+kucar-kacir
+kuda-kuda
+kulik-kulik
+kunang-kunang
+kunar-kunar
+kupat-kapit
+kupu-kupu
+kura-kura
+kusat-mesat
+kutat-kutet
+kuwung-kuwung
+laba-laba
+labi-labi
+laguh-lagah
+lalu-lalang
+lamat-lamat
+lancar-lancar
+langak-longok
+langit-langit
+lapat-lapat
+legak-legok
+legup-legup
+leha-leha
+lekak-lekuk
+lekap-lekup
+lekuh-lekih
+lekum-lekum
+lekup-lekap
+lenggak-lenggok
+lentam-lentum
+lentang-lentok
+lete-lete
+lidah-lidah
+liuk-liuk
+liung-liung
+lobi-lobi
+longak-longok
+lontang-lanting
+lontang-lantung
+lumba-lumba
+lumi-lumi
+luntang-lantung
+lupa-lupa
+mahi-mahi
+mali-mali
+masing-masing
+mata-mata
+megal-megol
+megap-megap
+megrek-megrek
+melak-melak
+menanti-nanti
+mencla-mencle
+mentul-mentul
+mercak-mercik
+mondar-mandir
+morat-marit
+nasi-nasi
+neka-neka
+nong-nong
+ogah-agih
+ogah-ogah
+ogak-agik
+ogak-ogak
+olak-alik
+olak-olak
+olang-aling
+oleh-oleh
+olong-olong
+ombang-ambing
+onde-onde
+ondel-ondel
+oneng-oneng
+ongol-ongol
+ontran-ontran
+onyah-anyih
+onyak-anyik
+opak-apik
+orak-arik
+orang-aring
+orat-oret
+orok-orok
+orong-orong
+otak-atik
+otak-otak
+palas-palas
+palato-alveolar
+pao-pao
+parang-parang
+pasu-pasu
+paya-paya
+perak-perak
+peras-perus
+pertama-tama
+petantang-petenteng
+petatang-peteteng
+pete-pete
+pina-pina
+plintat-plintut
+plonga-plongo
+pontang-panting
+porak-parik
+porak-peranda
+porak-poranda
+pukang-pukang
+pungak-pinguk
+pura-pura
+puruk-parak
+puvi-puvi
+raba-rubu
+rama-rama
+randa-rondo
+rango-rango
+rep-repan
+riang-riang
+ribu-ribu
+rigi-rigi
+rintik-rintik
+robak-rabik
+robat-rabit
+rombang-rambing
+romol-romol
+rondah-rondih
+ropak-rapik
+ruba-ruba
+rumbai-rumbai
+rundu-rundu
+runggu-rangga
+runtang-runtung
+sabu-sabu
+sama-sama
+samo-samo
+sampai-sampai
+sarit-sarit
+sebaik-baiknya
+segan-segan
+sekali-kali
+sekonyong-konyong
+sekurang-kurangnya
+selak-seluk
+selama-lamanya
+selang-seli
+selang-seling
+selentang-selenting
+seluk-beluk
+sema-sema
+semang-semang
+semata-mata
+sengar-sengir
+seolah-olah
+sepala-pala
+serbah-serbih
+serembah-serembih
+serta-merta
+setidak-tidaknya
+sia-sia
+slintat-slintut
+sorak-sorai
+sudu-sudu
+sulat-sulit
+sumpah-sumpah
+tabar-tabar
+takang-takik
+tawa-tawa
+tawak-tawak
+tawang-tawang
+tawar-tawar
+teka-teki
+temut-temut
+teringat-ingat
+tiba-tiba
+timah-timah
+timu-timu
+tuang-tuang
+tuli-tuli
+tumpang-tindih
+tupai-tupai
+ubrak-abrik
+ubun-ubun
+ubur-ubur
+uci-uci
+ugal-ugalan
+uget-uget
+uir-uir
+ula-ula
+ulang-alik
+ulang-aling
+ulap-ulap
+ular-ular
+ular-ularan
+ulu-ulu
+ulung-ulung
+umang-umang
+umbang-ambing
+umbul-umbul
+umbut-umbut
+uncang-uncit
+unduk-unduk
+undung-undung
+undur-undur
+unek-unek
+ungah-angih
+unggang-anggit
+unggat-unggit
+untang-anting
+ura-ura
+uran-uran
+user-user
+utak-atik
+utar-utar
+uter-uter
+wanti-wanti
+wara-wiri
+warna-warni
+wira-wiri
+wora-wari
+yang-yang
+zig-zag
+""".split()