Add stopwords

This commit is contained in:
muratjumashev 2021-01-23 21:25:28 +06:00
parent 28d06ab860
commit 101d265778

View File

@ -0,0 +1,47 @@
# encoding: utf8
from __future__ import unicode_literals
# Tatar stopwords are from https://github.com/aliiae/stopwords-tt
STOP_WORDS = set(
"""
ага адам айтты айтымында айтып ал алар
алардын алган алуу алып анда андан аны
анын ар
бар басма баш башка башкы башчысы берген
биз билдирген билдирди бир биринчи бирок
бишкек болгон болот болсо болуп боюнча
буга бул
гана
да дагы деген деди деп
жана жатат жаткан жаңы же жогорку жок жол
жолу
кабыл калган кандай карата каршы катары
келген керек кийин кол кылмыш кыргыз
күнү көп
маалымат мамлекеттик мен менен миң
мурдагы мыйзам мындай мүмкүн
ошол ошондой
сүрөт сөз
тарабынан турган тууралуу
укук учурда
чейин чек
экенин эки эл эле эмес эми эч
үч үчүн
өз
""".split()
)