explosion/spaCy
1
1
Fork 0
mirror of https://github.com/explosion/spaCy.git synced 2024-12-25 17:36:30 +03:00
Code Issues Packages Projects Releases Wiki Activity

improved upon the list of included stop_words

Browse Source
This commit is contained in:
Abhinav Sharma 2017-11-13 17:13:49 +05:30 committed by GitHub
parent 7a7b01feb1
commit 59f5740ede
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 61 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

62
spacy/lang/hi/stop_words.py
View File

@ -5,14 +5,23 @@ from __future__ import unicode_literals
# Source: https://github.com/taranjeet/hindi-tokenizer/blob/master/stopwords.txt # Source: https://github.com/taranjeet/hindi-tokenizer/blob/master/stopwords.txt
STOP_WORDS = set(""" STOP_WORDS = set("""
अंदर
अत अत
अदि
अप
अपना अपना
अपनि
अपनी अपनी
अपने अपने
अभि
अभी अभी
अंदर अंदर
आदि आदि
आप आप
इंहिं
इंहें
इंहों
इतयादि
इत्यादि इत्यादि
इन इन
इनका इनका
@ -21,13 +30,19 @@ STOP_WORDS = set("""
इन्हों इन्हों
इस इस
इसका इसका
इसकि
इसकी इसकी
इसके इसके
इसमें इसमें
इसि
इसी इसी
इसे इसे
उंहिं
उंहें
उंहों
उन उन
उनका उनका
उनकि
उनकी उनकी
उनके उनके
उनको उनको
@ -36,13 +51,17 @@ STOP_WORDS = set("""
उन्हों उन्हों
उस उस
उसके उसके
उसि
उसी उसी
उसे उसे
एक एक
एवं एवं
एस एस
एसे
ऐसे ऐसे
ओर
और और
कइ
कई कई
कर कर
करता करता
@ -53,14 +72,18 @@ STOP_WORDS = set("""
कहते कहते
कहा कहा
का का
काफि
काफ़ी काफ़ी
कि कि
किंहें
किंहों
कितना कितना
किन्हें किन्हें
किन्हों किन्हों
किया किया
किर किर
किस किस
किसि
किसी किसी
किसे किसे
की की
@ -68,27 +91,38 @@ STOP_WORDS = set("""
कुल कुल
के के
को को
कोइ
कोई कोई
कोन
कोनसा
कौन कौन
कौनसा कौनसा
गया गया
घर घर
जब जब
जहाँ जहाँ
जहां
जा जा
जिंहें
जिंहों
जितना जितना
जिधर
जिन जिन
जिन्हें जिन्हें
जिन्हों जिन्हों
जिस जिस
जिसे जिसे
जीधर जीधर
जेसा
जेसे
जैसा जैसा
जैसे जैसे
जो जो
तक तक
तब तब
तरह तरह
तिंहें
तिंहों
तिन तिन
तिन्हें तिन्हें
तिन्हों तिन्हों
@ -96,32 +130,41 @@ STOP_WORDS = set("""
तिसे तिसे
तो तो
था था
थि
थी थी
थे थे
दबारा दबारा
दवारा
दिया दिया
दुसरा दुसरा
दुसरे
दूसरे दूसरे
दो दो
द्वारा द्वारा
न न
नके नहिं
नहीं नहीं
ना ना
निचे
निहायत निहायत
नीचे नीचे
ने ने
पर पर
पहले पहले
पुरा
पूरा पूरा
पे पे
फिर फिर
बनि
बनी बनी
बहि
बही बही
बहुत बहुत
बाद बाद
बाला बाला
बिलकुल बिलकुल
भि
भितर
भी भी
भीतर भीतर
मगर मगर
@ -131,11 +174,14 @@ STOP_WORDS = set("""
यदि यदि
यह यह
यहाँ यहाँ
यहां
यहि
यही यही
या या
यिह यिह
ये ये
रखें रखें
रवासा
रहा रहा
रहे रहे
ऱ्वासा ऱ्वासा
@ -143,17 +189,24 @@ STOP_WORDS = set("""
लिये लिये
लेकिन लेकिन
व व
वगेरह
वग़ैरह वग़ैरह
वरग
वर्ग वर्ग
वह वह
वहाँ वहाँ
वहां
वहिं
वहीं वहीं
वाले वाले
वुह वुह
वे वे
वग़ैरह
संग
सकता सकता
सकते सकते
सबसे सबसे
सभि
सभी सभी
साथ साथ
साबुत साबुत
@ -162,16 +215,23 @@ STOP_WORDS = set("""
से से
सो सो
संग संग
हि
ही ही
हुअ
हुआ हुआ
हुइ
हुई हुई
हुए हुए
हे
हें
है है
हैं हैं
हो हो
होता होता
होति
होती होती
होते होते
होना होना
होने होने
""".split()) """.split())