spaCy/spacy/lang/ne/stop_words.py

# coding: utf8
from __future__ import unicode_literals


# Source: https://github.com/sanjaalcorps/NepaliStopWords/blob/master/NepaliStopWords.txt

STOP_WORDS = set(
    """
अक्सर
अगाडि
अगाडी
अघि
अझै
अठार
अथवा
अनि
अनुसार
अन्तर्गत
अन्य
अन्यत्र
अन्यथा
अब
अरु
अरुलाई
अरू
अर्को
अर्थात
अर्थात्
अलग
अलि
अवस्था
अहिले
आए
आएका
आएको
आज
आजको
आठ
आत्म
आदि
आदिलाई
आफनो
आफू
आफूलाई
आफै
आफैँ
आफ्नै
आफ्नो
आयो
उ
उक्त
उदाहरण
उनको
उनलाई
उनले
उनि
उनी
उनीहरुको
उन्नाइस
उप
उसको
उसलाई
उसले
उहालाई
ऊ
एउटा
एउटै
एक
एकदम
एघार
ओठ
औ
औं
कता
कति
कतै
कम
कमसेकम
कसरि
कसरी
कसै
कसैको
कसैलाई
कसैले
कसैसँग
कस्तो
कहाँबाट
कहिलेकाहीं
का
काम
कारण
कि
किन
किनभने
कुन
कुनै
कुन्नी
कुरा
कृपया
के
केहि
केही
को
कोहि
कोहिपनि
कोही
कोहीपनि
क्रमशः
गए
गएको
गएर
गयौ
गरि
गरी
गरे
गरेका
गरेको
गरेर
गरौं
गर्छ
गर्छन्
गर्छु
गर्दा
गर्दै
गर्न
गर्नु
गर्नुपर्छ
गर्ने
गैर
घर
चार
चाले
चाहनुहुन्छ
चाहन्छु
चाहिं
चाहिए
चाहिंले
चाहीं
चाहेको
चाहेर
चोटी
चौथो
चौध
छ
छन
छन्
छु
छू
छैन
छैनन्
छौ
छौं
जता
जताततै
जना
जनाको
जनालाई
जनाले
जब
जबकि
जबकी
जसको
जसबाट
जसमा
जसरी
जसलाई
जसले
जस्ता
जस्तै
जस्तो
जस्तोसुकै
जहाँ
जान
जाने
जाहिर
जुन
जुनै
जे
जो
जोपनि
जोपनी
झैं
ठाउँमा
ठीक
ठूलो
त
तता
तत्काल
तथा
तथापि
तथापी
तदनुसार
तपाइ
तपाई
तपाईको
तब
तर
तर्फ
तल
तसरी
तापनि
तापनी
तिन
तिनि
तिनिहरुलाई
तिनी
तिनीहरु
तिनीहरुको
तिनीहरू
तिनीहरूको
तिनै
तिमी
तिर
तिरको
ती
तीन
तुरन्त
तुरुन्त
तुरुन्तै
तेश्रो
तेस्कारण
तेस्रो
तेह्र
तैपनि
तैपनी
त्यत्तिकै
त्यत्तिकैमा
त्यस
त्यसकारण
त्यसको
त्यसले
त्यसैले
त्यसो
त्यस्तै
त्यस्तो
त्यहाँ
त्यहिँ
त्यही
त्यहीँ
त्यहीं
त्यो
त्सपछि
त्सैले
थप
थरि
थरी
थाहा
थिए
थिएँ
थिएन
थियो
दर्ता
दश
दिए
दिएको
दिन
दिनुभएको
दिनुहुन्छ
दुइ
दुइवटा
दुई
देखि
देखिन्छ
देखियो
देखे
देखेको
देखेर
दोश्री
दोश्रो
दोस्रो
द्वारा
धन्न
धेरै
धौ
न
नगर्नु
नगर्नू
नजिकै
नत्र
नत्रभने
नभई
नभएको
नभनेर
नयाँ
नि
निकै
निम्ति
निम्न
निम्नानुसार
निर्दिष्ट
नै
नौ
पक्का
पक्कै
पछाडि
पछाडी
पछि
पछिल्लो
पछी
पटक
पनि
पन्ध्र
पर्छ
पर्थ्यो
पर्दैन
पर्ने
पर्नेमा
पर्याप्त
पहिले
पहिलो
पहिल्यै
पाँच
पांच
पाचौँ
पाँचौं
पिच्छे
पूर्व
पो
प्रति
प्रतेक
प्रत्यक
प्राय
प्लस
फरक
फेरि
फेरी
बढी
बताए
बने
बरु
बाट
बारे
बाहिर
बाहेक
बाह्र
बिच
बिचमा
बिरुद्ध
बिशेष
बिस
बीच
बीचमा
बीस
भए
भएँ
भएका
भएकालाई
भएको
भएन
भएर
भन
भने
भनेको
भनेर
भन्
भन्छन्
भन्छु
भन्दा
भन्दै
भन्नुभयो
भन्ने
भन्या
भयेन
भयो
भर
भरि
भरी
भा
भित्र
भित्री
भीत्र
म
मध्य
मध्ये
मलाई
मा
मात्र
मात्रै
माथि
माथी
मुख्य
मुनि
मुन्तिर
मेरो
मैले
यति
यथोचित
यदि
यद्ध्यपि
यद्यपि
यस
यसका
यसको
यसपछि
यसबाहेक
यसमा
यसरी
यसले
यसो
यस्तै
यस्तो
यहाँ
यहाँसम्म
यही
या
यी
यो
र
रही
रहेका
रहेको
रहेछ
राखे
राख्छ
राम्रो
रुपमा
रूप
रे
लगभग
लगायत
लाई
लाख
लागि
लागेको
ले
वटा
वरीपरी
वा
वाट
वापत
वास्तवमा
शायद
सक्छ
सक्ने
सँग
संग
सँगको
सँगसँगै
सँगै
संगै
सङ्ग
सङ्गको
सट्टा
सत्र
सधै
सबै
सबैको
सबैलाई
समय
समेत
सम्भव
सम्म
सय
सरह
सहित
सहितै
सही
साँच्चै
सात
साथ
साथै
सायद
सारा
सुनेको
सुनेर
सुरु
सुरुको
सुरुमै
सो
सोचेको
सोचेर
सोही
सोह्र
स्थित
स्पष्ट
हजार
हरे
हरेक
हामी
हामीले
हाम्रा
हाम्रो
हुँदैन
हुन
हुनत
हुनु
हुने
हुनेछ
हुन्
हुन्छ
हुन्थ्यो
हैन
हो
होइन
होकि
होला
""".split()
)
-												Update v2.3.x branch (#5636)

* Fix typos and auto-format [ci skip]

* Add pkuseg warnings and auto-format [ci skip]

* Update Binder URL [ci skip]

* Update Binder version [ci skip]

* Update alignment example for new gold.align

* Update POS in tagging example

* Fix numpy.zeros() dtype for Doc.from_array

* Change example title to Dr.

Change example title to Dr. so the current model does exclude the title
in the initial example.

* Fix spacy convert argument

* Warning for sudachipy 0.4.5 (#5611)

* Create myavrum.md (#5612)

* Update lex_attrs.py (#5608)

* Create mahnerak.md (#5615)

* Some changes for Armenian (#5616)

* Fixing numericals

* We need a Armenian question sign to make the sentence a question

* Add Nepali Language  (#5622)

* added support for nepali lang

* added examples and test files

* added spacy contributor agreement

* Japanese model: add user_dict entries and small refactor (#5573)

* user_dict fields: adding inflections, reading_forms, sub_tokens
deleting: unidic_tags
improve code readability around the token alignment procedure

* add test cases, replace fugashi with sudachipy in conftest

* move bunsetu.py to spaCy Universe as a pipeline component BunsetuRecognizer

* tag is space -> both surface and tag are spaces

* consider len(text)==0

* Add warnings example in v2.3 migration guide (#5627)

* contribute (#5632)

* Fix polarity of Token.is_oov and Lexeme.is_oov (#5634)

Fix `Token.is_oov` and `Lexeme.is_oov` so they return `True` when the
lexeme does **not** have a vector.

* Extend what's new in v2.3 with vocab / is_oov (#5635)

* Skip vocab in component config overrides (#5624)

* Fix backslashes in warnings config diff (#5640)

Fix backslashes in warnings config diff in v2.3 migration section.

* Disregard special tag  _SP in check for new tag map (#5641)

* Skip special tag  _SP in check for new tag map

In `Tagger.begin_training()` check for new tags aside from `_SP` in the
new tag map initialized from the provided gold tuples when determining
whether to reinitialize the morphology with the new tag map.

* Simplify _SP check

Co-authored-by: Ines Montani <ines@ines.io>
Co-authored-by: Marat M. Yavrumyan <myavrum@ysu.am>
Co-authored-by: Karen Hambardzumyan <mahnerak@gmail.com>
Co-authored-by: Rameshh <30867740+rameshhpathak@users.noreply.github.com>
Co-authored-by: Hiroshi Matsuda <40782025+hiroshi-matsuda-rit@users.noreply.github.com>
Co-authored-by: Richard Liaw <rliaw@berkeley.edu>
											
										
										
											2020-06-29 15:13:12 +03:00
+								# coding: utf8
 								from __future__ import unicode_literals
 								# Source: https://github.com/sanjaalcorps/NepaliStopWords/blob/master/NepaliStopWords.txt
 								STOP_WORDS = set(
 								    """
 								अक्सर
 								अगाडि
 								अगाडी
 								अघि
 								अझै
 								अठार
 								अथवा
 								अनि
 								अनुसार
 								अन्तर्गत
 								अन्य
 								अन्यत्र
 								अन्यथा
 								अब
 								अरु
 								अरुलाई
 								अरू
 								अर्को
 								अर्थात
 								अर्थात्
 								अलग
 								अलि
 								अवस्था
 								अहिले
 								आए
 								आएका
 								आएको
 								आज
 								आजको
 								आठ
 								आत्म
 								आदि
 								आदिलाई
 								आफनो
 								आफू
 								आफूलाई
 								आफै
 								आफैँ
 								आफ्नै
 								आफ्नो
 								आयो
 								उ
 								उक्त
 								उदाहरण
 								उनको
 								उनलाई
 								उनले
 								उनि
 								उनी
 								उनीहरुको
 								उन्नाइस
 								उप
 								उसको
 								उसलाई
 								उसले
 								उहालाई
 								ऊ
 								एउटा
 								एउटै
 								एक
 								एकदम
 								एघार
 								ओठ
 								औ
 								औं
 								कता
 								कति
 								कतै
 								कम
 								कमसेकम
 								कसरि
 								कसरी
 								कसै
 								कसैको
 								कसैलाई
 								कसैले
 								कसैसँग
 								कस्तो
 								कहाँबाट
 								कहिलेकाहीं
 								का
 								काम
 								कारण
 								कि
 								किन
 								किनभने
 								कुन
 								कुनै
 								कुन्नी
 								कुरा
 								कृपया
 								के
 								केहि
 								केही
 								को
 								कोहि
 								कोहिपनि
 								कोही
 								कोहीपनि
 								क्रमशः
 								गए
 								गएको
 								गएर
 								गयौ
 								गरि
 								गरी
 								गरे
 								गरेका
 								गरेको
 								गरेर
 								गरौं
 								गर्छ
 								गर्छन्
 								गर्छु
 								गर्दा
 								गर्दै
 								गर्न
 								गर्नु
 								गर्नुपर्छ
 								गर्ने
 								गैर
 								घर
 								चार
 								चाले
 								चाहनुहुन्छ
 								चाहन्छु
 								चाहिं
 								चाहिए
 								चाहिंले
 								चाहीं
 								चाहेको
 								चाहेर
 								चोटी
 								चौथो
 								चौध
 								छ
 								छन
 								छन्
 								छु
 								छू
 								छैन
 								छैनन्
 								छौ
 								छौं
 								जता
 								जताततै
 								जना
 								जनाको
 								जनालाई
 								जनाले
 								जब
 								जबकि
 								जबकी
 								जसको
 								जसबाट
 								जसमा
 								जसरी
 								जसलाई
 								जसले
 								जस्ता
 								जस्तै
 								जस्तो
 								जस्तोसुकै
 								जहाँ
 								जान
 								जाने
 								जाहिर
 								जुन
 								जुनै
 								जे
 								जो
 								जोपनि
 								जोपनी
 								झैं
 								ठाउँमा
 								ठीक
 								ठूलो
 								त
 								तता
 								तत्काल
 								तथा
 								तथापि
 								तथापी
 								तदनुसार
 								तपाइ
 								तपाई
 								तपाईको
 								तब
 								तर
 								तर्फ
 								तल
 								तसरी
 								तापनि
 								तापनी
 								तिन
 								तिनि
 								तिनिहरुलाई
 								तिनी
 								तिनीहरु
 								तिनीहरुको
 								तिनीहरू
 								तिनीहरूको
 								तिनै
 								तिमी
 								तिर
 								तिरको
 								ती
 								तीन
 								तुरन्त
 								तुरुन्त
 								तुरुन्तै
 								तेश्रो
 								तेस्कारण
 								तेस्रो
 								तेह्र
 								तैपनि
 								तैपनी
 								त्यत्तिकै
 								त्यत्तिकैमा
 								त्यस
 								त्यसकारण
 								त्यसको
 								त्यसले
 								त्यसैले
 								त्यसो
 								त्यस्तै
 								त्यस्तो
 								त्यहाँ
 								त्यहिँ
 								त्यही
 								त्यहीँ
 								त्यहीं
 								त्यो
 								त्सपछि
 								त्सैले
 								थप
 								थरि
 								थरी
 								थाहा
 								थिए
 								थिएँ
 								थिएन
 								थियो
 								दर्ता
 								दश
 								दिए
 								दिएको
 								दिन
 								दिनुभएको
 								दिनुहुन्छ
 								दुइ
 								दुइवटा
 								दुई
 								देखि
 								देखिन्छ
 								देखियो
 								देखे
 								देखेको
 								देखेर
 								दोश्री
 								दोश्रो
 								दोस्रो
 								द्वारा
 								धन्न
 								धेरै
 								धौ
 								न
 								नगर्नु
 								नगर्नू
 								नजिकै
 								नत्र
 								नत्रभने
 								नभई
 								नभएको
 								नभनेर
 								नयाँ
 								नि
 								निकै
 								निम्ति
 								निम्न
 								निम्नानुसार
 								निर्दिष्ट
 								नै
 								नौ
 								पक्का
 								पक्कै
 								पछाडि
 								पछाडी
 								पछि
 								पछिल्लो
 								पछी
 								पटक
 								पनि
 								पन्ध्र
 								पर्छ
 								पर्थ्यो
 								पर्दैन
 								पर्ने
 								पर्नेमा
 								पर्याप्त
 								पहिले
 								पहिलो
 								पहिल्यै
 								पाँच
 								पांच
 								पाचौँ
 								पाँचौं
 								पिच्छे
 								पूर्व
 								पो
 								प्रति
 								प्रतेक
 								प्रत्यक
 								प्राय
 								प्लस
 								फरक
 								फेरि
 								फेरी
 								बढी
 								बताए
 								बने
 								बरु
 								बाट
 								बारे
 								बाहिर
 								बाहेक
 								बाह्र
 								बिच
 								बिचमा
 								बिरुद्ध
 								बिशेष
 								बिस
 								बीच
 								बीचमा
 								बीस
 								भए
 								भएँ
 								भएका
 								भएकालाई
 								भएको
 								भएन
 								भएर
 								भन
 								भने
 								भनेको
 								भनेर
 								भन्
 								भन्छन्
 								भन्छु
 								भन्दा
 								भन्दै
 								भन्नुभयो
 								भन्ने
 								भन्या
 								भयेन
 								भयो
 								भर
 								भरि
 								भरी
 								भा
 								भित्र
 								भित्री
 								भीत्र
 								म
 								मध्य
 								मध्ये
 								मलाई
 								मा
 								मात्र
 								मात्रै
 								माथि
 								माथी
 								मुख्य
 								मुनि
 								मुन्तिर
 								मेरो
 								मैले
 								यति
 								यथोचित
 								यदि
 								यद्ध्यपि
 								यद्यपि
 								यस
 								यसका
 								यसको
 								यसपछि
 								यसबाहेक
 								यसमा
 								यसरी
 								यसले
 								यसो
 								यस्तै
 								यस्तो
 								यहाँ
 								यहाँसम्म
 								यही
 								या
 								यी
 								यो
 								र
 								रही
 								रहेका
 								रहेको
 								रहेछ
 								राखे
 								राख्छ
 								राम्रो
 								रुपमा
 								रूप
 								रे
 								लगभग
 								लगायत
 								लाई
 								लाख
 								लागि
 								लागेको
 								ले
 								वटा
 								वरीपरी
 								वा
 								वाट
 								वापत
 								वास्तवमा
 								शायद
 								सक्छ
 								सक्ने
 								सँग
 								संग
 								सँगको
 								सँगसँगै
 								सँगै
 								संगै
 								सङ्ग
 								सङ्गको
 								सट्टा
 								सत्र
 								सधै
 								सबै
 								सबैको
 								सबैलाई
 								समय
 								समेत
 								सम्भव
 								सम्म
 								सय
 								सरह
 								सहित
 								सहितै
 								सही
 								साँच्चै
 								सात
 								साथ
 								साथै
 								सायद
 								सारा
 								सुनेको
 								सुनेर
 								सुरु
 								सुरुको
 								सुरुमै
 								सो
 								सोचेको
 								सोचेर
 								सोही
 								सोह्र
 								स्थित
 								स्पष्ट
 								हजार
 								हरे
 								हरेक
 								हामी
 								हामीले
 								हाम्रा
 								हाम्रो
 								हुँदैन
 								हुन
 								हुनत
 								हुनु
 								हुने
 								हुनेछ
 								हुन्
 								हुन्छ
 								हुन्थ्यो
 								हैन
 								हो
 								होइन
 								होकि
 								होला
 								""".split()
 								)