mirror of
https://github.com/explosion/spaCy.git
synced 2025-02-22 22:40:32 +03:00
f42c9026f5
* Fix typos and auto-format [ci skip] * Add pkuseg warnings and auto-format [ci skip] * Update Binder URL [ci skip] * Update Binder version [ci skip] * Update alignment example for new gold.align * Update POS in tagging example * Fix numpy.zeros() dtype for Doc.from_array * Change example title to Dr. Change example title to Dr. so the current model does exclude the title in the initial example. * Fix spacy convert argument * Warning for sudachipy 0.4.5 (#5611) * Create myavrum.md (#5612) * Update lex_attrs.py (#5608) * Create mahnerak.md (#5615) * Some changes for Armenian (#5616) * Fixing numericals * We need a Armenian question sign to make the sentence a question * Add Nepali Language (#5622) * added support for nepali lang * added examples and test files * added spacy contributor agreement * Japanese model: add user_dict entries and small refactor (#5573) * user_dict fields: adding inflections, reading_forms, sub_tokens deleting: unidic_tags improve code readability around the token alignment procedure * add test cases, replace fugashi with sudachipy in conftest * move bunsetu.py to spaCy Universe as a pipeline component BunsetuRecognizer * tag is space -> both surface and tag are spaces * consider len(text)==0 * Add warnings example in v2.3 migration guide (#5627) * contribute (#5632) * Fix polarity of Token.is_oov and Lexeme.is_oov (#5634) Fix `Token.is_oov` and `Lexeme.is_oov` so they return `True` when the lexeme does **not** have a vector. * Extend what's new in v2.3 with vocab / is_oov (#5635) * Skip vocab in component config overrides (#5624) * Fix backslashes in warnings config diff (#5640) Fix backslashes in warnings config diff in v2.3 migration section. * Disregard special tag _SP in check for new tag map (#5641) * Skip special tag _SP in check for new tag map In `Tagger.begin_training()` check for new tags aside from `_SP` in the new tag map initialized from the provided gold tuples when determining whether to reinitialize the morphology with the new tag map. * Simplify _SP check Co-authored-by: Ines Montani <ines@ines.io> Co-authored-by: Marat M. Yavrumyan <myavrum@ysu.am> Co-authored-by: Karen Hambardzumyan <mahnerak@gmail.com> Co-authored-by: Rameshh <30867740+rameshhpathak@users.noreply.github.com> Co-authored-by: Hiroshi Matsuda <40782025+hiroshi-matsuda-rit@users.noreply.github.com> Co-authored-by: Richard Liaw <rliaw@berkeley.edu>
499 lines
7.0 KiB
Python
499 lines
7.0 KiB
Python
# coding: utf8
|
|
from __future__ import unicode_literals
|
|
|
|
|
|
# Source: https://github.com/sanjaalcorps/NepaliStopWords/blob/master/NepaliStopWords.txt
|
|
|
|
STOP_WORDS = set(
|
|
"""
|
|
अक्सर
|
|
अगाडि
|
|
अगाडी
|
|
अघि
|
|
अझै
|
|
अठार
|
|
अथवा
|
|
अनि
|
|
अनुसार
|
|
अन्तर्गत
|
|
अन्य
|
|
अन्यत्र
|
|
अन्यथा
|
|
अब
|
|
अरु
|
|
अरुलाई
|
|
अरू
|
|
अर्को
|
|
अर्थात
|
|
अर्थात्
|
|
अलग
|
|
अलि
|
|
अवस्था
|
|
अहिले
|
|
आए
|
|
आएका
|
|
आएको
|
|
आज
|
|
आजको
|
|
आठ
|
|
आत्म
|
|
आदि
|
|
आदिलाई
|
|
आफनो
|
|
आफू
|
|
आफूलाई
|
|
आफै
|
|
आफैँ
|
|
आफ्नै
|
|
आफ्नो
|
|
आयो
|
|
उ
|
|
उक्त
|
|
उदाहरण
|
|
उनको
|
|
उनलाई
|
|
उनले
|
|
उनि
|
|
उनी
|
|
उनीहरुको
|
|
उन्नाइस
|
|
उप
|
|
उसको
|
|
उसलाई
|
|
उसले
|
|
उहालाई
|
|
ऊ
|
|
एउटा
|
|
एउटै
|
|
एक
|
|
एकदम
|
|
एघार
|
|
ओठ
|
|
औ
|
|
औं
|
|
कता
|
|
कति
|
|
कतै
|
|
कम
|
|
कमसेकम
|
|
कसरि
|
|
कसरी
|
|
कसै
|
|
कसैको
|
|
कसैलाई
|
|
कसैले
|
|
कसैसँग
|
|
कस्तो
|
|
कहाँबाट
|
|
कहिलेकाहीं
|
|
का
|
|
काम
|
|
कारण
|
|
कि
|
|
किन
|
|
किनभने
|
|
कुन
|
|
कुनै
|
|
कुन्नी
|
|
कुरा
|
|
कृपया
|
|
के
|
|
केहि
|
|
केही
|
|
को
|
|
कोहि
|
|
कोहिपनि
|
|
कोही
|
|
कोहीपनि
|
|
क्रमशः
|
|
गए
|
|
गएको
|
|
गएर
|
|
गयौ
|
|
गरि
|
|
गरी
|
|
गरे
|
|
गरेका
|
|
गरेको
|
|
गरेर
|
|
गरौं
|
|
गर्छ
|
|
गर्छन्
|
|
गर्छु
|
|
गर्दा
|
|
गर्दै
|
|
गर्न
|
|
गर्नु
|
|
गर्नुपर्छ
|
|
गर्ने
|
|
गैर
|
|
घर
|
|
चार
|
|
चाले
|
|
चाहनुहुन्छ
|
|
चाहन्छु
|
|
चाहिं
|
|
चाहिए
|
|
चाहिंले
|
|
चाहीं
|
|
चाहेको
|
|
चाहेर
|
|
चोटी
|
|
चौथो
|
|
चौध
|
|
छ
|
|
छन
|
|
छन्
|
|
छु
|
|
छू
|
|
छैन
|
|
छैनन्
|
|
छौ
|
|
छौं
|
|
जता
|
|
जताततै
|
|
जना
|
|
जनाको
|
|
जनालाई
|
|
जनाले
|
|
जब
|
|
जबकि
|
|
जबकी
|
|
जसको
|
|
जसबाट
|
|
जसमा
|
|
जसरी
|
|
जसलाई
|
|
जसले
|
|
जस्ता
|
|
जस्तै
|
|
जस्तो
|
|
जस्तोसुकै
|
|
जहाँ
|
|
जान
|
|
जाने
|
|
जाहिर
|
|
जुन
|
|
जुनै
|
|
जे
|
|
जो
|
|
जोपनि
|
|
जोपनी
|
|
झैं
|
|
ठाउँमा
|
|
ठीक
|
|
ठूलो
|
|
त
|
|
तता
|
|
तत्काल
|
|
तथा
|
|
तथापि
|
|
तथापी
|
|
तदनुसार
|
|
तपाइ
|
|
तपाई
|
|
तपाईको
|
|
तब
|
|
तर
|
|
तर्फ
|
|
तल
|
|
तसरी
|
|
तापनि
|
|
तापनी
|
|
तिन
|
|
तिनि
|
|
तिनिहरुलाई
|
|
तिनी
|
|
तिनीहरु
|
|
तिनीहरुको
|
|
तिनीहरू
|
|
तिनीहरूको
|
|
तिनै
|
|
तिमी
|
|
तिर
|
|
तिरको
|
|
ती
|
|
तीन
|
|
तुरन्त
|
|
तुरुन्त
|
|
तुरुन्तै
|
|
तेश्रो
|
|
तेस्कारण
|
|
तेस्रो
|
|
तेह्र
|
|
तैपनि
|
|
तैपनी
|
|
त्यत्तिकै
|
|
त्यत्तिकैमा
|
|
त्यस
|
|
त्यसकारण
|
|
त्यसको
|
|
त्यसले
|
|
त्यसैले
|
|
त्यसो
|
|
त्यस्तै
|
|
त्यस्तो
|
|
त्यहाँ
|
|
त्यहिँ
|
|
त्यही
|
|
त्यहीँ
|
|
त्यहीं
|
|
त्यो
|
|
त्सपछि
|
|
त्सैले
|
|
थप
|
|
थरि
|
|
थरी
|
|
थाहा
|
|
थिए
|
|
थिएँ
|
|
थिएन
|
|
थियो
|
|
दर्ता
|
|
दश
|
|
दिए
|
|
दिएको
|
|
दिन
|
|
दिनुभएको
|
|
दिनुहुन्छ
|
|
दुइ
|
|
दुइवटा
|
|
दुई
|
|
देखि
|
|
देखिन्छ
|
|
देखियो
|
|
देखे
|
|
देखेको
|
|
देखेर
|
|
दोश्री
|
|
दोश्रो
|
|
दोस्रो
|
|
द्वारा
|
|
धन्न
|
|
धेरै
|
|
धौ
|
|
न
|
|
नगर्नु
|
|
नगर्नू
|
|
नजिकै
|
|
नत्र
|
|
नत्रभने
|
|
नभई
|
|
नभएको
|
|
नभनेर
|
|
नयाँ
|
|
नि
|
|
निकै
|
|
निम्ति
|
|
निम्न
|
|
निम्नानुसार
|
|
निर्दिष्ट
|
|
नै
|
|
नौ
|
|
पक्का
|
|
पक्कै
|
|
पछाडि
|
|
पछाडी
|
|
पछि
|
|
पछिल्लो
|
|
पछी
|
|
पटक
|
|
पनि
|
|
पन्ध्र
|
|
पर्छ
|
|
पर्थ्यो
|
|
पर्दैन
|
|
पर्ने
|
|
पर्नेमा
|
|
पर्याप्त
|
|
पहिले
|
|
पहिलो
|
|
पहिल्यै
|
|
पाँच
|
|
पांच
|
|
पाचौँ
|
|
पाँचौं
|
|
पिच्छे
|
|
पूर्व
|
|
पो
|
|
प्रति
|
|
प्रतेक
|
|
प्रत्यक
|
|
प्राय
|
|
प्लस
|
|
फरक
|
|
फेरि
|
|
फेरी
|
|
बढी
|
|
बताए
|
|
बने
|
|
बरु
|
|
बाट
|
|
बारे
|
|
बाहिर
|
|
बाहेक
|
|
बाह्र
|
|
बिच
|
|
बिचमा
|
|
बिरुद्ध
|
|
बिशेष
|
|
बिस
|
|
बीच
|
|
बीचमा
|
|
बीस
|
|
भए
|
|
भएँ
|
|
भएका
|
|
भएकालाई
|
|
भएको
|
|
भएन
|
|
भएर
|
|
भन
|
|
भने
|
|
भनेको
|
|
भनेर
|
|
भन्
|
|
भन्छन्
|
|
भन्छु
|
|
भन्दा
|
|
भन्दै
|
|
भन्नुभयो
|
|
भन्ने
|
|
भन्या
|
|
भयेन
|
|
भयो
|
|
भर
|
|
भरि
|
|
भरी
|
|
भा
|
|
भित्र
|
|
भित्री
|
|
भीत्र
|
|
म
|
|
मध्य
|
|
मध्ये
|
|
मलाई
|
|
मा
|
|
मात्र
|
|
मात्रै
|
|
माथि
|
|
माथी
|
|
मुख्य
|
|
मुनि
|
|
मुन्तिर
|
|
मेरो
|
|
मैले
|
|
यति
|
|
यथोचित
|
|
यदि
|
|
यद्ध्यपि
|
|
यद्यपि
|
|
यस
|
|
यसका
|
|
यसको
|
|
यसपछि
|
|
यसबाहेक
|
|
यसमा
|
|
यसरी
|
|
यसले
|
|
यसो
|
|
यस्तै
|
|
यस्तो
|
|
यहाँ
|
|
यहाँसम्म
|
|
यही
|
|
या
|
|
यी
|
|
यो
|
|
र
|
|
रही
|
|
रहेका
|
|
रहेको
|
|
रहेछ
|
|
राखे
|
|
राख्छ
|
|
राम्रो
|
|
रुपमा
|
|
रूप
|
|
रे
|
|
लगभग
|
|
लगायत
|
|
लाई
|
|
लाख
|
|
लागि
|
|
लागेको
|
|
ले
|
|
वटा
|
|
वरीपरी
|
|
वा
|
|
वाट
|
|
वापत
|
|
वास्तवमा
|
|
शायद
|
|
सक्छ
|
|
सक्ने
|
|
सँग
|
|
संग
|
|
सँगको
|
|
सँगसँगै
|
|
सँगै
|
|
संगै
|
|
सङ्ग
|
|
सङ्गको
|
|
सट्टा
|
|
सत्र
|
|
सधै
|
|
सबै
|
|
सबैको
|
|
सबैलाई
|
|
समय
|
|
समेत
|
|
सम्भव
|
|
सम्म
|
|
सय
|
|
सरह
|
|
सहित
|
|
सहितै
|
|
सही
|
|
साँच्चै
|
|
सात
|
|
साथ
|
|
साथै
|
|
सायद
|
|
सारा
|
|
सुनेको
|
|
सुनेर
|
|
सुरु
|
|
सुरुको
|
|
सुरुमै
|
|
सो
|
|
सोचेको
|
|
सोचेर
|
|
सोही
|
|
सोह्र
|
|
स्थित
|
|
स्पष्ट
|
|
हजार
|
|
हरे
|
|
हरेक
|
|
हामी
|
|
हामीले
|
|
हाम्रा
|
|
हाम्रो
|
|
हुँदैन
|
|
हुन
|
|
हुनत
|
|
हुनु
|
|
हुने
|
|
हुनेछ
|
|
हुन्
|
|
हुन्छ
|
|
हुन्थ्यो
|
|
हैन
|
|
हो
|
|
होइन
|
|
होकि
|
|
होला
|
|
""".split()
|
|
)
|