diff --git a/spacy/lang/fa/__init__.py b/spacy/lang/fa/__init__.py new file mode 100644 index 000000000..9bf25ffd8 --- /dev/null +++ b/spacy/lang/fa/__init__.py @@ -0,0 +1,26 @@ +# coding: utf8 +from __future__ import unicode_literals + +from .stop_words import STOP_WORDS + +from ..tokenizer_exceptions import BASE_EXCEPTIONS +from ..norm_exceptions import BASE_NORMS +from ...language import Language +from ...attrs import LANG, NORM +from ...util import update_exc, add_lookups + + +class PersianDefaults(Language.Defaults): + lex_attr_getters = dict(Language.Defaults.lex_attr_getters) + lex_attr_getters[LANG] = lambda text: 'fa' + lex_attr_getters[NORM] = add_lookups(Language.Defaults.lex_attr_getters[NORM], BASE_NORMS) + tokenizer_exceptions = update_exc(BASE_EXCEPTIONS) + stop_words = STOP_WORDS + + +class Persian(Language): + lang = 'fa' + Defaults = PersianDefaults + + +__all__ = ['Persian'] diff --git a/spacy/lang/fa/examples.py b/spacy/lang/fa/examples.py new file mode 100644 index 000000000..239108712 --- /dev/null +++ b/spacy/lang/fa/examples.py @@ -0,0 +1,19 @@ +# coding: utf8 +from __future__ import unicode_literals + + +""" +Example sentences to test spaCy and its language models. + +>>> from spacy.lang.fa.examples import sentences +>>> docs = nlp.pipe(sentences) +""" + + +sentences = [ + "این یک جمله نمونه می باشد.", + "قرار ما، امروز ساعت ۲:۳۰ بعدازظهر هست!" + "دیروز علی به من ۲۰۰۰.۱﷼ پول نقد داد.", + "چطور می‌توان از تهران به کاشان رفت؟" + "حدود ۸۰٪ هوا از نیتروژن تشکیل شده است." +] diff --git a/spacy/lang/fa/stop_words.py b/spacy/lang/fa/stop_words.py new file mode 100644 index 000000000..1c1cb0799 --- /dev/null +++ b/spacy/lang/fa/stop_words.py @@ -0,0 +1,105 @@ +# coding: utf8 +from __future__ import unicode_literals + + +STOP_WORDS = set(""" +آباد آره آری آسانی آمد آمده آن آنان آنجا آنها آن‌ها آنچه آنکه آورد آورده آیا آید +ات اثر از است استفاده اش اطلاعند الاسف البته الظاهر ام اما امروز امسال اند انکه او اول اکنون +اگر الواقع ای ایشان ایم این اینک اینکه + +ب با بااین بار بارة باره بارها باز بازهم بازی باش باشد باشم باشند باشی باشید باشیم بالا بالاخره +بالاخص بالاست بالای بالطبع بالعکس باوجودی باورند باید بتدریج بتوان بتواند بتوانی بتوانیم بجز بخش بخشه بخشی بخصوص بخواه +بخواهد بخواهم بخواهند بخواهی بخواهید بخواهیم بخوبی بد بدان بدانجا بدانها بدون بدین بدینجا بر برآن برآنند برا برابر +براحتی براساس براستی برای برایت برایش برایشان برایم برایمان برخوردار برخوردارند برخی برداری برداشتن بردن برعکس برنامه +بروز بروشنی بزرگ بزودی بس بسا بسادگی بسته بسختی بسوی بسی بسیار بسیاری بشدت بطور بطوری بعد بعدا بعدازظهر بعدها بعری +بعضا بعضی بعضیهایشان بعضی‌ها بعلاوه بعید بفهمی بلافاصله بله بلکه بلی بنابراین بندی به بهت بهتر بهترین بهش بود بودم بودن +بودند بوده بودی بودید بودیم بویژه بپا بکار بکن بکند بکنم بکنند بکنی بکنید بکنیم بگو بگوید بگویم بگویند بگویی بگویید +بگوییم بگیر بگیرد بگیرم بگیرند بگیری بگیرید بگیریم بی بیا بیاب بیابد بیابم بیابند بیابی بیابید بیابیم بیاور بیاورد +بیاورم بیاورند بیاوری بیاورید بیاوریم بیاید بیایم بیایند بیایی بیایید بیاییم بیرون بیست بیش بیشتر بیشتری بین بیگمان + +پ پا پارسال پارسایانه پاره‌ای پاعین پایین پدرانه پدیده پرسان پروردگارا پریروز پس پشت پشتوانه پشیمونی پنج پهن پی پیدا +پیداست پیرامون پیش پیشاپیش پیشتر پیوسته + +ت تا تازه تازگی تان تاکنون تحت تحریم تدریج تر ترتیب تردید ترند ترین تصریحا تعدادی تعمدا تفاوتند تقریبا تک تلویحا تمام +تماما تمامشان تمامی تند تنها تو توؤما تواند توانست توانستم توانستن توانستند توانسته توانستی توانستیم توانم توانند توانی +توانید توانیم توسط تول توی + +ث ثالثا ثانی ثانیا + +ج جا جای جایی جدا جداگانه جدید جدیدا جریان جز جلو جلوگیری جلوی جمع جمعا جمعی جنابعالی جناح جنس جهت جور جوری + +چ چاله چاپلوسانه چت چته چرا چشم چطور چقدر چنان چنانچه چنانکه چند چندان چنده چندین چنین چه چهار چو چون چکار چگونه چی چیز +چیزهاست چیزی چیزیست چیست چیه + +ح حاشیه‌ حاشیه‌ای حاضر حاضرم حال حالا حاکیست حتما حتی حداقل حداکثر حدود حدودا حسابگرانه حسابی حضرتعالی حق حقیرانه حول +حکما + +خ خارج خالصانه خب خداحافظ خداست خدمات خسته‌ای خصوصا خلاصه خواست خواستم خواستن خواستند خواسته خواستی خواستید خواستیم +خواهد خواهم خواهند خواهی خواهید خواهیم خوب خوبی خود خودبه خودت خودتان خودتو خودش خودشان خودم خودمان خودمو خودی خوش +خوشبختانه خویش خویشتن خویشتنم خیاه خیر خیره خیلی + +د دا داام دااما داخل داد دادم دادن دادند داده دادی دادید دادیم دار داراست دارد دارم دارند داری دارید داریم داشت داشتم +داشتن داشتند داشته داشتی داشتید داشتیم دامم دانست دانند دایم دایما در دراین درباره درحالی درحالیکه درست درسته درشتی +درصورتی درعین درمجموع درواقع درون درپی دریغ دریغا دسته دشمنیم دقیقا دلخواه دم دنبال ده دهد دهم دهند دهی دهید دهیم دو +دوباره دوم دیده دیر دیرت دیرم دیروز دیشب دیوی دیگر دیگران دیگری دیگه + +ذ ذاتا ذلک ذیل + +ر را راجع راحت راسا راست راستی راه رسما رسید رشته رغم رفت رفتارهاست رفته رنجند رهگشاست رو رواست روب روبروست روز روزانه +روزه روزهای روزه‌ای روش روشنی روی رویش ریزی + +ز زدن زده زشتکارانند زمان زمانی زمینه زنند زهی زود زودتر زودی زیاد زیاده زیر زیرا + +س سابق ساختن ساخته ساده سادگی سازی سالانه سالته سالم‌تر ساله سالهاست سالها سالیانه سایر ست سخت سخته سر سراسر سرانجام +سراپا سرعت سری سریع سریعا سعی سمت سه سهوا سوم سوی سپس سیاه + +ش شان شاهدند شاهدیم شاید شبهاست شخصا شد شدت شدم شدن شدند شده شدی شدید شدیدا شدیم شش شما شماری شماست شمایند شناسی شود +شوراست شوم شوند شونده شوی شوید شویم شیرین شیرینه + +ص صددرصد صرفا صریحا صندوق صورت صورتی + +ض ضد ضمن ضمنا + +ط طبعا طبق طبیعتا طرف طریق طلبکارانه طور طوری طی + +ظ ظاهرا + +ع عاجزانه عاقبت عبارتند عجب عجولانه عدم عرفانی عقب علاوه علت علنا علی علیه عمدا عمدتا عمده عمل عملا عملی عموم عموما +عنقریب عنوان عینا + +غ غالبا غیر غیرقانونی + +ف فاقد فبها فر فردا فعلا فقط فلان فلذا فوق فکر فی فی‌الواقع + +ق قاالند قابل قاطبه قاطعانه قاعدتا قانونا قبل قبلا قبلند قد قدر قدری قراردادن قصد قطعا + +ک کارند کاش کاشکی کامل کاملا کتبا کجا کجاست کدام کرات کرد کردم کردن کردند کرده کردی کردید کردیم کس کسانی کسی کشیدن کل +کلا کلی کلیشه کلیه کم کمااینکه کماکان کمتر کمتره کمتری کمی کن کنار کنارش کنان کنایه‌ای کند کنم کنند کننده کنون کنونی +کنی کنید کنیم که کو کی كي + +گ گاه گاهی گذاری گذاشتن گذاشته گذشته گردد گرفت گرفتارند گرفتم گرفتن گرفتند گرفته گرفتی گرفتید گرفتیم گرمی گروهی گرچه +گفت گفتم گفتن گفتند گفته گفتی گفتید گفتیم گه گهگاه گو گونه گویا گویان گوید گویم گویند گویی گویید گوییم گیرد گیرم گیرند +گیری گیرید گیریم + +ل لا لااقل لاجرم لب لذا لزوما لطفا لیکن لکن + +م ما مادامی ماست مامان مان مانند مبادا متاسفانه متعاقبا متفاوتند مثل مثلا مجبورند مجددا مجموع مجموعا محتاجند محکم +محکم‌تر مخالفند مختلف مخصوصا مدام مدت مدتهاست مدتی مذهبی مرا مراتب مرتب مردانه مردم مرسی مستحضرید مستقیما مستند مسلما +مشت مشترکا مشغولند مطمانا مطمانم مطمینا مع معتقدم معتقدند معتقدیم معدود معذوریم معلومه معمولا معمولی مغرضانه مفیدند +مقابل مقدار مقصرند مقصری ممکن من منتهی منطقی مواجهند موارد موجودند مورد موقتا مکرر مکررا مگر می مي میان میزان میلیارد +میلیون می‌رسد می‌رود می‌شود می‌کنیم + +ن ناامید ناخواسته ناراضی ناشی نام ناچار ناگاه ناگزیر ناگهان ناگهانی نباید نبش نبود نخست نخستین نخواهد نخواهم نخواهند +نخواهی نخواهید نخواهیم نخودی ندارد ندارم ندارند نداری ندارید نداریم نداشت نداشتم نداشتند نداشته نداشتی نداشتید نداشتیم +نزد نزدیک نسبتا نشان نشده نظیر نفرند نفهمی نماید نمی نمی‌شود نه نهایت نهایتا نوع نوعا نوعی نکرده نگاه نیازمندانه +نیازمندند نیز نیست نیمی + +و وابسته واقع واقعا واقعی واقفند وای وجه وجود وحشت وسط وضع وضوح وقتی وقتیکه ولی وگرنه وگو وی ویا ویژه + +ه ها هاست های هایی هبچ هدف هر هرحال هرچند هرچه هرکس هرگاه هرگز هزار هست هستم هستند هستی هستید هستیم هفت هق هم همان +همانند همانها همدیگر همزمان همه همه‌اش همواره همچنان همچنین همچون همچین همگان همگی همیشه همین هنوز هنگام هنگامی هوی هی +هیچ هیچکدام هیچکس هیچگاه هیچگونه هیچی + +ی یا یابد یابم یابند یابی یابید یابیم یارب یافت یافتم یافتن یافته یافتی یافتید یافتیم یعنی یقینا یواش یک یکدیگر یکریز +یکسال یکی یکي +""".split())