Merge pull request #1893 from azarezade/master

Add Persian language

spacy/lang/fa/__init__.py

@@ -0,0 +1,26 @@
+# coding: utf8
+from __future__ import unicode_literals
+
+from .stop_words import STOP_WORDS
+
+from ..tokenizer_exceptions import BASE_EXCEPTIONS
+from ..norm_exceptions import BASE_NORMS
+from ...language import Language
+from ...attrs import LANG, NORM
+from ...util import update_exc, add_lookups
+
+
+class PersianDefaults(Language.Defaults):
+    lex_attr_getters = dict(Language.Defaults.lex_attr_getters)
+    lex_attr_getters[LANG] = lambda text: 'fa'
+    lex_attr_getters[NORM] = add_lookups(Language.Defaults.lex_attr_getters[NORM], BASE_NORMS)
+    tokenizer_exceptions = update_exc(BASE_EXCEPTIONS)
+    stop_words = STOP_WORDS
+
+
+class Persian(Language):
+    lang = 'fa'
+    Defaults = PersianDefaults
+
+
+__all__ = ['Persian']

spacy/lang/fa/examples.py

@@ -0,0 +1,19 @@
+# coding: utf8
+from __future__ import unicode_literals
+
+
+"""
+Example sentences to test spaCy and its language models.
+
+>>> from spacy.lang.fa.examples import sentences
+>>> docs = nlp.pipe(sentences)
+"""
+
+
+sentences = [
+    "این یک جمله نمونه می باشد.",
+    "قرار ما، امروز ساعت ۲:۳۰ بعدازظهر هست!"
+    "دیروز علی به من ۲۰۰۰.۱﷼ پول نقد داد.",
+    "چطور می‌توان از تهران به کاشان رفت؟"
+    "حدود ۸۰٪ هوا از نیتروژن تشکیل شده است."
+]

spacy/lang/fa/stop_words.py

@@ -0,0 +1,105 @@
+# coding: utf8
+from __future__ import unicode_literals
+
+
+STOP_WORDS = set("""
+آباد آره آری آسانی آمد آمده آن آنان آنجا آنها آن‌ها آنچه آنکه آورد آورده آیا آید
+ات اثر از است استفاده اش اطلاعند الاسف البته الظاهر ام اما امروز امسال اند انکه او اول اکنون
+اگر الواقع ای ایشان ایم این اینک اینکه
+
+ب با بااین بار بارة باره بارها باز بازهم بازی باش باشد باشم باشند باشی باشید باشیم بالا بالاخره
+بالاخص بالاست بالای بالطبع بالعکس باوجودی باورند باید بتدریج بتوان بتواند بتوانی بتوانیم بجز بخش بخشه بخشی بخصوص بخواه
+بخواهد بخواهم بخواهند بخواهی بخواهید بخواهیم بخوبی بد بدان بدانجا بدانها بدون بدین بدینجا بر برآن برآنند برا برابر
+براحتی براساس براستی برای برایت برایش برایشان برایم برایمان برخوردار برخوردارند برخی برداری برداشتن بردن برعکس برنامه
+بروز بروشنی بزرگ بزودی بس بسا بسادگی بسته بسختی بسوی بسی بسیار بسیاری بشدت بطور بطوری بعد بعدا بعدازظهر بعدها بعری
+بعضا بعضی بعضیهایشان بعضی‌ها بعلاوه بعید بفهمی بلافاصله بله بلکه بلی بنابراین بندی به بهت بهتر بهترین بهش بود بودم بودن
+بودند بوده بودی بودید بودیم بویژه بپا بکار بکن بکند بکنم بکنند بکنی بکنید بکنیم بگو بگوید بگویم بگویند بگویی بگویید
+بگوییم بگیر بگیرد بگیرم بگیرند بگیری بگیرید بگیریم بی بیا بیاب بیابد بیابم بیابند بیابی بیابید بیابیم بیاور بیاورد
+بیاورم بیاورند بیاوری بیاورید بیاوریم بیاید بیایم بیایند بیایی بیایید بیاییم بیرون بیست بیش بیشتر بیشتری بین بیگمان
+
+پ پا پارسال پارسایانه پاره‌ای پاعین پایین پدرانه پدیده پرسان پروردگارا پریروز پس پشت پشتوانه پشیمونی پنج پهن پی پیدا
+پیداست پیرامون پیش پیشاپیش پیشتر پیوسته
+
+ت تا تازه تازگی تان تاکنون تحت تحریم تدریج تر ترتیب تردید ترند ترین تصریحا تعدادی تعمدا تفاوتند تقریبا تک تلویحا تمام
+تماما تمامشان تمامی تند تنها تو توؤما تواند توانست توانستم توانستن توانستند توانسته توانستی توانستیم توانم توانند توانی
+توانید توانیم توسط تول توی
+
+ث ثالثا ثانی ثانیا
+
+ج جا جای جایی جدا جداگانه جدید جدیدا جریان جز جلو جلوگیری جلوی جمع جمعا جمعی جنابعالی جناح جنس جهت جور جوری
+
+چ چاله چاپلوسانه چت چته چرا چشم چطور چقدر چنان چنانچه چنانکه چند چندان چنده چندین چنین چه چهار چو چون چکار چگونه چی چیز
+چیزهاست چیزی چیزیست چیست چیه
+
+ح حاشیه‌ حاشیه‌ای حاضر حاضرم حال حالا حاکیست حتما حتی حداقل حداکثر حدود حدودا حسابگرانه حسابی حضرتعالی حق حقیرانه حول
+حکما
+
+خ خارج خالصانه خب خداحافظ خداست خدمات خسته‌ای خصوصا خلاصه خواست خواستم خواستن خواستند خواسته خواستی خواستید خواستیم
+خواهد خواهم خواهند خواهی خواهید خواهیم خوب خوبی خود خودبه خودت خودتان خودتو خودش خودشان خودم خودمان خودمو خودی خوش
+خوشبختانه خویش خویشتن خویشتنم خیاه خیر خیره خیلی
+
+د دا داام دااما داخل داد دادم دادن دادند داده دادی دادید دادیم دار داراست دارد دارم دارند داری دارید داریم داشت داشتم
+داشتن داشتند داشته داشتی داشتید داشتیم دامم دانست دانند دایم دایما در دراین درباره درحالی درحالیکه درست درسته درشتی
+درصورتی درعین درمجموع درواقع درون درپی دریغ دریغا دسته دشمنیم دقیقا دلخواه دم دنبال ده دهد دهم دهند دهی دهید دهیم دو
+دوباره دوم دیده دیر دیرت دیرم دیروز دیشب دیوی دیگر دیگران دیگری دیگه
+
+ذ ذاتا ذلک ذیل
+
+ر را راجع راحت راسا راست راستی راه رسما رسید رشته رغم رفت رفتارهاست رفته رنجند رهگشاست رو رواست روب روبروست روز روزانه
+روزه روزهای روزه‌ای روش روشنی روی رویش ریزی
+
+ز زدن زده زشتکارانند زمان زمانی زمینه زنند زهی زود زودتر زودی زیاد زیاده زیر زیرا
+
+س سابق ساختن ساخته ساده سادگی سازی سالانه سالته سالم‌تر ساله سالهاست سالها سالیانه سایر ست سخت سخته سر سراسر سرانجام
+سراپا سرعت سری سریع سریعا سعی سمت سه سهوا سوم سوی سپس سیاه
+
+ش شان شاهدند شاهدیم شاید شبهاست شخصا شد شدت شدم شدن شدند شده شدی شدید شدیدا شدیم شش شما شماری شماست شمایند شناسی شود
+شوراست شوم شوند شونده شوی شوید شویم شیرین شیرینه
+
+ص صددرصد صرفا صریحا صندوق صورت صورتی
+
+ض ضد ضمن ضمنا
+
+ط طبعا طبق طبیعتا طرف طریق طلبکارانه طور طوری طی
+
+ظ ظاهرا
+
+ع عاجزانه عاقبت عبارتند عجب عجولانه عدم عرفانی عقب علاوه علت علنا علی علیه عمدا عمدتا عمده عمل عملا عملی عموم عموما
+عنقریب عنوان عینا
+
+غ غالبا غیر غیرقانونی
+
+ف فاقد فبها فر فردا فعلا فقط فلان فلذا فوق فکر فی فی‌الواقع
+
+ق قاالند قابل قاطبه قاطعانه قاعدتا قانونا قبل قبلا قبلند قد قدر قدری قراردادن قصد قطعا
+
+ک کارند کاش کاشکی کامل کاملا کتبا کجا کجاست کدام کرات کرد کردم کردن کردند کرده کردی کردید کردیم کس کسانی کسی کشیدن کل
+کلا کلی کلیشه کلیه کم کمااینکه کماکان کمتر کمتره کمتری کمی کن کنار کنارش کنان کنایه‌ای کند کنم کنند کننده کنون کنونی
+کنی کنید کنیم که کو کی كي
+
+گ گاه گاهی گذاری گذاشتن گذاشته گذشته گردد گرفت گرفتارند گرفتم گرفتن گرفتند گرفته گرفتی گرفتید گرفتیم گرمی گروهی گرچه
+گفت گفتم گفتن گفتند گفته گفتی گفتید گفتیم گه گهگاه گو گونه گویا گویان گوید گویم گویند گویی گویید گوییم گیرد گیرم گیرند
+گیری گیرید گیریم
+
+ل لا لااقل لاجرم لب لذا لزوما لطفا لیکن لکن
+
+م ما مادامی ماست مامان مان مانند مبادا متاسفانه متعاقبا متفاوتند مثل مثلا مجبورند مجددا مجموع مجموعا محتاجند محکم
+محکم‌تر مخالفند مختلف مخصوصا مدام مدت مدتهاست مدتی مذهبی مرا مراتب مرتب مردانه مردم مرسی مستحضرید مستقیما مستند مسلما
+مشت مشترکا مشغولند مطمانا مطمانم مطمینا مع معتقدم معتقدند معتقدیم معدود معذوریم معلومه معمولا معمولی مغرضانه مفیدند
+مقابل مقدار مقصرند مقصری ممکن من منتهی منطقی مواجهند موارد موجودند مورد موقتا مکرر مکررا مگر می مي میان میزان میلیارد
+میلیون می‌رسد می‌رود می‌شود می‌کنیم
+
+ن ناامید ناخواسته ناراضی ناشی نام ناچار ناگاه ناگزیر ناگهان ناگهانی نباید نبش نبود نخست نخستین نخواهد نخواهم نخواهند
+نخواهی نخواهید نخواهیم نخودی ندارد ندارم ندارند نداری ندارید نداریم نداشت نداشتم نداشتند نداشته نداشتی نداشتید نداشتیم
+نزد نزدیک نسبتا نشان نشده نظیر نفرند نفهمی نماید نمی نمی‌شود نه نهایت نهایتا نوع نوعا نوعی نکرده نگاه نیازمندانه
+نیازمندند نیز نیست نیمی
+
+و وابسته واقع واقعا واقعی واقفند وای وجه وجود وحشت وسط وضع وضوح وقتی وقتیکه ولی وگرنه وگو وی ویا ویژه
+
+ه ها هاست های هایی هبچ هدف هر هرحال هرچند هرچه هرکس هرگاه هرگز هزار هست هستم هستند هستی هستید هستیم هفت هق هم همان
+همانند همانها همدیگر همزمان همه همه‌اش همواره همچنان همچنین همچون همچین همگان همگی همیشه همین هنوز هنگام هنگامی هوی هی
+هیچ هیچکدام هیچکس هیچگاه هیچگونه هیچی
+
+ی یا یابد یابم یابند یابی یابید یابیم یارب یافت یافتم یافتن یافته یافتی یافتید یافتیم یعنی یقینا یواش یک یکدیگر یکریز
+یکسال یکی یکي
+""".split())