mirror of
https://github.com/explosion/spaCy.git
synced 2024-12-26 18:06:29 +03:00
00417794d3
* added support for Arabic lang * added Arabic language support * updated conftest
230 lines
1.9 KiB
Python
230 lines
1.9 KiB
Python
# coding: utf8
|
|
from __future__ import unicode_literals
|
|
|
|
STOP_WORDS = set("""
|
|
من
|
|
نحو
|
|
لعل
|
|
بما
|
|
بين
|
|
وبين
|
|
ايضا
|
|
وبينما
|
|
تحت
|
|
مثلا
|
|
لدي
|
|
عنه
|
|
مع
|
|
هي
|
|
وهذا
|
|
واذا
|
|
هذان
|
|
انه
|
|
بينما
|
|
أمسى
|
|
وسوف
|
|
ولم
|
|
لذلك
|
|
إلى
|
|
منه
|
|
منها
|
|
كما
|
|
ظل
|
|
هنا
|
|
به
|
|
كذلك
|
|
اما
|
|
هما
|
|
بعد
|
|
بينهم
|
|
التي
|
|
أبو
|
|
اذا
|
|
بدلا
|
|
لها
|
|
أمام
|
|
يلي
|
|
حين
|
|
ضد
|
|
الذي
|
|
قد
|
|
صار
|
|
إذا
|
|
مابرح
|
|
قبل
|
|
كل
|
|
وليست
|
|
الذين
|
|
لهذا
|
|
وثي
|
|
انهم
|
|
باللتي
|
|
مافتئ
|
|
ولا
|
|
بهذه
|
|
بحيث
|
|
كيف
|
|
وله
|
|
علي
|
|
بات
|
|
لاسيما
|
|
حتى
|
|
وقد
|
|
و
|
|
أما
|
|
فيها
|
|
بهذا
|
|
لذا
|
|
حيث
|
|
لقد
|
|
إن
|
|
فإن
|
|
اول
|
|
ليت
|
|
فاللتي
|
|
ولقد
|
|
لسوف
|
|
هذه
|
|
ولماذا
|
|
معه
|
|
الحالي
|
|
بإن
|
|
حول
|
|
في
|
|
عليه
|
|
مايزال
|
|
ولعل
|
|
أنه
|
|
أضحى
|
|
اي
|
|
ستكون
|
|
لن
|
|
أن
|
|
ضمن
|
|
وعلى
|
|
امسى
|
|
الي
|
|
ذات
|
|
ولايزال
|
|
ذلك
|
|
فقد
|
|
هم
|
|
أي
|
|
عند
|
|
ابن
|
|
أو
|
|
فهو
|
|
فانه
|
|
سوف
|
|
ما
|
|
آل
|
|
كلا
|
|
عنها
|
|
وكذلك
|
|
ليست
|
|
لم
|
|
وأن
|
|
ماذا
|
|
لو
|
|
وهل
|
|
اللتي
|
|
ولذا
|
|
يمكن
|
|
فيه
|
|
الا
|
|
عليها
|
|
وبينهم
|
|
يوم
|
|
وبما
|
|
لما
|
|
فكان
|
|
اضحى
|
|
اصبح
|
|
لهم
|
|
بها
|
|
او
|
|
الذى
|
|
الى
|
|
إلي
|
|
قال
|
|
والتي
|
|
لازال
|
|
أصبح
|
|
ولهذا
|
|
مثل
|
|
وكانت
|
|
لكنه
|
|
بذلك
|
|
هذا
|
|
لماذا
|
|
قالت
|
|
فقط
|
|
لكن
|
|
مما
|
|
وكل
|
|
وان
|
|
وأبو
|
|
ومن
|
|
كان
|
|
مازال
|
|
هل
|
|
بينهن
|
|
هو
|
|
وما
|
|
على
|
|
وهو
|
|
لأن
|
|
واللتي
|
|
والذي
|
|
دون
|
|
عن
|
|
وايضا
|
|
هناك
|
|
بلا
|
|
جدا
|
|
ثم
|
|
منذ
|
|
اللذين
|
|
لايزال
|
|
بعض
|
|
مساء
|
|
تكون
|
|
فلا
|
|
بيننا
|
|
لا
|
|
ولكن
|
|
إذ
|
|
وأثناء
|
|
ليس
|
|
ومع
|
|
فيهم
|
|
ولسوف
|
|
بل
|
|
تلك
|
|
أحد
|
|
وهي
|
|
وكان
|
|
ومنها
|
|
وفي
|
|
ماانفك
|
|
اليوم
|
|
وماذا
|
|
هؤلاء
|
|
وليس
|
|
له
|
|
أثناء
|
|
بد
|
|
اليه
|
|
كأن
|
|
اليها
|
|
بتلك
|
|
يكون
|
|
ولما
|
|
هن
|
|
والى
|
|
كانت
|
|
وقبل
|
|
ان
|
|
لدى
|
|
""".split())
|