mirror of
https://github.com/explosion/spaCy.git
synced 2024-09-23 12:29:18 +03:00
b10c7bc56e
* Update stop_words.py Hebrew STOP WORDS * Update stop_words.py * contributor * contributor * add some common domain extentions support human number 1K/1M.... * support human number 1K/1M.... * hebrew number tokenize 1K/1M implement in EN * test human tokenize fix * test * heb like num revert human number change * heb like num
227 lines
1.9 KiB
Python
227 lines
1.9 KiB
Python
# encoding: utf8
|
|
from __future__ import unicode_literals
|
|
|
|
|
|
STOP_WORDS = set(
|
|
"""
|
|
אני
|
|
את
|
|
אתה
|
|
אנחנו
|
|
אתן
|
|
אתם
|
|
הם
|
|
הן
|
|
היא
|
|
הוא
|
|
שלי
|
|
שלו
|
|
שלך
|
|
שלה
|
|
שלנו
|
|
שלכם
|
|
שלכן
|
|
שלהם
|
|
שלהן
|
|
לי
|
|
לו
|
|
לה
|
|
לנו
|
|
לכם
|
|
לכן
|
|
להם
|
|
להן
|
|
אותה
|
|
אותו
|
|
זה
|
|
זאת
|
|
אלה
|
|
אלו
|
|
תחת
|
|
מתחת
|
|
מעל
|
|
בין
|
|
עם
|
|
עד
|
|
על
|
|
אל
|
|
מול
|
|
של
|
|
אצל
|
|
כמו
|
|
אחר
|
|
אותו
|
|
בלי
|
|
לפני
|
|
אחרי
|
|
מאחורי
|
|
עלי
|
|
עליו
|
|
עליה
|
|
עליך
|
|
עלינו
|
|
עליכם
|
|
עליכן
|
|
עליהם
|
|
עליהן
|
|
כל
|
|
כולם
|
|
כולן
|
|
כך
|
|
ככה
|
|
כזה
|
|
כזאת
|
|
זה
|
|
אותי
|
|
אותה
|
|
אותם
|
|
אותך
|
|
אותו
|
|
אותן
|
|
אותנו
|
|
ואת
|
|
את
|
|
אתכם
|
|
אתכן
|
|
איתי
|
|
איתו
|
|
איתך
|
|
איתה
|
|
איתם
|
|
איתן
|
|
איתנו
|
|
איתכם
|
|
איתכן
|
|
יהיה
|
|
תהיה
|
|
הייתי
|
|
היתה
|
|
היה
|
|
להיות
|
|
עצמי
|
|
עצמו
|
|
עצמה
|
|
עצמם
|
|
עצמן
|
|
עצמנו
|
|
מי
|
|
מה
|
|
איפה
|
|
היכן
|
|
במקום שבו
|
|
אם
|
|
לאן
|
|
למקום שבו
|
|
מקום בו
|
|
איזה
|
|
מהיכן
|
|
איך
|
|
כיצד
|
|
באיזו מידה
|
|
מתי
|
|
בשעה ש
|
|
כאשר
|
|
כש
|
|
למרות
|
|
לפני
|
|
אחרי
|
|
מאיזו סיבה
|
|
הסיבה שבגללה
|
|
למה
|
|
מדוע
|
|
לאיזו תכלית
|
|
כי
|
|
יש
|
|
אין
|
|
אך
|
|
מנין
|
|
מאין
|
|
מאיפה
|
|
יכל
|
|
יכלה
|
|
יכלו
|
|
יכול
|
|
יכולה
|
|
יכולים
|
|
יכולות
|
|
יוכלו
|
|
יוכל
|
|
מסוגל
|
|
לא
|
|
רק
|
|
אולי
|
|
אין
|
|
לאו
|
|
אי
|
|
כלל
|
|
בעד
|
|
נגד
|
|
אם
|
|
עם
|
|
אל
|
|
אלה
|
|
אלו
|
|
אף
|
|
על
|
|
מעל
|
|
מתחת
|
|
מצד
|
|
בשביל
|
|
לבין
|
|
באמצע
|
|
בתוך
|
|
דרך
|
|
מבעד
|
|
באמצעות
|
|
למעלה
|
|
למטה
|
|
מחוץ
|
|
מן
|
|
לעבר
|
|
מכאן
|
|
כאן
|
|
הנה
|
|
הרי
|
|
פה
|
|
שם
|
|
אך
|
|
ברם
|
|
שוב
|
|
אבל
|
|
מבלי
|
|
בלי
|
|
מלבד
|
|
רק
|
|
בגלל
|
|
מכיוון
|
|
עד
|
|
אשר
|
|
ואילו
|
|
למרות
|
|
כמו
|
|
כפי
|
|
אז
|
|
אחרי
|
|
כן
|
|
לכן
|
|
לפיכך
|
|
עז
|
|
מאוד
|
|
מעט
|
|
מעטים
|
|
במידה
|
|
שוב
|
|
יותר
|
|
מדי
|
|
גם
|
|
כן
|
|
נו
|
|
אחר
|
|
אחרת
|
|
אחרים
|
|
אחרות
|
|
אשר
|
|
או
|
|
""".split()
|
|
)
|