mirror of
https://github.com/explosion/spaCy.git
synced 2024-12-25 17:36:30 +03:00
fc91660aa2
* Initialize Malayalam Language class * Add lex_attrs and examples for Malayalam * Add spaCy Contributor Agreement * Add test for ml tokenizer
19 lines
242 B
Python
19 lines
242 B
Python
# coding: utf8
|
|
from __future__ import unicode_literals
|
|
|
|
|
|
STOP_WORDS = set(
|
|
|
|
"""
|
|
അത്
|
|
ഇത്
|
|
ആയിരുന്നു
|
|
ആകുന്നു
|
|
വരെ
|
|
അന്നേരം
|
|
അന്ന്
|
|
ഇന്ന്
|
|
ആണ്
|
|
""".split()
|
|
)
|