mirror of
https://github.com/explosion/spaCy.git
synced 2024-11-12 04:38:28 +03:00
d97661d18b
Tamil language support to spaCy
Description
Hereby, creating new PR to add support for Tamil language in spaCy
added stop words, examples and numerical attributes
<--Working on other language data-->
Types of change
Enhancement
Checklist
[ x] I have submitted the spaCy Contributor Agreement.
[x ] I ran the tests, and all new and existing tests passed.
[ x] My changes don't require a change to the documentation, or if they do, I've added all required information.
134 lines
2.0 KiB
Python
134 lines
2.0 KiB
Python
# coding: utf8
|
|
from __future__ import unicode_literals
|
|
|
|
|
|
# Stop words
|
|
|
|
STOP_WORDS = set("""
|
|
ஒரு
|
|
என்று
|
|
மற்றும்
|
|
இந்த
|
|
இது
|
|
என்ற
|
|
கொண்டு
|
|
என்பது
|
|
பல
|
|
ஆகும்
|
|
அல்லது
|
|
அவர்
|
|
நான்
|
|
உள்ள
|
|
அந்த
|
|
இவர்
|
|
என
|
|
முதல்
|
|
என்ன
|
|
இருந்து
|
|
சில
|
|
என்
|
|
போன்ற
|
|
வேண்டும்
|
|
வந்து
|
|
இதன்
|
|
அது
|
|
அவன்
|
|
தான்
|
|
பலரும்
|
|
என்னும்
|
|
மேலும்
|
|
பின்னர்
|
|
கொண்ட
|
|
இருக்கும்
|
|
தனது
|
|
உள்ளது
|
|
போது
|
|
என்றும்
|
|
அதன்
|
|
தன்
|
|
பிறகு
|
|
அவர்கள்
|
|
வரை
|
|
அவள்
|
|
நீ
|
|
ஆகிய
|
|
இருந்தது
|
|
உள்ளன
|
|
வந்த
|
|
இருந்த
|
|
மிகவும்
|
|
இங்கு
|
|
மீது
|
|
ஓர்
|
|
இவை
|
|
இந்தக்
|
|
பற்றி
|
|
வரும்
|
|
வேறு
|
|
இரு
|
|
இதில்
|
|
போல்
|
|
இப்போது
|
|
அவரது
|
|
மட்டும்
|
|
இந்தப்
|
|
எனும்
|
|
மேல்
|
|
பின்
|
|
சேர்ந்த
|
|
ஆகியோர்
|
|
எனக்கு
|
|
இன்னும்
|
|
அந்தப்
|
|
அன்று
|
|
ஒரே
|
|
மிக
|
|
அங்கு
|
|
பல்வேறு
|
|
விட்டு
|
|
பெரும்
|
|
அதை
|
|
பற்றிய
|
|
உன்
|
|
அதிக
|
|
அந்தக்
|
|
பேர்
|
|
இதனால்
|
|
அவை
|
|
அதே
|
|
ஏன்
|
|
முறை
|
|
யார்
|
|
என்பதை
|
|
எல்லாம்
|
|
மட்டுமே
|
|
இங்கே
|
|
அங்கே
|
|
இடம்
|
|
இடத்தில்
|
|
அதில்
|
|
நாம்
|
|
அதற்கு
|
|
எனவே
|
|
பிற
|
|
சிறு
|
|
மற்ற
|
|
விட
|
|
எந்த
|
|
எனவும்
|
|
எனப்படும்
|
|
எனினும்
|
|
அடுத்த
|
|
இதனை
|
|
இதை
|
|
கொள்ள
|
|
இந்தத்
|
|
இதற்கு
|
|
அதனால்
|
|
தவிர
|
|
போல
|
|
வரையில்
|
|
சற்று
|
|
எனக்
|
|
""".split())
|