2021-11-28 23:59:23 +03:00
|
|
|
|
import pytest
|
|
|
|
|
|
|
|
|
|
|
|
|
2023-01-31 19:30:43 +03:00
|
|
|
|
def test_long_text(mul_tokenizer):
|
2021-11-28 23:59:23 +03:00
|
|
|
|
# Excerpt: Text in Skolt Sami taken from https://www.samediggi.fi
|
|
|
|
|
|
text = """
|
|
|
|
|
|
Säʹmmla lie Euroopp unioon oʹdinakai alggmeer. Säʹmmlai alggmeerstatus lij raʹvvjum Lääʹddjânnam vuâđđlääʹjjest.
|
|
|
|
|
|
Alggmeer kriteeʹr vuâđđâʹvve meeraikõskksaž tuâjjorganisaatio, ILO, suåppmõʹšše nââmar 169.
|
|
|
|
|
|
Suåppmõõžž mieʹldd jiõččvälddsaž jânnmin jälsteei meeraid ââʹnet alggmeeran,
|
|
|
|
|
|
ko sij puõlvvâʹvve naroodâst, kååʹtt jânnam välddmõõžž leʹbe aazztummuž leʹbe ânnʼjõž riikkraaʹji šõddâm ääiʹj jälste
|
|
|
|
|
|
jânnmest leʹbe tõn mäddtiõđlaž vuuʹdest, koozz jânnam kooll. Alggmeer ij leäkku mieʹrreei sââʹjest jiiʹjjes jälstemvuuʹdest.
|
|
|
|
|
|
Alggmeer âlgg jiõčč ââʹnned jiiʹjjes alggmeeran leʹbe leeʹd tõn miõlâst, što sij lie alggmeer.
|
|
|
|
|
|
Alggmeer lij õlggâm seeilted vuõiggâdvuõđlaž sââʹjest huõlǩâni obbnes leʹbe vueʹzzi jiiʹjjes sosiaalʼlaž, täälʼlaž,
|
|
|
|
|
|
kulttuurlaž da poliittlaž instituutioid.
|
|
|
|
|
|
|
|
|
|
|
|
Säʹmmlai statuuzz ǩeeʹrjteš Lääʹddjânnam vuâđđläkka eeʹjj 1995. Säʹmmlain alggmeeran lij vuõiggâdvuõtt tuõʹllʼjed da
|
|
|
|
|
|
ooudâsviikkâd ǩiõlâz da kulttuurâz di tõõzz kuulli ääʹrbvuâlaž jieʹllemvueʹjjeez. Sääʹmǩiõl ââʹnnmest veʹrǧǧniiʹǩǩi
|
|
|
|
|
|
åʹrnn lij šiõttuum jiiʹjjes lääʹǩǩ. Säʹmmlain lij leämmaž eeʹjjest 1996 vueʹljeeʹl dommvuuʹdsteez ǩiõlâz da kulttuurâz kuõskki
|
|
|
|
|
|
vuâđđlääʹjj meâldlaž jiõččvaaldâšm. Säʹmmlai jiõččvaldšma kuulli tuâjaid håidd säʹmmlai vaalin vaʹlljääm parlameʹntt,
|
|
|
|
|
|
Sääʹmteʹǧǧ.
|
|
|
|
|
|
"""
|
|
|
|
|
|
|
2023-01-31 19:30:43 +03:00
|
|
|
|
tokens = mul_tokenizer(text)
|
2021-11-28 23:59:23 +03:00
|
|
|
|
assert len(tokens) == 179
|
