mirror of
https://github.com/explosion/spaCy.git
synced 2024-12-25 09:26:27 +03:00
Fix test
This commit is contained in:
parent
0b8406a05c
commit
d166756607
|
@ -5,10 +5,8 @@ import pytest
|
||||||
|
|
||||||
|
|
||||||
def test_lt_tokenizer_handles_long_text(lt_tokenizer):
|
def test_lt_tokenizer_handles_long_text(lt_tokenizer):
|
||||||
text = """Tokios sausros kriterijus atitinka pirmadienį atlikti skaičiavimai, palyginus faktinį ir žemiausią
|
text = """Tokios sausros kriterijus atitinka pirmadienį atlikti skaičiavimai, palyginus faktinį ir žemiausią vidutinį daugiametį vandens lygį. Nustatyta, kad iš 48 šalies vandens matavimo stočių 28-iose stotyse vandens lygis yra žemesnis arba lygus žemiausiam vidutiniam daugiamečiam šiltojo laikotarpio vandens lygiui."""
|
||||||
vidutinį daugiametį vandens lygį. Nustatyta, kad iš 48 šalies vandens matavimo stočių 28-iose stotyse vandens lygis
|
tokens = lt_tokenizer(text)
|
||||||
yra žemesnis arba lygus žemiausiam vidutiniam daugiamečiam šiltojo laikotarpio vandens lygiui."""
|
|
||||||
tokens = lt_tokenizer(text.replace("\n", ""))
|
|
||||||
assert len(tokens) == 42
|
assert len(tokens) == 42
|
||||||
|
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue
Block a user