explosion/spaCy
1
1
Fork 0
mirror of https://github.com/explosion/spaCy.git synced 2025-07-27 08:29:51 +03:00
Code Issues Packages Projects Releases Wiki Activity

Make the tests a bit more compact

Browse Source
This commit is contained in:
Adriane Boyd 2023-11-15 09:43:42 +01:00
parent 7281c73ad2
commit a526b01e90
2 changed files with 10 additions and 129 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

56
spacy/tests/lang/fo/test_tokenizer.py
View File

@ -1,70 +1,22 @@
import pytest
# examples taken from Basic LAnguage Resource Kit 1.0 for Faroese (https://maltokni.fo/en/resources) licensed with CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
# fmt: off
FO_TOKEN_EXCEPTION_TESTS = [
(
"Eftir løgtingslóg um samsýning og eftirløn landsstýrismanna v.m., skulu løgmaður og landsstýrismenn vanliga siga frá sær størv í almennari tænastu ella privatum virkjum, samtøkum ella stovnum. ",
[
"Eftir",
"løgtingslóg",
"um",
"samsýning",
"og",
"eftirløn",
"landsstýrismanna",
"v.m.",
",",
"skulu",
"løgmaður",
"og",
"landsstýrismenn",
"vanliga",
"siga",
"frá",
"sær",
"størv",
"í",
"almennari",
"tænastu",
"ella",
"privatum",
"virkjum",
",",
"samtøkum",
"ella",
"stovnum",
".",
"Eftir", "løgtingslóg", "um", "samsýning", "og", "eftirløn", "landsstýrismanna", "v.m.", ",", "skulu", "løgmaður", "og", "landsstýrismenn", "vanliga", "siga", "frá", "sær", "størv", "í", "almennari", "tænastu", "ella", "privatum", "virkjum", ",", "samtøkum", "ella", "stovnum", ".",
],
),
(
"Sambandsflokkurin gongur aftur við 2,7 prosentum í mun til valið í 1994, tá flokkurin fekk undirtøku frá 23,4 prosent av veljarunum.",
[
"Sambandsflokkurin",
"gongur",
"aftur",
"við",
"2,7",
"prosentum",
"í",
"mun",
"til",
"valið",
"í",
"1994",
",",
"tá",
"flokkurin",
"fekk",
"undirtøku",
"frá",
"23,4",
"prosent",
"av",
"veljarunum",
".",
"Sambandsflokkurin", "gongur", "aftur", "við", "2,7", "prosentum", "í", "mun", "til", "valið", "í", "1994", ",", "tá", "flokkurin", "fekk", "undirtøku", "frá", "23,4", "prosent", "av", "veljarunum", ".",
],
),
]
# fmt: on
@pytest.mark.parametrize("text,expected_tokens", FO_TOKEN_EXCEPTION_TESTS)

83
spacy/tests/lang/nn/test_tokenizer.py
View File

@ -1,105 +1,34 @@
import pytest
# examples taken from Omsetjingsminne frå Nynorsk pressekontor 2022 (https://www.nb.no/sprakbanken/en/resource-catalogue/oai-nb-no-sbr-80/)
# fmt: off
NN_TOKEN_EXCEPTION_TESTS = [
(
"Målet til direktoratet er at alle skal bli tilbydd jobb i politiet så raskt som mogleg i 2014.",
[
"Målet",
"til",
"direktoratet",
"er",
"at",
"alle",
"skal",
"bli",
"tilbydd",
"jobb",
"i",
"politiet",
"så",
"raskt",
"som",
"mogleg",
"i",
"2014",
".",
"Målet", "til", "direktoratet", "er", "at", "alle", "skal", "bli", "tilbydd", "jobb", "i", "politiet", "så", "raskt", "som", "mogleg", "i", "2014", ".",
],
),
(
"Han ønskjer ikkje at staten skal vere med på å finansiere slik undervisning, men dette er rektor på skulen ueinig i.",
[
"Han",
"ønskjer",
"ikkje",
"at",
"staten",
"skal",
"vere",
"med",
"på",
"å",
"finansiere",
"slik",
"undervisning",
",",
"men",
"dette",
"er",
"rektor",
"på",
"skulen",
"ueinig",
"i",
".",
"Han", "ønskjer", "ikkje", "at", "staten", "skal", "vere", "med", "på", "å", "finansiere", "slik", "undervisning", ",", "men", "dette", "er", "rektor", "på", "skulen", "ueinig", "i", ".",
],
),
(
"Ifølgje China Daily vart det 8.848 meter høge fjellet flytta 3 centimeter sørvestover under jordskjelvet, som vart målt til 7,8.",
[
"Ifølgje",
"China",
"Daily",
"vart",
"det",
"8.848",
"meter",
"høge",
"fjellet",
"flytta",
"3",
"centimeter",
"sørvestover",
"under",
"jordskjelvet",
",",
"som",
"vart",
"målt",
"til",
"7,8",
".",
"Ifølgje", "China", "Daily", "vart", "det", "8.848", "meter", "høge", "fjellet", "flytta", "3", "centimeter", "sørvestover", "under", "jordskjelvet", ",", "som", "vart", "målt", "til", "7,8", ".",
],
),
(
"Brukssesongen er frå nov. til mai, med ein topp i mars.",
[
"Brukssesongen",
"er",
"frå",
"nov.",
"til",
"mai",
",",
"med",
"ein",
"topp",
"i",
"mars",
".",
"Brukssesongen", "er", "frå", "nov.", "til", "mai", ",", "med", "ein", "topp", "i", "mars", ".",
],
),
]
# fmt: on
@pytest.mark.parametrize("text,expected_tokens", NN_TOKEN_EXCEPTION_TESTS)