From 7dfa86d8dee4cd86a3c7c91dac0a83401dba71f7 Mon Sep 17 00:00:00 2001 From: Lise Brinck Date: Wed, 8 Nov 2023 10:04:28 +0100 Subject: [PATCH] add comments about example sentences' origin --- spacy/lang/nn/examples.py | 1 + spacy/tests/lang/fo/test_tokenizer.py | 1 + spacy/tests/lang/nn/test_tokenizer.py | 1 + 3 files changed, 3 insertions(+) diff --git a/spacy/lang/nn/examples.py b/spacy/lang/nn/examples.py index 3a78f4d3a..95ec0aadd 100644 --- a/spacy/lang/nn/examples.py +++ b/spacy/lang/nn/examples.py @@ -6,6 +6,7 @@ Example sentences to test spaCy and its language models. """ +# sentences taken from Omsetjingsminne frå Nynorsk pressekontor 2022 (https://www.nb.no/sprakbanken/en/resource-catalogue/oai-nb-no-sbr-80/) sentences = [ "Konseptet går ut på at alle tre omgangar tel, alle hopparar må stille i kvalifiseringa og poengsummen skal telje.", "Det er ein meir enn i same periode i fjor.", diff --git a/spacy/tests/lang/fo/test_tokenizer.py b/spacy/tests/lang/fo/test_tokenizer.py index d1041c072..794bde682 100644 --- a/spacy/tests/lang/fo/test_tokenizer.py +++ b/spacy/tests/lang/fo/test_tokenizer.py @@ -1,5 +1,6 @@ import pytest +# examples taken from Basic LAnguage Resource Kit 1.0 for Faroese (https://www.openslr.org/125/) FO_TOKEN_EXCEPTION_TESTS = [ ( "Eftir løgtingslóg um samsýning og eftirløn landsstýrismanna v.m., skulu løgmaður og landsstýrismenn vanliga siga frá sær størv í almennari tænastu ella privatum virkjum, samtøkum ella stovnum. ", diff --git a/spacy/tests/lang/nn/test_tokenizer.py b/spacy/tests/lang/nn/test_tokenizer.py index e68bf0f81..777be7f15 100644 --- a/spacy/tests/lang/nn/test_tokenizer.py +++ b/spacy/tests/lang/nn/test_tokenizer.py @@ -1,5 +1,6 @@ import pytest +# examples taken from Omsetjingsminne frå Nynorsk pressekontor 2022 (https://www.nb.no/sprakbanken/en/resource-catalogue/oai-nb-no-sbr-80/) NN_TOKEN_EXCEPTION_TESTS = [ ( "Målet til direktoratet er at alle skal bli tilbydd jobb i politiet så raskt som mogleg i 2014.",