isort + flake8 fixed

This commit is contained in:
thjbbvlt 2024-03-25 15:43:13 +01:00
parent 396266904e
commit f3967e8b91
4 changed files with 7 additions and 12 deletions

View File

@ -5,11 +5,7 @@ from thinc.api import Model
from ...language import BaseDefaults, Language from ...language import BaseDefaults, Language
from .lemmatizer import FrenchLemmatizer from .lemmatizer import FrenchLemmatizer
from .lex_attrs import LEX_ATTRS from .lex_attrs import LEX_ATTRS
from .punctuation import ( from .punctuation import TOKENIZER_INFIXES, TOKENIZER_PREFIXES, TOKENIZER_SUFFIXES
TOKENIZER_INFIXES,
TOKENIZER_PREFIXES,
TOKENIZER_SUFFIXES,
)
from .stop_words import STOP_WORDS from .stop_words import STOP_WORDS
from .syntax_iterators import SYNTAX_ITERATORS from .syntax_iterators import SYNTAX_ITERATORS
from .tokenizer_exceptions import TOKENIZER_EXCEPTIONS from .tokenizer_exceptions import TOKENIZER_EXCEPTIONS

View File

@ -28,7 +28,7 @@ sentences = [
"Sinon mets-en un peu par terre.", "Sinon mets-en un peu par terre.",
"il n'y a plus rien ici, enfin j'crois, nos p'tites affaires ont été enl'vées.", "il n'y a plus rien ici, enfin j'crois, nos p'tites affaires ont été enl'vées.",
"aujourd'hui, c'est comme ça.", "aujourd'hui, c'est comme ça.",
"un.e directeur.ice, des employé.es, ", "un.e directeur.ice, des employé.es.",
"des non-humain-es étaient là aussi, visiblement heureux·ses.", "des non-humain-es étaient là aussi, visiblement heureux·ses.",
"j'ai trouvé ça surhttps://site_inexistant.fr/accueil#milieu ou www.quelque_part.com/ je pense.", "j'ai trouvé ça surhttps://site_inexistant.fr/accueil#milieu ou www.quelque_part.com/ je pense.",
"ou alors le 21/12 oui c'est ça c'était le 21/12/2023... ou alors le 12.02.2005", "ou alors le 21/12 oui c'est ça c'était le 21/12/2023... ou alors le 12.02.2005",

View File

@ -5,9 +5,9 @@ from ..char_classes import (
CONCAT_QUOTES, CONCAT_QUOTES,
CURRENCY, CURRENCY,
LIST_ELLIPSES, LIST_ELLIPSES,
LIST_ICONS,
LIST_PUNCT, LIST_PUNCT,
LIST_QUOTES, LIST_QUOTES,
LIST_ICONS,
UNITS, UNITS,
) )
@ -20,12 +20,12 @@ _suffix_inversion = [
"nous", "vous", "elles", "ils", "iels", "nous", "vous", "elles", "ils", "iels",
"moi", "toi", "lui", "leur", "eux", "moi", "toi", "lui", "leur", "eux",
# to avoid matching: Villar-le-bois # to avoid matching: Villar-le-bois
fr"la(?![{HYPHENS}])", fr"la(?![{HYPHENS}])",
fr"le(?![{HYPHENS}])", fr"le(?![{HYPHENS}])",
fr"les(?![{HYPHENS}])", fr"les(?![{HYPHENS}])",
fr"en(?![{HYPHENS}])", "y", fr"en(?![{HYPHENS}])", "y",
# a-t-on, a-t'on # a-t-on, a-t'on
fr"t[{HYPHENS}]??[{ELISION}]?", fr"t[{HYPHENS}]??[{ELISION}]?",
fr"m[{ELISION}]?", fr"m[{ELISION}]?",
"", "ici", "", "ici",
] ]

View File

@ -1,8 +1,7 @@
from ...util import update_exc
from ...symbols import NORM, ORTH from ...symbols import NORM, ORTH
from ...util import update_exc
from ..tokenizer_exceptions import BASE_EXCEPTIONS from ..tokenizer_exceptions import BASE_EXCEPTIONS
_exc = { _exc = {
"St": [{ORTH: "St", NORM: "Saint"}], "St": [{ORTH: "St", NORM: "Saint"}],
"Ste": [{ORTH: "Ste", NORM: "Sainte"}], "Ste": [{ORTH: "Ste", NORM: "Sainte"}],