Try to fix memory error by moving fr_tokenizer to module scope

spacy/tests/conftest.py

@@ -92,11 +92,6 @@ def de_tokenizer():
     return util.get_lang_class('de').Defaults.create_tokenizer()
 
 
-@pytest.fixture(scope='session')
-def fr_tokenizer():
-    return util.get_lang_class('fr').Defaults.create_tokenizer()
-
-
 @pytest.fixture(scope='session')
 def hu_tokenizer():
     return util.get_lang_class('hu').Defaults.create_tokenizer()

spacy/tests/lang/fr/test_exceptions.py

@@ -3,6 +3,11 @@
 from __future__ import unicode_literals
 
 import pytest
+from .... import util
+
+@pytest.fixture(scope='module')
+def fr_tokenizer():
+    return util.get_lang_class('fr').Defaults.create_tokenizer()
 
 
 @pytest.mark.parametrize('text', ["aujourd'hui", "Aujourd'hui", "prud'hommes",
@@ -62,4 +67,4 @@ def test_tokenizer_handles_title_2(fr_tokenizer):
     tokens = fr_tokenizer(text)
     assert len(tokens) == 7
     assert tokens[0].text == "Qu'"
-    assert tokens[0].lemma_ == "que"
+    assert tokens[0].lemma_ == "que"

spacy/tests/lang/fr/test_text.py

@@ -1,5 +1,13 @@
 # coding: utf8
 from __future__ import unicode_literals
+import pytest
+
+from .... import util
+
+@pytest.fixture(scope='module')
+def fr_tokenizer():
+    return util.get_lang_class('fr').Defaults.create_tokenizer()
+
 
 
 def test_tokenizer_handles_long_text(fr_tokenizer):

spacy/tests/regression/test_issue852.py

@@ -3,6 +3,13 @@ from __future__ import unicode_literals
 
 import pytest
 
+from ... import util
+
+@pytest.fixture(scope='module')
+def fr_tokenizer():
+    return util.get_lang_class('fr').Defaults.create_tokenizer()
+
+
 
 @pytest.mark.parametrize('text', ["au-delàs", "pair-programmâmes",
                                   "terra-formées", "σ-compacts"])