mirror of
https://github.com/explosion/spaCy.git
synced 2024-11-11 20:28:20 +03:00
13 lines
602 B
Python
13 lines
602 B
Python
|
# encoding: utf8
|
||
|
from __future__ import unicode_literals
|
||
|
|
||
|
import spacy.de
|
||
|
|
||
|
|
||
|
def test_tokenizer():
|
||
|
lang = spacy.de.German()
|
||
|
|
||
|
doc = lang(u'Biografie: Ein Spiel ist ein Theaterstück des Schweizer Schriftstellers Max Frisch, das 1967 entstand und am 1. Februar 1968 im Schauspielhaus Zürich uraufgeführt wurde. 1984 legte Frisch eine überarbeitete Neufassung vor. Das von Frisch als Komödie bezeichnete Stück greift eines seiner zentralen Themen auf: die Möglichkeit oder Unmöglichkeit des Menschen, seine Identität zu verändern.')
|
||
|
for token in doc:
|
||
|
print(repr(token.string))
|