# TOKEN hyphen
-nak, -nek es ehhez hasonlok
IN : Egy -nak, -jaiért, -magyar, bel- van.
OUT: Egy -nak, -jaiért, -magyar, bel- van.
IN : Egy -nak.
OUT: Egy -nak.
IN : Egy bel-.
OUT: Egy bel-.
IN : Dinnye-domb-.
OUT: Dinnye-domb-.
kulonvalt '-e'
IN : Ezen -e elcsatangolt.
OUT: Ezen -e elcsatangolt.
-e levagasa, zarojel nelkul
IN : Lakik-e
OUT: Lakik-e
IN : Lakik-e?
OUT: Lakik-e?
IN : Lakik-e.
OUT: Lakik-e.
IN : Lakik-e...
OUT: Lakik-e...
IN : Lakik-e... van.
OUT: Lakik-e... van.
IN : Lakik-e van?
OUT: Lakik-e van?
# TODO: adapt spacy to handle such brackets
zarojeles mondatkozi valtozatok
#IN : (La)kik-e van?
#OUT: (La)kik-e van?
#IN : L(a)kik-e van?
#OUT: L(a)kik-e van?
#IN : Lak(ik)-e van?
#OUT: Lak(ik)-e van?
# TODO: adapt spacy to handle such brackets
zarojeles mondatvegi valtozatok
#IN : (La)kik-e.
#OUT: (La)kik-e.
#IN : L(a)kik-e.
#OUT: L(a)kik-e.
#IN : Lak(ik)-e.
#OUT: Lak(ik)-e.
kontroll
IN : Lakik-elem van?
OUT: Lakik-elem van?
IN : Van lakik-elem.
OUT: Van lakik-elem.
IN : A 7-es busz?
OUT: A 7-es busz?
IN : A 7-es?
OUT: A 7-es?
IN : A 7-es.
OUT: A 7-es.
problemas eset, megengedjuk # TODO: works erroundously in HunToken, but OK in spacy
IN : Ez (lakik)-e?
OUT: Ez (lakik)-e?
TODO: macska-/kutyavilag
IN : A macska-/kutyavilag van.
OUT: A macska-/kutyavilag van.
%-, §-
# TODO: spaCy cannot handle such cases
# IN : A §-sal.
# OUT: A §-sal.
IN : A %-sal.
OUT: A %-sal.
tobb kotojel
IN : A CD-ROM-okrol.
OUT: A CD-ROM-okrol.