# TOKEN hyphen -nak, -nek es ehhez hasonlok IN : Egy -nak, -jaiért, -magyar, bel- van. OUT: Egy -nak, -jaiért, -magyar, bel- van. IN : Egy -nak. OUT: Egy -nak. IN : Egy bel-. OUT: Egy bel-. IN : Dinnye-domb-. OUT: Dinnye-domb-. kulonvalt '-e' IN : Ezen -e elcsatangolt. OUT: Ezen -e elcsatangolt. -e levagasa, zarojel nelkul IN : Lakik-e OUT: Lakik-e IN : Lakik-e? OUT: Lakik-e? IN : Lakik-e. OUT: Lakik-e. IN : Lakik-e... OUT: Lakik-e... IN : Lakik-e... van. OUT: Lakik-e... van. IN : Lakik-e van? OUT: Lakik-e van? # TODO: adapt spacy to handle such brackets zarojeles mondatkozi valtozatok #IN : (La)kik-e van? #OUT: (La)kik-e van? #IN : L(a)kik-e van? #OUT: L(a)kik-e van? #IN : Lak(ik)-e van? #OUT: Lak(ik)-e van? # TODO: adapt spacy to handle such brackets zarojeles mondatvegi valtozatok #IN : (La)kik-e. #OUT: (La)kik-e. #IN : L(a)kik-e. #OUT: L(a)kik-e. #IN : Lak(ik)-e. #OUT: Lak(ik)-e. kontroll IN : Lakik-elem van? OUT: Lakik-elem van? IN : Van lakik-elem. OUT: Van lakik-elem. IN : A 7-es busz? OUT: A 7-es busz? IN : A 7-es? OUT: A 7-es? IN : A 7-es. OUT: A 7-es. problemas eset, megengedjuk # TODO: works erroundously in HunToken, but OK in spacy IN : Ez (lakik)-e? OUT: Ez (lakik)-e? TODO: macska-/kutyavilag IN : A macska-/kutyavilag van. OUT: A macska-/kutyavilag van. %-, §- # TODO: spaCy cannot handle such cases # IN : A §-sal. # OUT: A §-sal. IN : A %-sal. OUT: A %-sal. tobb kotojel IN : A CD-ROM-okrol. OUT: A CD-ROM-okrol.