Tokenisering af teksterne i træningsprocessen med at træne en AI-model til at skabe poesi ved hjælp af TensorFlow- og NLP-teknikker tjener flere vigtige formål. Tokenisering er et grundlæggende trin i naturlig sprogbehandling (NLP), der involverer at nedbryde en tekst i mindre enheder kaldet tokens. I forbindelse med tekster involverer tokenisering at opdele teksterne