Ordembedding

Ordembedding er, innenfor fagfeltet naturlig språkbehandling, en representasjon av et ord som brukes i tekstanalyse. Vanligvis er representasjonen en vektor bestående av reelle tall som innkoder betydningen av ordet på en slik måte at ord som er nærmere hverandre i vektorrommet forventes å være likere i betydning. Når ord- og fraseembeddinger brukes som den underliggende representasjonen av inndataen, er det vist at ytelsen til språkmodelller øker på naturlige språkbehandlingsoppgaver som syntaktisk parsing og sentimentanalyse .

Etiske implikasjoner

Ordembeddinger kan innkode biaser og stereotyper som eksisterer i treningsdataen. Bolukbasi et al. viste i sin artikkel fra 2016 “Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings” at en åpent tilgjengelig og populær ordembedding kalt word2vec, som er trent på tekster skrevet av professionelle journalister hentet fra Google News, fortsatt inneholder ordassosiasjoner som reflekterer kjønnsdiskriminerende og rasistiske biaser når modellene brukes til å fulføre analogier. For eksempel, en av analogiene som ble generert ved bruk av ordembeddingen var "mann er til dataprogrammerer som kvinne er til husmor" (engelsk: “man is to computer programmer as woman is to homemaker”).

Forskning utført av Jieyu Zhou et al. viser at bruken av disse ferdigtrente ordembeddingene uten nøye tilsyn sannsynligvis opprettholder de eksisterende skjevhetene i samfunnet som er speilet i treningsdataen. Ordembeddingene kan også være med på å forsterke disse skjevhetene .