Unicode og tekstkoding

• Unicode og ordinaler
• Tekstkoding
• Sammenblanding av tekstkodinger

Unicode og ordinaler

Som alle andre datatyper i Python er også strenger egentlig representert under panseret som en sekvens av 0 og 1. For eksempel representeres bokstaven 'A' som 1000001 og bokstaven 'B' som 1000010. Hvis vi i stedet for å tolke sekvensen av 0 og 1 som en bokstav later som sekvensen er et tall i totall-systemet, får vi henholdsvis 65 for 'A' og 66 for 'B'.

På denne måten er hvert eneste symbol (bokstav og tegn, emoji og andre symboler som kan opptre i en streng) knyttet til et tall. Dette tallet kalles en ordinal for symbolet. Hvordan symboler matcher ordinaler gjøres i Python på en standardisert måte som kalles Unicode. Unicode er med andre ord en matching mellom ordinal og symbol. Under viser vi et lite utdrag.

For å finne ordinalen til et symbol kan vi bruke funksjonen ord:

symbol = 'A'
ordinal = ord(symbol)
print('Ordinal til', symbol, 'er' , ordinal) # Ordinal til A er 65

For å konvertere fra ordinal til symbol («character») kan vi bruke funksjonen chr:

ordinal = 97
symbol = chr(ordinal)
print('Ordinal', ordinal, 'har symbol', symbol) # Ordinalen 97 har symbol a

Tekstkoding

Ett symbol kan representeres som ett tall, som vist i forrige avsnitt. Men hva om det er flere symboler etter hverandre, som i en streng eller en fil med tekst? Fordi det ikke eksisterer noe naturlig «mellomrom» i noe som representeres som en sekvens av 0 og 1, må vi bestemme oss for noen regler for å skille hvor ett symbol slutter fra hvor det neste starter.

Det finnes flere ulike strategier for dette, som vi kaller koding av en streng (engelsk: encoding). Kodinger som støtter alle Unicode-symboler begynner med «UTF» (Unicode Transformation Format).

Eksempler på kodinger:

Når man leser eller skriver en tekstfil, må man velge hvilken koding man skal benytte.

• For å skrive til fil er valget enkelt: du bør alltid velge UTF-8 med mindre du har helt spesielle grunner til å gjøre noe annet (f. eks. kompabilititet med et gammelt system).
• For å lese fra en fil må du vite hvilken koding som ble brukt da filen ble lagret. Med 80% sannsynlighet er dette UTF-8, men av og til kan det være noe annet – for eksempel er cp1252 ikke helt uvanlig hvis filen ble opprettet på en Windows-maskin av noen som ikke visste helt hva de gjorde. Hvis du ikke vet hva tekstkodingen er, må du dessverre gjette deg frem eller spørre den som har laget filen. Hvis du får rare tegn i stedet for norske bokstaver, er det sannsynligvis fordi du har gjettet feil. Da kan du prøve å gjette på en annen koding.

Hvis du ikke vet hvilken koding som er brukt, prøv disse tekstkodingene først:

• UTF-8 (anbefalt)
• latin-1 (også kalt ISO-8859-1)
• cp1252 (også kalt Windows-1252)
• UTF-16
• UTF-32

Hvis teksten er på et spesielt språk og ingen av unicode-kodingene (utf-XX) fungerer, kan du også søke på internett etter kodinger som er vanlige for språket. Det er en stor jungel av tekstkodinger tilpasset symboler fra forskjellige språk: for eksempel er cp1251 (også kalt Windows-1251) et alternativ til cp1252 som er tilpasset kyrillisk tekst (russisk etc.), mens cp865 (også kalt IBM865) er et sjeldent benyttet alternativ som er spesielt tilpasset norsk og dansk. Liste over alle tekstkodinger som støttes av Python finner du her.

# Eksempel på å skrive til en fil
writing_text = 'Dette er en tekst. Den har æøå og 🐍 i seg.'
with open('myfile.txt', 'w', encoding='utf-8') as f:
    f.write(writing_text)

# Eksempel på å lese fra en fil
with open('myfile.txt', 'r', encoding='utf-8') as f:
    reading_text = f.read()
print(reading_text) # Dette er en tekst. Den har æøå og 🐍 i seg.

Dersom du ikke angir noe for encoding= vil Python bruke standarden for ditt operativsystem. Dette er vanligvis utf-8 på Mac og Linux, og cp1252 på Windows, men kan også variere basert på «locale» -konfigurasjonen av operativsystemet (språk, etc.). Det er derfor lurt å alltid spesifisere encoding= når du skriver til/leser fra filer, slik at du ikke får problemer når du bytter datamaskin.

Sammenblanding av tekstkodinger

Dersom man åpner en fil med feil tekstkoding, vil innholdet tolkes feil, eller det kan oppstå feilmeldinger.

Anta at vi har tekstfiler sample_utf8.txt og sample_cp1252.txt som begge inneholder samme innhold, men er lagret med ulike tekstkodinger (høyreklikk på link og velg «lagre link som» eller lignende for å laste ned). Innholdet i filene er identisk:

blåbærsyltetøy

Avhengig av hvilken tekstkoding vi bruker når vi leser filene, vil vi få ulike resultater (kan avvike noe avhengig av hvilket program du benytter for å lese filene):

Prøv å lese begge filene over i nettleseren (klikk på linkene over på vanlig måte uten å laste dem ned). Hvilken av filene ser riktig ut? Hvilken ser feil ut? Hvorfor? Hvilken tekstkoding benytter nettleseren når den leser filene?

Dersom du åpner en tekstfil i VSCode vil programmet vise på linjen nederst til høyre hvilken tekstkoding som benyttes for å lese filen som vises (f. eks. UTF-8 eller Windows-1252). Om du klikker der, kan du velge å åpne eller lagre filen med en annen tekstkoding.

Tips: for best mulig kompatibilitet, bør du alltid velge UTF-8 når du lager nye filer. Hvis du ser at filen din ser riktig ut i en annen tekstkoding, anbefaler jeg å velge «Save with encoding» og lagre filen på nytt med UTF-8. Dette gjelder også kildekoden til Python-filer du skriver.

Når vi i våre Python-program leser filer og spesifiserer feil tekstkoding, får vi akkurat samme problemer som vi ser over. Merk:

• å lese med cp1252 en fil som egentlig er kodet i utf-8 krasjer ikke, men vil feile i stillhet;
• å lese med utf-8 en fil som egentlig er kodet i cp1252 vil ofte (men ikke alltid) resultere i at programmet krasjer.

with open('sample_utf8.txt', 'r', encoding='utf-8') as f:
    print(f.read()) # blåbærsyltetøy

with open('sample_utf8.txt', 'r', encoding='cp1252') as f:
    print(f.read()) # blåbærsyltetøy

with open('sample_cp1252.txt', 'r', encoding='utf-8') as f:
    print(f.read()) # krasjer (filen har ugyldig utf-8)

with open('sample_cp1252.txt', 'r', encoding='cp1252') as f:
    print(f.read()) # blåbærsyltetøy

Fordi både UTF-8, cp1252 og latin-1 er bakoverkompatible med ASCII, vil filer som kun inneholder ASCII-symboler være helt identiske enten de er lagret med UTF-8 eller cp1252 eller latin-1. Dette er grunnen til at man av og til ønsker å begrense seg til å kun bruke ASCII-symboler såfremt det ikke medfører noen andre ulemper.