Prosjekt: «Prinsipalkomponenter»

To av resultatene i prosjektet beskriver vi litt mer inngående nedenfor.

1. Algoritmene som sammenstiller komposisjonelle likheter maskinelt for oss i nytt brukergrensesnitt på nettsidene.
2. Algoritmen som klassifiserer Nasjonalmuseets kunst etter motivemneord. 

Nytt brukergrensesnitt på nettsidene

Som et utgangspunkt for å forsøke å trene opp en algoritme til å analysere bildene våre, tok vi i bruk et nevralt nettverk trent på ImageNet, skrevet i Caffe [1], utviklet av Autonomous Perception Research Lab ved Berkeley [2]. Deretter re-trente vi dette på klassifiseringer av kunstretninger i bilder fra The Wikiart collection.

Vi eksperimenterte også med ulike resultater av ansiktsgjenkjenning, gjennom nevrale nettverksfunksjoner fra OpenFace [3]. Videre analyserte vi komposisjon, fargebruk og stil ved hjelp av «neural style». Med dette vikk vi testet ut bildegjenkjenning innenfor rammer for figurer, ansikt, humør, alder, kjønn og typiske/utypiske verk per tiår. Algoritmen identifiserte så og markerte motiver i vår egen samling.

Videre trente vi nettverket på klassifiseringer av kunstretninger, for så å legge til en visning med en t-SNE algoritme (t-distributed stochastic neighbor embedding) [4]. T-SNE-algoritmen tar mangedimensjonale systemer og reduserer dem til en todimensjonal layout. Den grupperer bildene etter motivlikhet, teknikk, komposisjon og fargebruk. Videre utforsket vi visualiseringsmetodene 2d versus 3d t-SNE, «clustering» og våre nye «nabolag» av bilder, visualisert ved hjelp av et «fish-eye»-verktøy. Resultatet ble det nye brukergrensesnittet på nettsidene våre:

• Maleri, etter motiv
• Maleri, etter stil
• Grafikk
• Tegninger
• Design

All verksinformasjon henter vi ut via DigitaltMuseums API. Applikasjonen oppdateres automatisk etter hvert som vi publiserer flere kunstverk. Kildekoden ligger åpen og tilgjengelig på Github.

For detaljert historikk bak de tekniske løsningene og grundigere tekniske beskrivelser, se Benglers hjemmesider.

Automatisk, konvensjonell klassifisering

Et hovedmål i prosjektet, ved siden av å lage en ny søkeinngang for publikum, var å trene algoritmen på det tradisjonelle klassifikasjonssystemet Iconclass [5]. Via databasen Arkyves [6] fikk vi tilgang til store datasett fra kunstsamlinger som likner våre. Men metodikken vi valgte viste seg å være mindre vellykket for de mest spesifikke Iconclass-kategoriene. Algoritmen avdekket nemlig strukturell irrasjonalitet der hierarkienes underkategorier ikke nødvendigvis korresponderer med hovedkategoriene på en enkel, maskinlesbar måte [7].

Analysen av hovedkategorier derimot, fungerte fint. Vi kartla derfor Iconlass’ hovedmotiver mot Nasjonalmuseets egne emneordslister samt Feltkatalogens liste A.2.5 Motivtype (B, F) [8]. Med automatisk generering av motivemneord kan vi nå ta inn manglende deskriptive metadata i verkenes standardinformasjon i bestandskatalogen vår.  

Teoretisering

Prosjektet har muliggjort teoretisering av grensene mellom kunsthistorie og robotikk, noe vi har forsøkt å formidle underveis. I tillegg til i nettverksmøter, har vi presentert prosjektet på konferansene: DHN (Digital Humaniora i Norden) 2016, Blindern, Oslo, i sesjonen Art History [9] / ICOMs (International Council of Museums) CIDOC (le Comité International pour la DOCumentation) 2015, på The National Museum Institute i New Delhi, i sesjonen Techniques and Methods of Documentation [10] / NORDIC (The Nordic Committee for Art History) 2015, på The Nordic house i Reykjavik, i sesjonen Digital Art History, a new frontier in research [11].