PK-maskinglæring
Grensesnitt for utforskning av likheter i samlingen

Prosjekt: «Prinsipalkomponenter»

I dette prosjektet har vi testet kunstig intelligens i prinsipal komponentanalyse av bildene våre, via bruk av nevrale nettverk og algoritmer.

To av resultatene i prosjektet beskriver vi litt mer inngående nedenfor.

  1. Algoritmene som sammenstiller komposisjonelle likheter maskinelt for oss i nytt brukergrensesnitt på nettsidene.
  2. Algoritmen som klassifiserer Nasjonalmuseets kunst etter motivemneord. 

Nytt brukergrensesnitt på nettsidene

Som et utgangspunkt for å forsøke å trene opp en algoritme til å analysere bildene våre, tok vi i bruk et nevralt nettverk trent på ImageNet, skrevet i Caffe [1], utviklet av Autonomous Perception Research Lab ved Berkeley [2]. Deretter re-trente vi dette på klassifiseringer av kunstretninger i bilder fra The Wikiart collection. Vi eksperimenterte også med ulike resultater av ansiktsgjenkjenning, gjennom nevrale nettverksfunksjoner fra OpenFace [3]. Videre analyserte vi komposisjon, fargebruk og stil ved hjelp av «neural style». Med dette vikk vi testet ut bildegjenkjenning innenfor rammer for figurer, ansikt, humør, alder, kjønn og typiske/utypiske verk per tiår. Algoritmen identifiserte så og markerte motiver i vår egen samling. Videre trente vi nettverket på klassifiseringer av kunstretninger, for så å legge til en visning med en t-SNE algoritme (t-distributed stochastic neighbor embedding) [4]. T-SNE-algoritmen tar mangedimensjonale systemer og reduserer dem til en todimensjonal layout. Den grupperer bildene etter motivlikhet, teknikk, komposisjon og fargebruk. Videre utforsket vi visualiseringsmetodene 2d versus 3d t-SNE, «clustering» og våre nye «nabolag» av bilder, visualisert ved hjelp av et «fish-eye»-verktøy. Resultatet ble det nye brukergrensesnittet på nettsidene våre:

All verksinformasjon henter vi ut via DigitaltMuseums API. Applikasjonen oppdateres automatisk etter hvert som vi publiserer flere kunstverk. Kildekoden ligger åpen og tilgjengelig på Github: https://github.com/nasjonalmuseet/propinquity. For detaljert historikk bak de tekniske løsningene og grundigere tekniske beskrivelser, se Benglers hjemmesider: http://bengler.no/principalcomponents

Automatisk, konvensjonell klassifisering

Et hovedmål i prosjektet, ved siden av å lage en ny søkeinngang for publikum, var å trene algoritmen på det tradisjonelle klassifikasjonssystemet Iconclass [5]. Via databasen Arkyves [6] fikk vi tilgang til store datasett fra kunstsamlinger som likner våre. Men metodikken vi valgte viste seg å være mindre vellykket for de mest spesifikke Iconclass-kategoriene. Algoritmen avdekket nemlig strukturell irrasjonalitet der hierarkienes underkategorier ikke nødvendigvis korresponderer med hovedkategoriene på en enkel, maskinlesbar måte [7]. Analysen av hovedkategorier derimot, fungerte fint. Vi kartla derfor Iconlass’ hovedmotiver mot Nasjonalmuseets egne emneordslister samt Feltkatalogens liste A.2.5 Motivtype (B, F) [8]. Med automatisk generering av motivemneord kan vi nå ta inn manglende deskriptive metadata i verkenes standardinformasjon i bestandskatalogen vår.  

Teoretisering

Prosjektet har muliggjort teoretisering av grensene mellom kunsthistorie og robotikk, noe vi har forsøkt å formidle underveis. I tillegg til i nettverksmøter, har vi presentert prosjektet på konferansene: DHN (Digital Humaniora i Norden) 2016, Blindern, Oslo, i sesjonen Art History [9] / ICOMs (International Council of Museums) CIDOC (le Comité International pour la DOCumentation) 2015, på The National Museum Institute i New Delhi, i sesjonen Techniques and Methods of Documentation [10] / NORDIC (The Nordic Committee for Art History) 2015, på The Nordic house i Reykjavik, i sesjonen Digital Art History, a new frontier in research [11].

Takk

Vi takker Kulturrådet for tilskuddsmidler og interessante fagsamlinger underveis i Program for digital utvikling i museene. En stor takk retter vi også til Hans Brandhorst (Editor of Iconclass & Arkyves) og Reem Weda (Information specialist terminologies, RKD – Netherlands Institute for Art History/ IT & Digitisation) for tilgang til datasettene deres og den svært velvillige innstillingen til våre stadige henvendelser. Ytterligere vil vi takke Even Westvang; uten hans skråblikk på kunsthistoriefaget, evige optimistiske ideer og løsningsorienterte innstilling hadde prosjektet ikke blitt realisert. Til slutt en spesiell takk til Audun Mathias Øygard, for å ha delt sin spesialkunnskap om maskinlæring, for alltid forståelsesfulle klargjøringer for oss uinnvidde og ikke minst; hans ulenkelige bearbeiding av algoritmene i prosjektet.
 


  1. Caffe kan sammenliknes med for eksempel Torch, utviklet av teknikere i Facebook, Twitter og Google 
  2. http://bvlc.eecs.berkeley.edu/
  3. OpenFace: http://cmusatyalab.github.io/openface/  
  4. Mer om t-SNE her: http://lvdmaaten.github.io/tsne/ og http://cs.stanford.edu/people/karpathy/cnnembed/
  5. Iconclass: http://www.iconclass.nl/home 
  6. Arkyves inneholder samlinger av ICONCLASS-brukere, som Rijksmuseum, Nederlandsk institutt for kunsthistorie, Herzog August Bibliotek, universitetsbibliotekene i Milano, Utrecht, Glasgow og Illinois. http://arkyves.or
  7. For eksempel kunne ikke selvportrett av kunstnere slås sammen når yrkesklasser og sosiale strukturer er skilt fra hverandre i Iconclass.
  8. Feltkatalog for kunst- og kulturhistoriske museer, Norsk Museumsutvikling (NMU), 2002. http://issuu.com/norsk_kulturrad/docs/feltkatalog?mode=window&viewMode=doublePage 
  9. Publiserte Abstracts finnes her: http://www.hf.uio.no/iln/english/research/networks/digital-humanities/news-and-events/events/2016/pdf/bofab.pdf. Les om Prinsipalkomponenter på side 55 ff. DHN 2016 http://dig-hum-nord.eu/?page_id=34&lang=sv
  10. Innlegget er publisert i artikkelform her: http://network.icom.museum/fileadmin/user_upload/minisites/cidoc/ConferenceGuidelines/2015_Cidoc_Paper__Mr_Bognerud_and_Mrs_Pedersen_with_figs_authors.pdf /CIDOC 2015 http://network.icom.museum/cidoc/ 
  11. NORDIK 2015 http://nordicarthistory.org/

Prosjektgruppe

Nasjonalmuseet: Françoise Hanssen-Bauer, avdelingsdirektør Samlingsforvaltning (prosjekteier), Magnus Bognerud, fagkonsulent, Digital samlingsforvaltning, Dag Hensten, seniorrådgiver, Avd. kommunikasjon, Gro Benedikte Pedersen, fagkoordinator (prosjektleder)
Bengler: Even Westvang, teknolog og designer, samt Audun Mathias Øygard, maskinlæringsspesialist og Data scientist. 

Prosjektet ble gjennomført 10. oktober 2015–28. april 2017.

Kildekode

https://github.com/nasjonalmuseet/propinquity.

For detaljert historikk bak de tekniske løsningene og grundigere tekniske beskrivelser, se også Bengler: http://bengler.no/principalcomponents

 

kulturraadet_sort_stor2.png

Prosjektet er støttet av Kulturrådet gjennom
Program for digital utvikling i museene.