Skyhøye kostnader for å trene opp Bloombergs AI
Knyttet til lanseringen av den finans-fokuserte store språkmodellen FinGPT kom det frem litt detaljer om kostnader rundt bygging av AI-modeller.
I en white paper publisert tidligere i juni skrev de bak FinGPT at deres modell ikke baserer seg på privat data, men at det bygger videre på andres store språkmodeller som tilpasses til finans.
Dette er ikke ruten til BloombergGPT, som bygger opp et helt nytt datasett fra bunnen av.
Og det koster kanskje mer enn det smaker. BloombergGPT bruker 1,3 millioner GPU-timer for å trene opp modellen, som betyr at hver trening av modellen koster 30 millioner kroner om dette gjøres over AWS.
Slike treninger gjøres ikke en gang, men det finnes ikke informasjon om hvor mange slike Bloomberg må kjøre gjennom for å få resultater som er tilfredsstillende.
Men Bloomberg har nok av penger, så de har nok råd til dette. Utrolig nok tilsvarer en trening kun inntektene fra 85 (!!) Bloomberg-kunder, som hver betaler minst 350.000 kroner i året for terminalen.
Tilsvarende trening for FinGPT koster ca 3000 kroner per trening.
Det skal sies at Bloomberg trolig sitter på datasett av den høyeste kvaliteten man kan oppdrive i finans, så deres BloombergGPT-produkt er et utrolig spennende tillegg til de som har en Bloomberg-terminal.
