Dette innlegget vil forklare følgende innhold:
- Hva er OpenAIs Jukebox?
- Hvordan fungerer OpenAIs Jukebox?
- Hvordan bruke OpenAIs Jukebox?
- Funksjoner i Jukebox
Hva er OpenAIs Jukebox?
Jukebox er et dypt læringssystem som kan generere musikk fra bunnen av, gitt noen input som tekster, sjanger, artist eller stemning. Jukebox bruker et stort datasett med over 1,2 millioner sanger fra forskjellige kilder, som Spotify, YouTube og MIDI-filer, for å lære musikkens mønstre og funksjoner.
Hvordan fungerer OpenAIs Jukebox?
Jukebox består av tre hovedkomponenter: en VQ-VAE-koder, en transformator-dekoder og en upsampler.
VQ-VAE-koder
VQ-VAE-koderen er ansvarlig for å komprimere rålyden til en lavere dimensjonal representasjon som bevarer den essensielle informasjonen til musikken. Koderen bruker en teknikk kalt vektorkvantisering (VQ) for å kartlegge hvert segment av lyden til en av 2048 tokens.
Transformator dekoder
Disse tokenene blir deretter matet inn i transformatordekoderen, som er et nevralt nettverk som kan generere sekvenser av tokens basert på input og den lærte musikalske kunnskapen. Dekoderen kan generere tokens som tilsvarer tekster, melodi, harmoni, rytme, klangfarge og andre musikalske aspekter.
Upsampler
Upsampleren er den siste komponenten som konverterer de genererte tokenene tilbake til lyd av høy kvalitet. Upsampleren bruker en annen VQ-VAE for å rekonstruere lyden fra tokens mens den legger til detaljer og nyanser som mangler i den lavere dimensjonale representasjonen. Oppsampleren kan også bruke tilleggsinformasjon som sjanger- eller artistinnbygging for å finjustere utdataene og få det til å høres mer realistisk og mangfoldig ut.
Hvordan bruke OpenAIs Jukebox?
For å bruke Jukebox må du ha tilgang til en kraftig GPU eller en cloud computing-tjeneste som kan kjøre Jukebox-koden. Du kan finne skriptet og instruksjonene om hvordan du installerer og kjører Jukebox på GitHub . Du kan også finne noen eksempler på sanger generert av Jukebox på SoundCloud under:
For å generere dine egne sanger med Jukebox, må du oppgi noen inputparametere som tekst, sjanger, artist eller stemning. Du kan også spesifisere prøvetakingstemperaturen, som styrer hvor tilfeldig og kreativ utgangen vil være.
En høyere temperatur betyr mer mangfold og nyhet, mens en lavere temperatur betyr mer sammenheng og likhet med input. Du kan også velge nivået på kvaliteten og kompleksiteten til utdataene, fra 5b (den høyeste) til 1b (den laveste). Et høyere nivå betyr mer nøyaktighet og detaljer, men også mer beregningstid og ressurser.
Når du har satt opp inndataparameterne dine, kan du kjøre Jukebox-koden og vente på at den skal generere sangen din. Avhengig av innstillingene og maskinvaren, kan dette ta fra minutter til timer eller til og med dager. Overvåk også fremdriften og lytt til mellomeksempler underveis. Når generasjonen er ferdig, kan du laste ned sangen din som en MP3-fil og nyte ditt musikalske mesterverk.
Funksjoner i Jukebox
Jukeboksen kan brukes til ulike formål, for eksempel:
- Lage original musikk for personlig eller kommersiell bruk
- Remiksing eller sampling av eksisterende sanger
- Generer musikk for spesifikke stemninger, temaer eller anledninger
- Utforske ulike sjangre og musikkstiler
- Ha det gøy og være kreativ
Konklusjon
Jukebox er et fantastisk verktøy som kan hjelpe deg med å lage original og mangfoldig musikk med minimal innsats. Du kan bruke den til å eksperimentere med forskjellige sjangre og stiler, til å remikse eksisterende sanger eller artister, eller til å uttrykke dine egne følelser og ideer gjennom musikk. Jukebox er imidlertid ikke perfekt; det kan noen ganger produsere feil, feil eller useriøse utdata.