Med udviklingen af neurale netværk og maskinlæringsteknologier udvides anvendelsesområdet også. Hvis tidligere neurale netværk udelukkende blev brugt til udførelse af komplekse matematiske, medicinske, fysiske, biologiske beregninger og prognoser, vinder disse teknologier nu stor popularitet i et mere”dagligdags” miljø - inden for underholdning. Ved kun at tage de første skridt i denne retning er de allerede i stand til at demonstrere fantastiske og til tider endda enestående resultater. I dag vil vi analysere et par illustrative eksempler.
Processen med videomastering er så kompliceret og tidskrævende, at vi måske aldrig har set mange mesterværker fra verdensklassikere med et nyt, moderne, klart og saftigt billede. Verden er imidlertid fuld af smarte fans og entusiaster, der er godt bevandret i nye teknologier, og især neurale netværk og maskinstyringsteknologier, som du kan opnå fantastiske resultater selv hjemme. For eksempel besluttede YouTube-bruger Stefan Rumen med pseudonymet CaptRobau at demonstrere nogle af evnerne i neurale netværk til behandling af videoer fra en gammel science fiction-serie.
Hans tidligere arbejde er Remako Mod, en "HD-remake" af den klassiske og meget populære japanske RPG Final Fantasy VII kaldet. For at gøre dette brugte han AI-algoritmen AI Gigapixel, ved hjælp af hvilken han var i stand til at skalere billedet af det originale billede 4 gange og konvertere det til HD-opløsning uden væsentlige ændringer i det originale kunstdesign. Mens du venter et andet årti indtil det øjeblik, hvor den japanske udvikler og udgiver af computerspil Square Enix officielt frigiver en remaster af måske en af de bedste dele i denne spilserie, kan du selv prøve Stefan Rumens mod ved at downloade den fra dette sted.
Forresten er teknologien i neurale netværk til remastering af gamle spil og bringe dem til et mere relevant og moderne look uden at ændre det generelle originale koncept for nylig blevet en reel trend blandt forskellige modders. For ikke så længe siden talte vi for eksempel om ESRGAN-teknologi (Enhanced Super Resolution Generative Adversarial Networks), der implementerer billedskaleringsteknologier med 2-8x kvalitetsforøgelse. Algoritmen "mates" det originale billede med en lav opløsning, hvorefter den ikke kun øger den oprindelige opløsning af sidstnævnte, men forbedrer også billedkvaliteten ved at male på realistiske detaljer og gøre teksturer "mere naturlige".
Sammenligning af teksturkvalitet: til venstre er den originale struktur fra Morrowind-spillet til højre - behandlet af det neurale netværk.
Et tegn fra Doom (venstre - blev, højre - blev).
Baggrundsbehandling i Resident Evil 3.
Salgsfremmende video:
Det kunne være, som det måtte være, i intervallerne mellem omarbejdningen af "Den syvende finale" besluttede Stefan Rumen at tage et andet projekt op - at bruge den samme maskinindlæringsteknologi, men denne gang til at behandle rammer i den klassiske science fiction-serie i 90'erne. Rumen valgte Star Trek: Deep Space Nine som objektet for hans eksperimenter.
Skalering af et levende billede af en tv-serie er meget forskellig i kompleksitet fra skalering af et forudgivet billede af Final Fantasy VII, bemærker forfatteren, så det endelige resultat, selvom det ser mærkbart bedre ud end de originale materialer i lav opløsning, men dette billede er stadig langt fra det ideelle, du kunne have drømt, siden de første Blu-ray-afspillere ramte markedet. Lejlighedsvis vises små "artefakter" på skærmen. Men igen generelt ser alt mere end værdig ud. Men generelt se selv.
Til dette projekt brugte Rumen også AI Gigapixel-algoritmen, som blev trænet til at redigere billeder baseret på virkelige fotografier. Forfatteren bemærker, at det nye billede blev opnået i 1080p og 4k, men da Rumen ikke har et tv eller skærm med indbygget 4K-opløsning, kan han ikke vurdere 4K-versionen tilstrækkeligt.
Desværre kan du ikke se hele serien i Full HD-kvalitet. Processen med at behandle alt kildemateriale ville tage meget lang tid, så Rumen brugte kun separate rammer fra forskellige serier til demonstration. Ifølge ham tog han dette projekt op af kun en grund - for at vise, at det virkelig er muligt. Efter hans mening vil et helt team af fagfolk, der arbejder i et stort tv-selskab og råder over mere passende og kraftfuldt computerudstyr til sådant arbejde, være i stand til at klare denne opgave meget bedre.
Brug af neurale netværk til at forenkle arbejdet med at behandle gamle billeder fra videospil og film er ikke de eneste områder, hvor sådanne teknologier er i stand til at vise deres talenter. I den moderne verden, hvor panoramakameraer, der er i stand til at producere 360 grader såvel som virtual reality-headset, vinder popularitet, er udviklere begyndt at aktivt udforske potentialet ved panoramafotografering.
En af de seneste udviklinger i denne retning er et neuralt netværk, der er i stand til at lyde panoramiske statiske billeder. Det er skrevet af eksperter i maskinlæring fra Massachusetts Universiteter, Columbia Universiteter og George Mason University.
Den oprettede algoritme bestemmer typen af miljø og objekter på fotoet og vælger og arrangerer derefter lyde fra den anvendte database i overensstemmelse med den rumlige beregning af afstanden til deres kilder i dette billede. Takket være dette får det panoramiske billede en realistisk og rummelig lyd, som giver dig mulighed for at evaluere det præsenterede billede på en helt ny måde.
Ifølge udviklerne af dette neurale netværk kan teknologien finde interesse blandt udviklere af VR-indhold (film og spil). I dette tilfælde behøver sidstnævnte ikke manuelt at overlejre alle lyde på det panoramiske billede, det neurale netværk vil være i stand til at gøre det hele på egen hånd.
Nikolay Khizhnyak