EITC/AI/DLPP Deep Learning med Python og PyTorch

Kunstige neurale netværk (ANN'er) blev inspireret af informationsbehandling og distribuerede kommunikationsknudepunkter i biologiske systemer. Adjektivet "dyb" i dyb læring henviser til brugen af ​​flere lag i netværket. Tidligt arbejde viste, at en lineær perceptron ikke kan være en universel klassifikator, og at et netværk med en ikke-polynomisk aktiveringsfunktion med et skjult lag af ubegrænset bredde på den anden side kan være det. Dyb læring er en moderne variation, der vedrører et ubegrænset antal lag af afgrænset størrelse, som muliggør praktisk anvendelse og optimeret implementering, samtidig med at den teoretiske universalitet bevares under milde forhold. I dyb læring får lagene også lov til at være heterogene og afvige meget fra biologisk informerede forbindelsesmodeller af hensyn til effektivitet, træneevne og forståelighed, hvorfra den "strukturerede" del.

Python er dynamisk skrevet (udfører ved kørsel mange almindelige programmeringsadfærd, som statiske programmeringssprog udfører under kompilering) og indsamles skrald (med automatisk hukommelsesstyring). Det understøtter flere programmeringsparadigmer, herunder struktureret (især procedurel), objektorienteret og funktionel programmering. Det blev oprettet i slutningen af ​​1980'erne og blev først udgivet i 1991 af Guido van Rossum som en efterfølger til ABC-programmeringssprog. Python 2.0, der blev udgivet i 2000, introducerede nye funktioner, såsom listeforståelse og et skraldopsamlingssystem med referencetælling, og blev afbrudt med version 2.7 i 2020. Python 3.0, udgivet i 2008, var en større revision af det sprog, der er ikke helt bagudkompatibel, og meget Python 2-kode kører ikke uændret på Python 3. Med Python 2s udtjente levetid (og pip er faldet i 2021), understøttes kun Python 3.6.x og senere, med ældre versioner stadig understøtter f.eks. Windows 7 (og gamle installatører, der ikke er begrænset til 64-bit Windows).

Python-tolke understøttes til almindelige operativsystemer og fås til nogle få flere (og tidligere understøttet mange flere). Et globalt samfund af programmører udvikler og vedligeholder CPython, en gratis implementering af open source-reference. En nonprofitorganisation, Python Software Foundation, administrerer og dirigerer ressourcer til Python og CPython-udvikling.

Fra januar 2021 rangerer Python på tredjepladsen i TIOBE's indeks over mest populære programmeringssprog, bag C og Java, efter at have tidligere opnået andenpladsen og deres pris for den mest populære vinding i 2020. Det blev valgt Årets programmeringssprog i 2007, 2010 og 2018.

En empirisk undersøgelse viste, at script-sprog, såsom Python, er mere produktive end konventionelle sprog, såsom C og Java, til programmeringsproblemer, der involverer strengmanipulation og søgning i en ordbog, og fastslog, at hukommelsesforbruget ofte var "bedre end Java og ikke meget værre end C eller C ++ ”. Store organisationer, der bruger Python, inkluderer bl.a. Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram.

Ud over dets kunstige intelligensapplikationer bruges Python ofte som et script-sprog med modulær arkitektur, enkel syntaks og rich text-behandlingsværktøjer til naturlig sprogbehandling.

PyTorch har to funktioner på højt niveau:

• Tensor computing (som NumPy) med stærk acceleration via grafikbehandlingsenheder (GPU)
• Dybe neurale netværk bygget på et båndbaseret automatisk (beregnings-) differentieringssystem

Facebook driver både PyTorch og Convolutional Architecture for Fast Feature Embedding (Caffe2), men modeller defineret af de to rammer var gensidigt uforenelige. Open Neural Network Exchange (ONNX) -projektet blev oprettet af Facebook og Microsoft i september 2017 til konvertering af modeller mellem rammer. Caffe2 blev fusioneret til PyTorch i slutningen af ​​marts 2018.

PyTorch definerer en klasse kaldet Tensor (torch.Tensor) til at gemme og operere på homogene flerdimensionelle rektangulære talrække. PyTorch Tensors ligner NumPy Arrays, men kan også betjenes på en CUDA-kompatibel Nvidia GPU. PyTorch understøtter forskellige undertyper af tensorer.

Der er få vigtige moduler til Pytorch. Disse inkluderer:

• Autograd-modul: PyTorch bruger en metode kaldet automatisk differentiering. En optager registrerer, hvilke operationer der er udført, og derefter afspilles den baglæns for at beregne gradienterne. Denne metode er især effektiv, når man bygger neurale netværk for at spare tid på en periode ved at beregne differentiering af parametrene ved fremadgående pass.
• Optim-modul: torch.optim er et modul, der implementerer forskellige optimeringsalgoritmer, der bruges til opbygning af neurale netværk. De fleste af de almindeligt anvendte metoder understøttes allerede, så der er ingen grund til at bygge dem fra bunden.
• nn-modul: PyTorch autograd gør det let at definere beregningsgrafer og tage gradienter, men rå autograd kan være lidt for lavt til at definere komplekse neurale netværk. Det er her, nn-modulet kan hjælpe.