EITC/AI/DLPTFK Deep Learning med Python, TensorFlow og Keras

Kunstige neurale netværk (ANN'er) blev inspireret af informationsbehandling og distribuerede kommunikationsknudepunkter i biologiske systemer. Adjektivet "dyb" i dyb læring henviser til brugen af ​​flere lag i netværket. Tidligt arbejde viste, at en lineær perceptron ikke kan være en universel klassifikator, og at et netværk med en ikke-polynomisk aktiveringsfunktion med et skjult lag af ubegrænset bredde på den anden side kan være det. Dyb læring er en moderne variation, der vedrører et ubegrænset antal lag af afgrænset størrelse, som muliggør praktisk anvendelse og optimeret implementering, samtidig med at den teoretiske universalitet bevares under milde forhold. I dyb læring får lagene også lov til at være heterogene og afvige meget fra biologisk informerede forbindelsesmodeller af hensyn til effektivitet, træneevne og forståelighed, hvorfra den "strukturerede" del.

Python er dynamisk skrevet (udfører ved kørsel mange almindelige programmeringsadfærd, som statiske programmeringssprog udfører under kompilering) og indsamles skrald (med automatisk hukommelsesstyring). Det understøtter flere programmeringsparadigmer, herunder struktureret (især procedurel), objektorienteret og funktionel programmering. Det blev oprettet i slutningen af ​​1980'erne og blev først udgivet i 1991 af Guido van Rossum som en efterfølger til ABC-programmeringssprog. Python 2.0, der blev udgivet i 2000, introducerede nye funktioner, såsom listeforståelse og et skraldopsamlingssystem med referencetælling, og blev afbrudt med version 2.7 i 2020. Python 3.0, udgivet i 2008, var en større revision af det sprog, der er ikke helt bagudkompatibel, og meget Python 2-kode kører ikke uændret på Python 3. Med Python 2s udtjente levetid (og pip er faldet i 2021), understøttes kun Python 3.6.x og senere, med ældre versioner stadig understøtter f.eks. Windows 7 (og gamle installatører, der ikke er begrænset til 64-bit Windows).

Python-tolke understøttes til almindelige operativsystemer og fås til nogle få flere (og tidligere understøttet mange flere). Et globalt samfund af programmører udvikler og vedligeholder CPython, en gratis implementering af open source-reference. En nonprofitorganisation, Python Software Foundation, administrerer og dirigerer ressourcer til Python og CPython-udvikling.

Fra januar 2021 rangerer Python på tredjepladsen i TIOBE's indeks over mest populære programmeringssprog, bag C og Java, efter at have tidligere opnået andenpladsen og deres pris for den mest populære vinding i 2020. Det blev valgt Årets programmeringssprog i 2007, 2010 og 2018.

En empirisk undersøgelse viste, at script-sprog, såsom Python, er mere produktive end konventionelle sprog, såsom C og Java, til programmeringsproblemer, der involverer strengmanipulation og søgning i en ordbog, og fastslog, at hukommelsesforbruget ofte var "bedre end Java og ikke meget værre end C eller C ++ ”. Store organisationer, der bruger Python, inkluderer bl.a. Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram.

Ud over dets kunstige intelligensapplikationer bruges Python ofte som et script-sprog med modulær arkitektur, enkel syntaks og rich text-behandlingsværktøjer til naturlig sprogbehandling.

TensorFlow blev udviklet af Google Brain-teamet til intern Google-brug. Den blev frigivet under Apache License 2.0 i 2015.

Fra 2011 byggede Google Brain DistBelief som et proprietært maskinlæringssystem baseret på neurale netværk med dyb læring. Dets anvendelse voksede hurtigt på tværs af forskellige Alfabet-virksomheder inden for både forskning og kommercielle applikationer. Google tildelte flere computerforskere, herunder Jeff Dean, til at forenkle og omforme kodebasen for DistBelief til et hurtigere og mere robust applikationsniveau-bibliotek, der blev TensorFlow. I 2009 havde holdet, ledet af Geoffrey Hinton, implementeret generaliseret backpropagation og andre forbedringer, som tillod generering af neurale netværk med væsentligt højere nøjagtighed, for eksempel en 25% reduktion i fejl i talegenkendelse.

TensorFlow er Google Brains andengenerationssystem. Version 1.0.0 blev udgivet den 11. februar 2017. Mens referenceimplementeringen kører på enkelte enheder, kan TensorFlow køre på flere CPU'er og GPU'er (med valgfri CUDA- og SYCL-udvidelser til generel beregning på grafikbehandlingsenheder). TensorFlow er tilgængelig på 64-bit Linux, macOS, Windows og mobile computerplatforme inklusive Android og iOS. Dens fleksible arkitektur giver mulighed for nem implementering af beregning på tværs af forskellige platforme (CPU'er, GPU'er, TPU'er) og fra desktops til klynger af servere til mobile enheder og edge-enheder. TensorFlow-beregninger udtrykkes som stateful dataflowgrafer. Navnet TensorFlow stammer fra de operationer, som sådanne neurale netværk udfører på multidimensionelle dataarrays, der kaldes tensorer. Under Google I/O-konferencen i juni 2016 sagde Jeff Dean, at 1,500 arkiver på GitHub nævnte TensorFlow, hvoraf kun 5 var fra Google. I december 2017 introducerede udviklere fra Google, Cisco, RedHat, CoreOS og CaiCloud Kubeflow på en konference. Kubeflow tillader drift og implementering af TensorFlow på Kubernetes. I marts 2018 annoncerede Google TensorFlow.js version 1.0 til maskinlæring i JavaScript. I januar 2019 annoncerede Google TensorFlow 2.0. Den blev officielt tilgængelig i september 2019. I maj 2019 annoncerede Google TensorFlow Graphics til dyb læring i computergrafik.

Indtil version 2.3 understøttede Keras flere backends, herunder TensorFlow, Microsoft Cognitive Toolkit, Theano og PlaidML. Fra og med version 2.4 understøttes kun TensorFlow. Den er designet til at muliggøre hurtig eksperimentering med dybe neurale netværk og fokuserer på at være brugervenlig, modulær og udvidelig. Det blev udviklet som en del af forskningsindsatsen i projektet ONEIROS (Open-ended Neuro-Electronic Intelligent Robot Operating System), og dets primære forfatter og vedligeholder er François Chollet, en Google-ingeniør. Chollet er også forfatter til XCeption Deep Neural Network Model.

Keras indeholder adskillige implementeringer af almindeligt anvendte neurale netværksbyggesten som lag, mål, aktiveringsfunktioner, optimeringsmidler og en lang række værktøjer, der gør det lettere at arbejde med billed- og tekstdata for at forenkle kodningen, der er nødvendig for at skrive dyb neuralt netværkskode. Koden er hostet på GitHub, og community-supportfora inkluderer siden GitHub-udgaver og en Slack-kanal.

Ud over standard neurale netværk har Keras understøttelse af sammenfaldende og tilbagevendende neurale netværk. Det understøtter andre almindelige hjælpelag som dropout, batch normalisering og pooling. Keras giver brugerne mulighed for at producere dybe modeller på smartphones (iOS og Android), på nettet eller på Java Virtual Machine. Det tillader også brug af distribueret træning af deep-learning-modeller på klynger af grafikbehandlingsenheder (GPU) og tensorbehandlingsenheder (TPU). Keras er blevet vedtaget til brug i videnskabelig forskning på grund af Python (programmeringssprog) og dets egen brugervenlighed og installation. Keras var det 10. mest citerede værktøj i KDnuggets 2018-softwareafstemning og registrerede 22% brug.