EITC/AI/ARL Advanced Reinforced Learning

Forstærkningslæring adskiller sig fra overvåget læring ved ikke at have behov for mærket input/output-par præsenteres og ikke behov for suboptimale handlinger, der skal rettes eksplicit. I stedet er fokus på at finde en balance mellem udforskning (af ukendt territorium) og udnyttelse (af nuværende viden).

Miljøet er typisk angivet i form af en Markov-beslutningsproces (MDP), fordi mange forstærkningsindlæringsalgoritmer i denne sammenhæng bruger dynamiske programmeringsteknikker. Hovedforskellen mellem de klassiske dynamiske programmeringsmetoder og forstærkningsindlæringsalgoritmer er, at sidstnævnte ikke antager kendskab til en nøjagtig matematisk model af MDP, og de målretter mod store MDP'er, hvor nøjagtige metoder bliver umulige.

På grund af dets almindelighed studeres forstærkningslæring i mange discipliner, såsom spilteori, kontrolteori, operationsforskning, informationsteori, simuleringsbaseret optimering, multi-agent-systemer, sværmintelligens og statistik. I operationsforskning og kontrollitteratur kaldes forstærkningslæring omtrentlig dynamisk programmering eller neurodynamisk programmering. Problemerne med interesse for forstærkningslæring er også blevet undersøgt i teorien om optimal kontrol, som hovedsagelig vedrører eksistensen og karakteriseringen af ​​optimale løsninger og algoritmer til deres nøjagtige beregning og mindre med læring eller tilnærmelse, især i fravær af en matematisk model for miljøet. I økonomi og spilteori kan forstærkningslæring bruges til at forklare, hvordan ligevægt kan opstå under begrænset rationalitet.

Grundlæggende forstærkning modelleres som en Markov-beslutningsproces (MDP). I matematik er en Markov-beslutningsproces (MDP) en diskret stokastisk kontrolproces. Det giver en matematisk ramme til modellering af beslutningstagning i situationer, hvor resultaterne dels er tilfældige og dels under kontrol af en beslutningstager. MDP'er er nyttige til at studere optimeringsproblemer løst via dynamisk programmering. MDP'er var kendt mindst så tidligt som i 1950'erne. En grundlæggende undersøgelse af Markovs beslutningsprocesser var resultatet af Ronald Howards 1960-bog, Dynamic Programming og Markov Processes. De bruges i mange discipliner, herunder robotik, automatisk kontrol, økonomi og fremstilling. Navnet på MDP'er kommer fra den russiske matematiker Andrey Markov, da de er en udvidelse af Markov-kæder.

Ved hvert tidstrin er processen i en eller anden tilstand S, og beslutningstageren kan vælge enhver handling a, der er tilgængelig i tilstand S. Processen reagerer ved næste trin ved tilfældigt at flytte ind i en ny tilstand S 'og give beslutningstager en tilsvarende belønning Ra (S, S ').

Sandsynligheden for, at processen bevæger sig i sin nye tilstand S ', påvirkes af den valgte handling a. Specifikt er det givet af tilstandsovergangsfunktionen Pa (S, S '). Således afhænger den næste tilstand S 'af den aktuelle tilstand S og beslutningstagerens handling a. Men givet S og a er det betinget uafhængigt af alle tidligere stater og handlinger. Med andre ord tilfredsstiller statsovergange af en MDP Markov-ejendommen.

Markovs beslutningsprocesser er en udvidelse af Markov-kæder; forskellen er tilføjelsen af ​​handlinger (tillader valg) og belønninger (giver motivation). Omvendt, hvis der kun findes en handling for hver stat (f.eks. "Vent") og alle belønninger er de samme (f.eks. "Nul"), reduceres en Markov-beslutningsproces til en Markov-kæde.

En forstærkende læringsagent interagerer med sit miljø i diskrete tidstrin. Ved hver gang t modtager agenten den aktuelle tilstand S (t) og belønning r (t). Derefter vælger en handling a (t) fra det sæt tilgængelige handlinger, som derefter sendes til miljøet. Miljøet bevæger sig til en ny tilstand S (t + 1), og belønningen r (t + 1) tilknyttet overgangen bestemmes. Målet med en forstærkende læringsagent er at lære en politik, der maksimerer den forventede kumulative belønning.

Formuleringen af ​​problemet som en MDP forudsætter, at agenten direkte overholder den aktuelle miljøtilstand. I dette tilfælde siges det, at problemet har fuld observerbarhed. Hvis agenten kun har adgang til en delmængde af tilstande, eller hvis de observerede tilstande er ødelagt af støj, siges det, at agenten har delvis observerbarhed, og formelt skal problemet formuleres som en delvist observerbar Markov-beslutningsproces. I begge tilfælde kan det handlingssæt, der er tilgængeligt for agenten, begrænses. F.eks. Kan tilstanden for en kontosaldo være begrænset til at være positiv; hvis tilstandens aktuelle værdi er 3, og tilstandsovergangen forsøger at reducere værdien med 4, er overgangen ikke tilladt.

Når agentens ydeevne sammenlignes med en agent, der fungerer optimalt, giver forskellen i ydeevne begrebet beklagelse. For at kunne handle næsten optimalt skal agenten begrunde de langsigtede konsekvenser af sine handlinger (dvs. maksimere fremtidig indkomst), skønt den øjeblikkelige belønning, der er forbundet med dette, kan være negativ.

Således er forstærkningslæring særdeles velegnet til problemer, der inkluderer en langsigtet kontra kortvarig belønning. Det er blevet anvendt med succes til forskellige problemer, herunder robotstyring, elevatorplanlægning, telekommunikation, backgammon, brikker og Go (AlphaGo).

To elementer gør forstærkningslæring kraftig: brugen af ​​prøver til at optimere ydeevnen og brugen af ​​funktionstilnærmelse til at håndtere store miljøer. Takket være disse to nøglekomponenter kan forstærkningslæring bruges i store miljøer i følgende situationer:

• En miljømodel er kendt, men en analytisk løsning er ikke tilgængelig.
• Kun en simulationsmodel af miljøet er givet (emnet for simuleringsbaseret optimering).
• Den eneste måde at indsamle oplysninger om miljøet på er at interagere med det.

De to første af disse problemer kunne betragtes som planlægningsproblemer (da en eller anden form for model er tilgængelig), mens den sidste kunne betragtes som et ægte læringsproblem. Imidlertid konverterer forstærkningslæring begge planlægningsproblemer til maskinlæringsproblemer.

Efterforskning mod udnyttelse af kompromis er blevet undersøgt mest grundigt gennem det flerarmede banditproblem og for endelige statsrums-MDP'er i Burnetas og Katehakis (1997).

Forstærkningslæring kræver kloge efterforskningsmekanismer; tilfældig valg af handlinger uden henvisning til en estimeret sandsynlighedsfordeling viser dårlig ydeevne. Sagen om (små) endelige Markov-beslutningsprocesser forstås relativt godt. På grund af manglen på algoritmer, der skalerer godt med antallet af tilstande (eller skalerer til problemer med uendelige tilstandsrum), er enkle udforskningsmetoder imidlertid de mest praktiske.

Selvom spørgsmålet om efterforskning ignoreres, og selvom staten var observerbar, er problemet stadig at bruge tidligere erfaringer til at finde ud af, hvilke handlinger der fører til højere kumulative belønninger.