Forklar betydningen af begrænsningen (y_i (mathbf{x}_i cdot mathbf{w} + b) geq 1) i SVM-optimering.
Begrænsningen 
er en grundlæggende komponent i optimeringsprocessen af Support Vector Machines (SVM'er), en populær og kraftfuld metode inden for maskinlæring til klassificeringsopgaver. Denne begrænsning spiller en vigtig rolle i at sikre, at SVM-modellen korrekt klassificerer træningsdatapunkter, mens marginen mellem forskellige klasser maksimeres. For fuldt ud at forstå betydningen af denne begrænsning er det vigtigt at overveje mekanikken i SVM'er, den geometriske fortolkning af begrænsningen og dens implikationer for optimeringsproblemet.
Support Vector Machines sigter mod at finde det optimale hyperplan, der adskiller datapunkter fra forskellige klasser med den maksimale margin. Hyperplanet i et n-dimensionelt rum er defineret af ligningen 
Hvor 
er vægtvektoren normal på hyperplanet, 
er input-funktionsvektoren, og 
er bias-begrebet. Målet er at klassificere datapunkter sådan, at punkter fra en klasse ligger på den ene side af hyperplanet, og punkter fra den anden klasse ligger på den modsatte side.
Begrænsningen sikrer, at hvert datapunkt 
er korrekt klassificeret og ligger på den rigtige side af marginen. Her, 
repræsenterer klasseetiketten for det i-te datapunkt, med 
for en klasse og 
for den anden klasse. Begrebet 
er beslutningsfunktionen, der bestemmer positionen af datapunktet i forhold til hyperplanet.
For at forstå den geometriske fortolkning skal du overveje følgende:
1. Positiv og negativ klasseadskillelse: For et datapunkt 
tilhører den positive klasse (), begrænsningen forenkler til 
. Det betyder, at datapunktet skal ligge på eller uden for margingrænsen defineret af 
. Tilsvarende for et datapunkt tilhører den negative klasse (), begrænsningen forenkles til 
, hvilket sikrer, at datapunktet ligger på eller uden for margengrænsen defineret af 
.
2. Marginalisering af margin: Marginen er afstanden mellem hyperplanet og de nærmeste datapunkter fra hver klasse. Begrænsningerne sikrer, at marginen maksimeres ved at skubbe datapunkterne så langt væk fra hyperplanet som muligt, samtidig med at den korrekte klassificering opretholdes. Afstanden fra et punkt til hyperplanet er givet af 
. Ved at håndhæve begrænsningerne , maksimerer SVM-algoritmen effektivt denne afstand, hvilket fører til en større margin og bedre generaliseringsydelse.
3. Støtte vektorer: De datapunkter, der ligger nøjagtigt på margingrænserne og kaldes støttevektorer. Disse punkter er afgørende for at definere det optimale hyperplan, da de er de nærmeste punkter til hyperplanet og direkte påvirker dets position og orientering. Begrænsningerne sikrer, at disse støttevektorer er korrekt klassificeret og ligger på margingrænserne og spiller derved en central rolle i optimeringsproblemet.
Optimeringsproblemet for SVM'er kan formuleres som et konveks optimeringsproblem, hvor målet er at minimere normen for vægtvektoren (hvilket svarer til at maksimere marginen) underlagt begrænsningerne for alle træningsdatapunkter. Matematisk kan dette udtrykkes som:
![\[ \begin{aligned} &\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \\ &\text{med forbehold for} \quad y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1, \quad \forall i. \end{aligned} \]](https://eitca.org/wp-content/ql-cache/quicklatex.com-1067ccd19508460e03786146924de13a_l3.png "Gengivet af QuickLaTeX.com")
Faktoren af 
er inkluderet for matematisk bekvemmelighed, når du tager derivatet under optimering. Denne formulering er kendt som den primære form for SVM-optimeringsproblemet.
For at løse dette optimeringsproblem anvender man typisk teknikker fra konveks optimering, såsom Lagrange multiplikatorer. Ved at introducere Lagrange-multiplikatorer 
for hver begrænsning kan optimeringsproblemet transformeres til dets dobbelte form, hvilket ofte er lettere at løse, især når det drejer sig om højdimensionelle data. Den dobbelte form af SVM-optimeringsproblemet er givet af:
![\[ \begin{aligned} &\max_{\alpha} \sum_{i=1}^{N} \alpha_i - \frac{1}{2} \sum_{i=1}^{N} \sum_{ j=1}^{N} \alpha_i \alpha_j y_i y_j (\mathbf{x}_i \cdot \mathbf{x}_j) \\ &\text{med forbehold for} \quad \sum_{i=1}^{ N} \alpha_i y_i = 0, \\ &\quad \quad \quad \quad \quad \quad 0 \leq \alpha_i \leq C, \quad \forall i, \end{aligned} \]](https://eitca.org/wp-content/ql-cache/quicklatex.com-6fe0485f3f7262d7a1fbf05e69e2fad5_l3.png "Gengivet af QuickLaTeX.com")
hvor 
er antallet af træningsdatapunkter, og 
er en regulariseringsparameter, der styrer afvejningen mellem at maksimere marginen og minimere klassifikationsfejlen på træningsdataene.
Den dobbelte formulering udnytter kernetricket, hvilket gør det muligt for SVM'er at håndtere ikke-lineært adskillelige data ved at kortlægge inputdataene til et højere dimensionelt funktionsrum, hvor en lineær adskillelse er mulig. Dette opnås gennem kernefunktioner, såsom polynomisk kerne, radial basisfunktion (RBF) kerne og sigmoid kerne, som implicit beregner prikproduktet i det højere dimensionelle rum uden eksplicit at udføre transformationen.
Ved at løse det dobbelte optimeringsproblem opnår man de optimale Lagrange-multiplikatorer 
, som kan bruges til at bestemme den optimale vægtvektor og bias term . Støttevektorerne svarer til datapunkterne med ikke-nul Lagrange multiplikatorer og beslutningsfunktionen til klassificering af nye datapunkter er givet af:
![\[ f(\mathbf{x}) = \tekst{tegn} \left( \sum_{i=1}^{N} \alpha_i y_i (\mathbf{x}_i \cdot \mathbf{x}) + b \højre). \]](https://eitca.org/wp-content/ql-cache/quicklatex.com-ba7384fa1990cec77a7d7e7738037f0e_l3.png "Gengivet af QuickLaTeX.com")
Begrænsningen er således integreret i SVM-optimeringsprocessen, hvilket sikrer, at modellen opnår en balance mellem korrekt klassificering af træningsdata og maksimering af marginen, hvilket fører til bedre generalisering på usete data.
For at illustrere betydningen af denne begrænsning med et eksempel, overvej et simpelt binært klassifikationsproblem med todimensionelle datapunkter. Antag, at vi har følgende træningsdata:
![\[ \begin{aligned} &\mathbf{x}_1 = (2, 3), \quad y_1 = +1, \\ &\mathbf{x}_2 = (1, 1), \quad y_2 = +1 , \\ &\mathbf{x}_3 = (-1, -1), \quad y_3 = -1, \\ &\mathbf{x}_4 = (-2, -3), \quad y_4 = -1 . \end{aligned} \]](https://eitca.org/wp-content/ql-cache/quicklatex.com-f37e27a0219cf8d2bc79e3445d0e2fe7_l3.png "Gengivet af QuickLaTeX.com")
Målet er at finde det optimale hyperplan, der adskiller den positive klasse (
) fra den negative klasse (
). Begrænsningerne for dette problem kan skrives som:
![\[ \begin{aligned} &y_1 (\mathbf{x}_1 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (2, 3) \cdot \mathbf{w} + b \geq 1, \\ &y_2 (\mathbf{x}_2 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (1, 1) \cdot \mathbf{w} + b \geq 1, \ \ &y_3 (\mathbf{x}_3 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (-1, -1) \cdot \mathbf{w} + b \leq -1, \ \ &y_4 (\mathbf{x}_4 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (-2, -3) \cdot \mathbf{w} + b \leq -1. \end{aligned} \]](https://eitca.org/wp-content/ql-cache/quicklatex.com-ba8911e6cd1d8ba25eeadf3104b737fd_l3.png "Gengivet af QuickLaTeX.com")
Ved at løse SVM-optimeringsproblemet med disse begrænsninger opnår vi den optimale vægtvektor og bias term der definerer hyperplanet, der adskiller de to klasser med den maksimale margin.
Begrænsningen er vigtig for SVM-optimeringsprocessen, da den sikrer korrekt klassificering af træningsdatapunkter samtidig med, at marginen mellem forskellige klasser maksimeres. Dette fører til bedre generaliseringsydelse og robusthed af SVM-modellen.
Andre seneste spørgsmål og svar vedr EITC/AI/MLP maskinindlæring med Python:
- Hvordan beregnes b-parameteren i lineær regression (y-skæringspunktet for den bedst tilpassede linje)?
- Hvilken rolle spiller støttevektorer i at definere beslutningsgrænsen for en SVM, og hvordan identificeres de under træningsprocessen?
- I forbindelse med SVM-optimering, hvad er betydningen af vægtvektoren `w` og bias `b`, og hvordan bestemmes de?
- Hvad er formålet med `visualisere`-metoden i en SVM-implementering, og hvordan hjælper den med at forstå modellens ydeevne?
- Hvordan bestemmer `predict`-metoden i en SVM-implementering klassificeringen af et nyt datapunkt?
- Hvad er det primære mål for en Support Vector Machine (SVM) i forbindelse med maskinlæring?
- Hvordan kan biblioteker som scikit-learn bruges til at implementere SVM-klassificering i Python, og hvad er nøglefunktionerne involveret?
- Hvad er formålet med SVM-optimeringsproblemet, og hvordan er det matematisk formuleret?
- Hvordan afhænger klassificeringen af et funktionssæt i SVM af beslutningsfunktionens fortegn (tekst{tegn}(mathbf{x}_i cdot mathbf{w} + b))?
- Hvad er rollen for hyperplanligningen (mathbf{x} cdot mathbf{w} + b = 0) i forbindelse med Support Vector Machines (SVM)?
Se flere spørgsmål og svar i EITC/AI/MLP Machine Learning med Python