Mis on suurendamise algoritm?
Edendamine on meetod algoritmides, mis muudavad nõrga õppija tugeva õppijaks. See on tehnika, mis lisab olemasolevate mudelite vigade parandamiseks uusi mudeleid.
Näide:
Mõistame seda mõistet järgmise näite abil. Võtame näiteks e-kirja. Kuidas saate oma e-posti teada, kas see on rämpspost või mitte? Selle saab ära tunda järgmistel tingimustel:
- Kui e-kiri sisaldab palju selliseid allikaid, tähendab see, et see on rämpspost.
- Kui e-kiri sisaldab ainult ühte failipilti, on see rämpspost.
- Kui e-kiri sisaldab teadet „Teil on loterii $ xxxxx”, tähendab see, et see on rämpspost.
- Kui e-kiri sisaldab mõnda tuntud allikat, pole see rämpspost.
- Kui see sisaldab ametlikku domeeni, näiteks haridusba.com jne, tähendab see, et see pole rämpspost.
Ülalnimetatud reeglid pole rämpsposti äratundmiseks nii võimsad või mitte, seetõttu nimetatakse neid reegleid nõrkadeks õppijateks.
Nõrga õppija muutmiseks tugevaks õppijaks ühendage nõrga õppija ennustamine järgmiste meetoditega.
- Kasutades keskmist või kaalutud keskmist.
- Mõelge, et ennustamisel on suurem hääl.
Mõelge ülalnimetatud 5 reeglile, rämpsposti eest on 3 ja rämpsposti mitte. Kuna rämpsposti arv on kõrge, peame seda rämpspostiks.
Kuidas algoritmide suurendamine töötab?
Algoritmide suurendamine ühendab iga nõrga õppija ühe tugeva ennustusreegli loomiseks. Nõrga reegli tuvastamiseks on olemas baasõppe algoritm (masinõpe). Kui base-algoritmi rakendatakse, loob see iteratsiooniprotsessi abil uued ennustusreeglid. Pärast mõningast iteratsiooni ühendab see kõik nõrgad reeglid, et luua üks ennustusreegel.
Õige jaotuse valimiseks toimige järgmiselt.
1. samm: baasõppe algoritm ühendab iga jaotuse ja rakendab iga jaotuse suhtes võrdset kaalu.
2. samm: kui esimese baasõppe algoritmi ajal ilmneb mõni ennustus, siis pöörame sellele ennustusveale suurt tähelepanu.
3. samm : korrake 2. sammu, kuni baasõppe algoritmi piirmäär on saavutatud või on kõrge täpsus.
4. samm: Lõpuks ühendab see kõik nõrgad õppijad, et luua üks tugev ennustustulemus.
Algoritmi suurendamise tüübid
Rõhutõstmise algoritmid kasutavad erinevaid mootoreid, näiteks otsustemplit, klassifitseerimise algoritmi maksimeerimise marginaali jne. Hüvitise algoritme on kolme tüüpi:
- AdaBoost (Adaptive Boosting) algoritm
- Gradiendi suurendamise algoritm
- XG Boosti algoritm
AdaBoost (Adaptive Boosting) algoritm
AdaBoosti mõistmiseks vaadake allolevat pilti:
1. lahter: lahtrisse 1 määrasime iga andmekogumi jaoks võrdsed kaalud ning pluss (+) ja miinus (-) märgi klassifitseerimiseks rakendame otsustuskannu D1, mis loob vertikaalse joone 1. kasti vasakpoolsesse serva. See rida on valesti ennustas kolm plussmärki (+) miinusena (-), seetõttu rakendame nendele plussmärgile suuremat kaalu ja rakendame veel ühe otsustuskännu.
2. lahter: 2. lahtris suureneb kolme valesti ennustatud plussmärgi (+) suurus teisega võrreldes suuremaks. Teine otsustuskanal D2 paremas servas ennustab selle valesti ennustatud plussmärgi (+) õigeks. Kuid kuna vale klassifitseerimise viga tekkis miinusmärgiga (-) ebavõrdse kaalu tõttu, omistame miinusmärgile (-) suurema kaalu ja rakendame veel ühe otsustuskännu.
Lahter 3: Lahtris 3 on vale klassifitseerimise vea tõttu kolm miinusmärki (-) suure kaaluga. siin kasutatakse väärklassifikatsiooni ennustamiseks ja parandamiseks otsustüve D3. Seekord luuakse pluss (+) ja miinus (-) tähise horisontaaljoon klassifitseerimiseks.
4. selgitus: 4. lahtris ühendatakse otsustuskanalid D1, D2 ja D3, et luua uus tugev ennustus.
Kohanemisvõimendustööd on sarnased, nagu eespool mainitud. See ühendab kaalu vanuse järgi nõrga õppijate rühma, et luua tugev õppija. Esimeses iteratsioonis annab see igale andmekogumile võrdse kaalu ja hakkab seda andmekogumit ennustama. Vale ennustamise korral annab see sellele vaatlusele suure kaalu. Adaptiivne võimendamine korrake seda protseduuri järgmises iteratsiooni faasis ja jätkake, kuni täpsus on saavutatud. Seejärel ühendab see tugeva ennustuse loomiseks.
Gradiendi suurendamise algoritm
Gradiendi suurendamise algoritm on masinõppimise tehnika kaotuse funktsiooni määratlemiseks ja vähendamiseks. Seda kasutatakse klassifitseerimise probleemide lahendamiseks ennustusmudelite abil. See hõlmab järgmisi samme:
1. Kaotusfunktsioon
Kaotusfunktsiooni kasutamine sõltub probleemi tüübist. Gradiendi suurendamise eeliseks on see, et iga kadumisfunktsiooni jaoks pole vaja uut suurendamise algoritmi.
2. Nõrk õppija
Gradiendi suurendamisel kasutatakse otsustuspuid nõrga õppijana. Regressioonipuu abil saadakse tõelised väärtused, mida saab omavahel kombineerida, et luua õigeid ennustusi. Sarnaselt AdaBoosti algoritmiga kasutatakse väikeseid ühe lõhega puid, st otsustuskännu. Suuremate puude jaoks kasutatakse i, e 4-8 astmeid.
3. Lisandimudel
Selles mudelis lisatakse puid ükshaaval. olemasolevad puud jäävad samaks. Puude lisamise ajal kasutatakse kadumisfunktsiooni minimeerimiseks gradiendi laskumist.
XG võimendus
XG Boost on Extreme Gradient Boosting lühike. XG Boost on ajakohastatud gradiendi suurendamise algoritmi täiustatud versioon, mis on välja töötatud suureks arvutuskiiruseks, mastaapsuse suurendamiseks ja paremaks jõudluseks.
XG Boostil on mitmeid funktsioone, mis on järgmised:
- Paralleelne töötlemine: XG Boost pakub puude ehitamiseks paralleelset töötlemist, mis kasutab treenimisel CPU südamikke.
- Ristvalideerimine: XG Boost võimaldab kasutajatel igal iteratsioonil käivitada suurendamise protsessi ristvalideerimise, mis teeb lihtsaks korduvate iteratsioonide täpse optimaalse arvu saamise ühe korraga.
- Vahemälu optimeerimine: see pakub algoritmide vahemälu optimeerimist suurema täitmiskiiruse saavutamiseks.
- Hajutatud arvuti : suurte mudelite koolitamiseks võimaldab XG Boost hajutatud arvuti kasutamist.
Soovitatavad artiklid
Selles artiklis nägime, mis on algoritmi suurendamine, erinevad algoritmi edendamise tüübid masinõppes ja nende tööpõhimõtted. Lisateavet leiate ka meie muudest soovitatud artiklitest -
- Mis on masinõpe? | Definitsioon
- Programmeerimiskeeled algoritmide õppimiseks
- Mis on Blockchaini tehnoloogia?
- Mis on algoritm?