Ülevaade hüperparameetri masinõppest

Mis tahes mudeli jaoks vajame mõningaid parameetreid, mis aitab luua alust probleemide lahendamiseks / analüüsi tegemiseks ja mudeli hindamiseks. Mõnda neist parameetritest tuleb õppida andmetest ja osa peame oma otsast selgesõnaliselt määratlema. Parameetriteks, mida saab andmetest õppida ilma selgesõnaliselt määratlemata, nimetatakse mudeli parameetreid. Parameetrit, mille kasutaja on selgelt määratlenud, nimetatakse hüperparameetriteks. Hüperparameetrid on ka ainult mudeli parameetrid, kuid terminit hüperparameetrid kasutatakse masinõppes nii, et neid oleks lihtne eristada ja mitte segi ajada andmestikust õpitud mudeli parameetritega.

Mis on hüperparameetri masinõpe?

Enamiku masinõppe raamistike jaoks pole hüperparameetritel täpset määratlust. Need hüperparameetrid juhivad mudeli põhisüsteemi, mis juhib mudeli esmaseid (modaalseid) parameetreid. Proovime hüperparameetritest aru saada järgmise näite abil.

  • Viiuli häälestamine on õppimisetapis väga oluline, sest sel ajal loob inimene seoseid erinevate meelte vahel. Kõrvad, sõrmed ja silmad õpivad kõik korraga viiulit. Nüüd alguses viiuli kõlaga harjumine tekitab heli halva maitse, mis rikub nende kogu viiuliõppimisse armumise kogemuse.
  • Sellepärast võib viiuli häälestamine viiuli õppimises tõesti abiks olla. Samamoodi on hüperparameeter omamoodi häälestamine masinõppe mudelile, et anda õige suund.
  • Hüperparameetrid määratletakse tavaliselt enne masinõppe algoritmi rakendamist andmestikule.
  • Järgmine ülesanne on see, mis peaks olema hüperparameeter ja mis peaks olema selle väärtus. Sest enne häälestamist peab teadma, milliseid keelpille on vaja häälestada ja kuidas viiulit häälestada. Sama kehtib ka hüperparameetrite kohta, me peame määratlema, millised hüperparameetrid ja mis peaks olema selle väärtus, põhimõtteliselt sõltub see igast ülesandest ja igast andmekogumist.
  • Selle mõistmiseks võtame mudeli optimeerimise vaatenurga.
  • Masinõppe mudeli rakendamisel mängib olulist rolli mudeli optimeerimine. Masinõppe harusid on palju, mis on pühendatud ainult masinõppe mudeli optimeerimisele. Üldiselt arvatakse, et mudeli optimeerimiseks peame koodi muutma nii, et viga saaks minimeerida.
  • Siiski on varjatud elemente, mis mõjutavad mudeli välisest masinõppe optimeerimisest ja millel on suur mõju mudeli käitumisele. Neid peidetud elemente nimetatakse hüperparameetriteks. Need on kriitilised komponendid mis tahes masinõppe mudeli optimeerimiseks.
  • Hüperparameetrid on peenhäälestajad / -seaded, mis juhivad mudeli käitumist. Need hüperparameetrid on määratletud väljaspool mudelit, kuid neil on otsene seos mudeli jõudlusega. Hüperparameetreid võib pidada mudeliga risti asetsevateks.
  • Hüperparameetri määratlemise kriteeriumid on väga paindlikud ja abstraktsed. Kindlasti on mõned hüperparameetrid, näiteks peidetud kihtide arv, mudeli õppimiskiirus, mis on hästi paika pandud, ja ka mõned sätted, mida saab käsitleda konkreetse mudeli hüperparameetrina, näiteks mudeli võimsuse juhtimine.
  • Kui algoritmid õpivad otse sätete kaudu, on algoritmil võimalus mudel üle sobitada. Kuna on selge, et hüperparameetreid ei õpita / häälestata treeningkomplekti kaudu, kasutatakse hüperparameetrite valimiseks testi või valideerimise komplekti. Laias plaanis seadsime erinevad hüperparameetri väärtused, seda, mis töötab testi või valideerimise komplektiga kõige paremini, peetakse meie parimaks hüperparameetriks.

Hüperparameetri kategooriad

Erinevat tüüpi andmekogumite jaoks ja vastavalt mudelile võivad meil olla erinevad hüperparameetrid, et mudeli toimivust tõsta. Üldiselt võib hüperparameetrid jagada kahte kategooriasse.

  • Hüperparameeter optimeerimiseks
  • Konkreetsete mudelite hüperparameetrid

Arutame neid kõiki.

1. Optimeerimise hüperparameetrid

Nagu nimigi ütleb, kasutatakse neid hüperparameetreid mudeli optimeerimiseks.

  • Õppimisaste

See hüperparameeter määrab, kui palju värskelt omandatud andmed alistavad vanad saadaolevad andmed. Kui selle hüperparameetri väärtus on kõrge, siis kõrgem õpikiirus ei optimeeri mudelit korralikult, kuna on tõenäoline, et see hüppab üle miinimumi. Teisest küljest, kui õppimise määra võetakse väga vähem, on lähenemine väga aeglane.

Õppimiskiirusel on oluline roll mudeli jõudluse optimeerimisel, kuna mõnel juhul on mudelitel sadu parameetreid (mudeli parameetreid) koos veakõveraga, otsustab õppimiskiirus kõigi parameetrite ristkontrolli sageduse. Samuti on raske leida vigade kõverate kohalikke miinimume, kuna neil on tavaliselt ebaregulaarsed kõverad.

  • Partii suurus

Õppeprotsessi kiirendamiseks jagatakse treeningkomplekt erinevateks osadeks. Mudeli treenimise stohhastilise protseduuri korral koolitatakse, hinnatakse ja propageeritakse väike partii kõigi teie hüperparameetrite väärtuste korrigeerimiseks, seda korratakse kogu treeningukomplekti korral.

Kui partii suurus on suurem, suurendab see õppimisaega ja maatriksi korrutamiseks on vaja rohkem mälu. Kui partii suurus on väiksem, on vea arvutamisel rohkem müra.

  • Ajastute arv

Epoch esindab masinõppes õpitavate andmete täielikku tsüklit. Epohhidel on iteratiivses õppeprotsessis väga oluline roll.

Õige arvu ajastute määramisel võetakse arvesse valideerimisviga. Ajavahemike arvu saab suurendada, kui valideerimisviga on vähenenud. Kui valideerimisviga järjestikuste perioodide jooksul ei parane, on see signaal suureneva arvu ajastute peatamiseks. Seda tuntakse ka kui varajast peatumist.

2. Konkreetsete mudelite hüperparameetrid

Mõned hüperparameetrid on seotud mudeli enda struktuuriga. Mõned neist on järgmised.

  • Varjatud ühikute arv

Süvaõppemudelites on oluline määratleda mitmeid närvivõrkude varjatud üksusi. Seda hüperparameetrit kasutatakse mudeli õppimisvõime määratlemiseks. keerukate funktsioonide jaoks peame määratlema hulga peidetud üksusi, kuid pidage meeles, et see ei tohiks mudelile liiga teha.

  • Kihtide arv

On ilmne, et 3 kihiga neurovõrk annab parema jõudluse kui 2 kihti. Üle 3 suurendamine ei aita närvivõrkudes nii palju. CNN-i puhul muudab järjest suurenev kihtide arv mudeli paremaks.

Järeldus

Hüperparameetrid määratletakse selgesõnaliselt enne masinõppe algoritmi rakendamist andmestikule. Hüperparameetrite abil määratletakse mudeli ja õppimisvõime kõrgem keerukus. Hüperparameetrid võivad olla ka mudeli sätted. Mõned hüperparameetrid on määratletud mudelite optimeerimiseks (partii suurus, õppimiskiirus jne) ja mõned on spetsiifilised mudelitele (peidetud kihtide arv jne).

Soovitatavad artiklid

See on hüperparameetri masinõppe juhend. Siin arutame ülevaadet ja mis on hüperparameetri masinõpe koos selle kategooriatega. Lisateabe saamiseks võite vaadata ka järgmisi artikleid -

  1. Sissejuhatus masinõppesse
  2. Juhendamata masinõpe
  3. Masinõppe algoritmide tüübid
  4. Masinõppe rakendused
  5. Neuraalsete võrkude rakendamine
  6. Kuus parimat võrdlust CNN-i ja RNN-i vahel

Kategooria:

Suured andmed