Sissejuhatus konvolutsioonilistesse närvivõrkudesse
Konvolutsioonilised närvivõrgud, tuntud ka kui CNN või ConvNet, kuuluvad kunstlike närvivõrkude kategooriasse, mida kasutatakse piltide töötlemiseks ja visualiseerimiseks. Tehisintellekt kasutab ülesande täitmiseks sügavat õppimist. Neuraalsed võrgud on riistvara või tarkvara, mis on inimese ajus programmeeritud neuroniteks. Traditsiooniline närvivõrk võtab sisenditena ainult vähendatud eraldusvõimega pilte. CNN lahendab selle probleemi, korraldades nende neuronid inimese aju esiosaks. CNN-i eeltöötlust on teiste algoritmidega võrreldes väga vähem. Konvolutsioon, CNN-is kasutatakse lineaarset matemaatilist operatsiooni. Ühes selle kihis kasutatakse maatriksi üldise korrutamise asemel konvolutsiooni.
Kihid konvolutsioonilistes närvivõrkudes
Allpool on toodud konvolutsiooniliste närvivõrkude kihid:
1. Kujutise sisestuskiht
Sisendkiht annab sisendeid (enamasti pilte) ja normaliseerimine viiakse läbi. Siin tuleb mainida sisendi suurust.
2. Konvolutsiooniline kiht
Selles kihis teostatakse konvolutsioon ja pilt jagatakse tajudeks (algoritm), luuakse kohalikud väljad, mis viib tajude tihendamiseni funktsioonikaartidena maatriksina suurusega mx n.
3. Mittelineaarsuskiht
Siin võetakse funktsioonikaarte sisendina ja aktiveerimiskaardid antakse väljundina aktiveerimisfunktsiooni abil. Aktiveerimisfunktsiooni rakendatakse tavaliselt sigmoidse või hüperboolse puutuja funktsioonina.
4. Paranduskiht
CNN-i oluline komponent, see kiht viib treenimise läbi täpsust vähendamata kiiremini. See teostab aktiveerimiskaartidel elementide kaupa absoluutväärtuse.
5. Puhastatud lineaarsed ühikud (ReLU)
ReLU ühendab CNN-is mittelineaarsed ja rektifitseerimise kihid. See teeb läviprotseduuri, kus negatiivsed väärtused teisendatakse nulliks. Kuid ReLU ei muuda sisendi suurust.
6. Koondkiht
Ühendamiskihti nimetatakse ka alamvalimi kihiks, kuna see vastutab aktiveerimiskaartide suuruse vähendamise eest. Sisendmahule rakendatakse sama pikkusega filtrit ja sammu. See kiht ignoreerib vähem olulisi andmeid, seega tehakse pildi tuvastamine väiksema esindusega. See kiht vähendab ületalitlust. Kuna kogumiskihi abil vähendatakse parameetrite hulka, vähenevad ka kulud. Sisend jagatakse ristkülikukujulisteks liitmispiirkondadeks ja arvutatakse kas maksimaalne või keskmine, mis annab vastavalt kas maksimaalse või keskmise. Max Pooling on populaarne.
7. Väljalangemise kiht
See kiht seab sisendkihi juhuslikult etteantud tõenäosusega nulli. Pärast seda toimingut langeb rohkem tulemusi erinevates elementides. See kiht aitab vähendada ka ületalitlust. See muudab võrgu ülearuseks. Selles kihis ei toimu õppimist. See operatsioon viiakse läbi ainult koolituse ajal.
8. Täielikult ühendatud kiht
Aktiveerimiskaardid, mis on eelmiste kihtide väljund, muudetakse selles kihis klassi tõenäosusjaotuseks. FC kiht korrutab sisendi kaalmaatriksiga ja lisab eelpingevektori.
9. väljundkiht
FC kihile järgnevad softmax ja klassifikatsiooni kihid. Sisendile rakendatakse funktsioon softmax. Klassifikatsioonikiht arvutab klassifitseerimisprobleemide korral rist-entroopia ja kadude funktsiooni.
10. Regressioonikiht
Selles kihis arvutatakse ruutkeskmine viga poole võrra. See kiht peaks järgima FC kihti.
Konvolutsioonilise närvivõrgu arhitektuur
Allpool on toodud konvolutsiooniliste närvivõrkude arhitektuur:
1. LeNet
LeNet võeti dokumentide optilise ja märkituvastuse jaoks kasutusele 1998. aastal. See on väike ja sobib suurepäraselt CPU-s kasutamiseks. LeNet on väike ja hõlpsasti haaratav. Sellel on kolm peamist ideed: kohalikud vastuvõtlikud väljad jagavad kaalu ja ruumiline alamproov. Võrk näitab töötlemata piltide parimat sisemist esitust. Sellel on kolm konvolutsioonikihti, kaks ühendavat kihti, üks täielikult ühendatud kiht ja üks väljundkiht. Ühele konvolutsioonikihile järgnes kohe koondkiht. Kõiki kihte on eespool selgitatud.
2. AlexNet
AlexNet töötati välja 2012. aastal. See arhitektuur populariseeris CNN-i arvutinägemuses. Sellel on viis konvolutsioonilist ja kolm täielikult ühendatud kihti, kus ReLU rakendatakse pärast iga kihti. See võtab mõlema kihi eelised, kuna konvolutsioonkihil on vähe parameetreid ja pikk arvutusvõime ning täielikult ühendatud kihi korral on see vastupidine. Ülemüürimist vähendas oluliselt andmete suurendamine ja väljalangemine. AlexNet oli sügavam, suuremaid ja konvolutsioonilisi kihte ei eraldatud ühendava kihiga, võrreldes LeNetiga.
3. ZF Net
ZF Net töötati välja 2013. aastal, mis oli AlexNeti modifitseeritud versioon. Keskmise konvolutsioonikihi suurust laiendati ja esimese konvolutsioonikihi samm ja filtri suurus muudeti väiksemaks. See lihtsalt teadvustas AlexNeti puudusi ja töötas välja parema. Kõik kihid on samad, mis AlexNetis. ZF Net reguleerib kihi parameetreid, näiteks filtri suurust või AlexNeti sammu, mis muudab veamäärad väiksemaks.
4. GoogLeNet
See arhitektuur töötati välja 2014. aastal. Algkiht on põhikontseptsioon. See kiht katab suuremat ala, kuid võtab teadmiseks pildi väikese teabe. Toimivuse parandamiseks kasutatakse GoogLeNetis üheksa sissejuhatavat moodulit. Kuna algkiht on kalduvus ülekomplekteerimisele, kasutatakse siin rohkem mittelineaarsust ja vähem parameetreid. Eelmise kihi väljundi ühendamiseks kasutatakse maksimaalset ühiskasutuskihti. Sellel arhitektuuril on 22 kihti ja parameetrid on 12x vähem. See on täpsem kui AlexNet, kiirem ka. Veamäär on suhteliselt madalam. Täielikult ühendatud kihi asemel kasutatakse keskmist ühiskasutuskihti. Arvestust vähendatakse, sügavust ja laiust suurendatakse. Paljud alustalamoodulid on ühendatud, et süveneda arhitektuuri. GoogleLeNet edestas kõiki teisi kuni 2014. aastani välja töötatud arhitektuure. Selle arhitektuuri jaoks on saadaval mitu järelversiooni.
5. VGG Net
See oli edasiminek võrreldes ZFNeti ja hiljem AlexNetiga. Sellel on 16 kihti 3 × 3 konvolutsioonkihiga, 2 × 2 ühendava kihiga ja täielikult ühendatud kihtidega. See arhitektuur võtab kasutusele kõige lihtsama võrgustruktuuri, kuid sellel on enamik parameetreid.
6. ResNet
Jääkvõrgu arhitektuur töötati välja 2015. aastal. See kasutab partiide normaliseerimist ja jätab FC kihtide kasutamise vahele. See arhitektuur kasutab 152 kihti ja kasutab vahelejäävaid ühendusi. ResNetit kasutatakse praegu enamasti kõigis süvaõppe algoritmides.
Järeldus
Facebook kasutab piltide sildistamiseks CNN-i, Amazon tootesoovituste jaoks ja Google kasutajafotode otsimiseks. Kõik need on tehtud suurema täpsuse ja tõhususega. Süvaõppe edenemine jõudis faasi, kus CNN töötati välja ja aitab mitmel viisil. Kuna keeruline CNN muutub, aitab see tõhusust parandada.
Soovitatav artikkel
See on juhend konvolutsioonilistele närvivõrkudele. Siin käsitleme konvolutsiooniliste närvivõrkude sissejuhatust ja selle kihte koos arhitektuuriga. Lisateavet leiate ka meie muudest soovitatud artiklitest -
- Neuraalvõrgu klassifikatsioon
- Masinõpe vs närvivõrk
- Neuraalvõrgu algoritmide ülevaade
- Korduvad närvivõrgud (RNN)
- Neuraalsete võrkude rakendamine
- Kuus parimat võrdlust CNN-i ja RNN-i vahel