![\"Yksinkertaisilla](\"https:\/\/inform.com.de\/wp-content\/uploads\/2021\/04\/post-190136-607bea3d9471a.jpg\")
<\/a><\/p>\n(Geoffrey Hinton)<\/p>\n
Hieman historiaa<\/h3>\n
Ensimm\u00e4ist\u00e4 kertaa keinotekoisten hermoverkkojen (ANN) k\u00e4site syntyi, kun yritettiin simuloida aivojen prosesseja. Ensimm\u00e4isen\u00e4 merkitt\u00e4v\u00e4n\u00e4 l\u00e4pimurrona t\u00e4ll\u00e4 alueella voidaan pit\u00e4\u00e4 McCulloch-Pittsin hermoverkkomallin luomista vuonna 1943. Tutkijat kehittiv\u00e4t ensin keinotekoisen neuronin mallin. He ehdottivat my\u00f6s n\u00e4iden elementtien verkon rakentamista loogisten toimintojen suorittamiseksi. Mutta mik\u00e4 t\u00e4rkeint\u00e4, tutkijat ovat todistaneet, ett\u00e4 t\u00e4llainen verkosto pystyy oppimaan.<\/p>\n
Seuraava t\u00e4rke\u00e4 vaihe oli Donald Hebbin kehitt\u00e4m\u00e4 ensimm\u00e4inen algoritmi ANN: n laskemiseksi vuonna 1949, josta tuli perustavanlaatuinen seuraavien vuosikymmenien ajan. Vuonna 1958 Frank Rosenblatt kehitti parceptronin, j\u00e4rjestelm\u00e4n, joka j\u00e4ljittelee aivojen prosesseja. Kerran tekniikalla ei ollut analogeja, ja se on edelleen perustavanlaatuinen hermoverkoissa. Vuonna 1986 amerikkalaiset ja Neuvostoliiton tutkijat paransivat melkein samanaikaisesti toisistaan \u200b\u200briippumatta merkitt\u00e4v\u00e4sti monikerroksisen perceptronin<\/a> opetusmenetelm\u00e4\u00e4. Vuonna 2007 hermoverkot uudistettiin. Brittil\u00e4inen tietotekniikan tutkija Jeffrey Hinton<\/a> kehitti ensin monikerroksisten hermoverkkojen syv\u00e4llisen oppimisalgoritmin, jota nyt k\u00e4ytet\u00e4\u00e4n esimerkiksi miehitt\u00e4m\u00e4tt\u00f6mien ajoneuvojen k\u00e4ytt\u00e4miseen.<\/p>\n Sanan yleisess\u00e4 mieless\u00e4 hermoverkot ovat matemaattisia malleja, jotka toimivat el\u00e4imen organismin hermosolujen verkkojen periaatteella. ANN voidaan toteuttaa sek\u00e4 ohjelmoitavissa ett\u00e4 laitteistoratkaisuissa. Havaitsemisen helpottamiseksi neuroni voidaan kuvitella er\u00e4\u00e4nlaiseksi soluksi, jolla on monia sy\u00f6tt\u00f6reiki\u00e4 ja yksi l\u00e4ht\u00f6. Kuinka monta saapuvaa signaalia muodostetaan l\u00e4htev\u00e4\u00e4n signaaliin, m\u00e4\u00e4ritt\u00e4\u00e4 laskenta-algoritmin. Efektiiviset arvot sy\u00f6tet\u00e4\u00e4n kuhunkin hermosy\u00f6tt\u00f6\u00f6n, jotka levitet\u00e4\u00e4n sitten neuroneuraalisten yhteyksien varrella (synopsis). Synapseilla on yksi parametri – paino, mink\u00e4 vuoksi tulotiedot muuttuvat siirrytt\u00e4ess\u00e4 neuronista toiseen. Helpoin tapa kuvitella hermoverkkojen toimintaa voidaan esitt\u00e4\u00e4 esimerkill\u00e4 v\u00e4rien sekoittamisesta. Sinisill\u00e4, vihreill\u00e4 ja punaisilla hermosoluilla on erilainen paino.<\/p>\n Itse hermoverkko on monien t\u00e4llaisten hermosolujen (prosessoreiden) j\u00e4rjestelm\u00e4. N\u00e4m\u00e4 prosessorit ovat erikseen melko yksinkertaisia \u200b\u200b(paljon yksinkertaisempia kuin henkil\u00f6kohtainen tietokone -prosessori), mutta kun ne on kytketty suureen j\u00e4rjestelm\u00e4\u00e4n, neuronit pystyv\u00e4t suorittamaan hyvin monimutkaisia \u200b\u200bteht\u00e4vi\u00e4.<\/p>\n K\u00e4ytt\u00f6alueesta riippuen hermoverkko voidaan tulkita eri tavoin, esimerkiksi koneoppimisen n\u00e4k\u00f6kulmasta ANN on mallintunnistusmenetelm\u00e4. Matemaattiselta kannalta t\u00e4m\u00e4 on moniparametrinen ongelma. Kybernetiikan kannalta se on robotiikan adaptiivisen ohjauksen malli. Teko\u00e4lyn kannalta ANN on olennainen osa luonnollisen \u00e4lykkyyden mallintamista laskennallisten algoritmien avulla.<\/p>\n Neuroverkkojen t\u00e4rkein etu tavanomaisiin laskenta-algoritmeihin n\u00e4hden on niiden kyky oppia. Sanan yleisess\u00e4 merkityksess\u00e4 oppiminen koostuu oikean kytkent\u00e4kertoimen l\u00f6yt\u00e4misest\u00e4 hermosolujen v\u00e4lill\u00e4 sek\u00e4 datan yleist\u00e4misest\u00e4 ja tulo- ja l\u00e4ht\u00f6signaalien v\u00e4listen monimutkaisten suhteiden tunnistamisesta. Itse asiassa neuroverkon onnistunut koulutus tarkoittaa, ett\u00e4 j\u00e4rjestelm\u00e4 pystyy tunnistamaan oikean tuloksen tietojen perusteella, joita ei ole koulutusjoukossa.<\/p>\n Neuroverkkojen k\u00e4ytt\u00f6alue on uskomattoman laaja ja sit\u00e4 rajoittaa vain mielikuvitus. Luetellaan joitain niist\u00e4:<\/p>\n Riippumatta siit\u00e4, kuinka lupaavaa t\u00e4m\u00e4 tekniikka olisi, toistaiseksi ANN ovat edelleen hyvin kaukana ihmisen aivojen ja ajattelun kyvyist\u00e4. Neuroverkkoja k\u00e4ytet\u00e4\u00e4n kuitenkin jo monilla ihmisen toiminnan alueilla. Toistaiseksi he eiv\u00e4t pysty tekem\u00e4\u00e4n eritt\u00e4in \u00e4lyllisi\u00e4 p\u00e4\u00e4t\u00f6ksi\u00e4, mutta pystyv\u00e4t korvaamaan henkil\u00f6n siell\u00e4, miss\u00e4 h\u00e4nt\u00e4 aiemmin tarvittiin. ANN-sovelluksen lukuisista alueista voidaan mainita: tuotantoprosessien itseoppimisen j\u00e4rjestelmien, miehitt\u00e4m\u00e4tt\u00f6mien ajoneuvojen, kuvantunnistusj\u00e4rjestelmien, \u00e4lykk\u00e4iden turvaj\u00e4rjestelmien, robotiikan, laadunvalvontaj\u00e4rjestelmien, puhevuorovaikutusrajapintojen, analysointij\u00e4rjestelmien ja paljon muuta luominen. T\u00e4m\u00e4 hermoverkkojen laaja k\u00e4ytt\u00f6 johtuu muun muassa erilaisista tavoista ilmoittaa ANN: n oppimista.<\/p>\n Nyky\u00e4\u00e4n hermoverkkojen markkinat ovat valtavat – ne ovat miljardeja ja miljardeja dollareita. Kuten k\u00e4yt\u00e4nt\u00f6 osoittaa, suurin osa hermoverkkojen tekniikoista ymp\u00e4ri maailmaa eroavat toisistaan \u200b\u200bv\u00e4h\u00e4n. Neuroverkkojen k\u00e4ytt\u00f6 on kuitenkin eritt\u00e4in kallis yritys, joka useimmissa tapauksissa on varaa vain suurille yrityksille. Neuroverkkojen kehitt\u00e4miseen, koulutukseen ja testaamiseen tarvitaan suurta laskentatehoa, on selv\u00e4\u00e4, ett\u00e4 suurilla IT-markkinoiden toimijoilla on tarpeeksi t\u00e4t\u00e4. T\u00e4rkeimpi\u00e4 t\u00e4ll\u00e4 alalla kehityst\u00e4 johtavia yrityksi\u00e4 ovat Googlen DeepMind-divisioona, Microsoft Research -divisioona, IBM, Facebook ja Baidu.<\/p>\n Kaikki t\u00e4m\u00e4 on tietysti hyv\u00e4\u00e4: hermoverkot kehittyv\u00e4t, markkinat kasvavat, mutta toistaiseksi p\u00e4\u00e4teht\u00e4v\u00e4\u00e4 ei ole ratkaistu. Ihmiskunta ei ole onnistunut luomaan tekniikkaa, joka olisi jopa l\u00e4hell\u00e4 kykyj\u00e4\u00e4n ihmisen aivoihin. Katsotaanpa t\u00e4rkeimpi\u00e4 eroja ihmisen aivojen ja keinotekoisten hermoverkkojen v\u00e4lill\u00e4.<\/p>\n T\u00e4rkein ero, joka muuttaa olennaisesti j\u00e4rjestelm\u00e4n periaatetta ja tehokkuutta, on erilainen signaalin siirto keinotekoisissa hermoverkoissa ja hermosolujen biologisessa verkossa. Tosiasia on, ett\u00e4 ANN: ssa neuronit v\u00e4litt\u00e4v\u00e4t arvoja, jotka ovat todellisia arvoja, toisin sanoen numeroita. Ihmisen aivoissa impulssit, joilla on kiinte\u00e4 amplitudi, v\u00e4littyv\u00e4t, ja n\u00e4m\u00e4 impulssit ovat melkein hetkellisi\u00e4. Siksi ihmisen neuroniverkostolla on useita etuja.<\/p>\n Ensinn\u00e4kin, aivojen viestint\u00e4linjat ovat paljon tehokkaampia ja taloudellisempia kuin ANNsissa. Toiseksi impulssipiiri takaa tekniikan toteutuksen yksinkertaisuuden: riitt\u00e4\u00e4, ett\u00e4 k\u00e4ytet\u00e4\u00e4n analogisia piirej\u00e4 monimutkaisten laskennallisten mekanismien sijaan. Loppujen lopuksi impulssiverkot on suojattu akustisilta h\u00e4iri\u00f6ilt\u00e4. Tehokkaat luvut ovat melun alaisia, mik\u00e4 lis\u00e4\u00e4 virheiden todenn\u00e4k\u00f6isyytt\u00e4.<\/p>\n Luddite-liike alkoi 1800-luvun alussa. T\u00e4t\u00e4 sanaa k\u00e4ytettiin kuvaamaan ihmisi\u00e4, jotka osallistuvat kaupungistumisen vastaisiin mielenosoituksiin. Yhteiskunnan teollistumisen my\u00f6t\u00e4, kun ty\u00f6st\u00f6koneet alkoivat v\u00e4hitellen korvata ty\u00f6ntekij\u00f6it\u00e4, monet ihmiset j\u00e4iv\u00e4t pois ty\u00f6st\u00e4 ja olivat eritt\u00e4in tyytym\u00e4tt\u00f6mi\u00e4 tilanteeseensa. Kuvittele vain, kuinka suuren shokin he olisivat kokeneet, jos he oppisivat, ett\u00e4 parin sadan vuoden kuluttua koneet pystyv\u00e4t puhumaan ja jopa liikkumaan itsen\u00e4isesti!<\/p>\n Samaan aikaan n\u00e4m\u00e4 ajat ovat tulleet, ja nyky\u00e4\u00e4n on my\u00f6s retrogadeja, jotka pelk\u00e4\u00e4v\u00e4t, ett\u00e4 robotiikka ja tekniikan kehitys yleens\u00e4 voivat pelata julmaa vitsi ihmisten kanssa. Loppujen lopuksi, jos koneet pystyv\u00e4t jo suorittamaan niin monia teht\u00e4vi\u00e4 t\u00e4n\u00e4\u00e4n, ne tulevaisuudessa viev\u00e4t kaikki ty\u00f6paikat, mik\u00e4 tekee ihmisist\u00e4 tarpeettomia. Ja t\u00e4m\u00e4n kannan vahvistavat vain asiantuntijoiden arviot, jotka ennustavat silloin t\u00e4ll\u00f6in tietyn ammatin v\u00e4litt\u00f6m\u00e4n katoamisen.<\/p>\n T\u00e4ll\u00e4 kannalla on oikeus olemassaoloon, mutta se ei ole t\u00e4ysin oikea, koska ajan my\u00f6t\u00e4 vanhojen ammattien lis\u00e4ksi katoaa my\u00f6s uusia. Kyll\u00e4, paimenia ja mets\u00e4st\u00e4ji\u00e4 on luokkaa v\u00e4hemm\u00e4n kuin aikaisemmin, mutta ohjelmoijia ja markkinoijia on esiintynyt. Historiallisessa k\u00e4\u00e4nnekohdassa talous suuntautuu uudelleen, kitkem\u00e4ll\u00e4 tarpeettomat ja antamalla runsaasti kysynn\u00e4n.<\/p>\n Keinotekoisten hermoverkkojen lis\u00e4\u00e4ntyv\u00e4 vaikutus on ilmeinen, ja on todenn\u00e4k\u00f6ist\u00e4, ett\u00e4 ne ovat pian kirjaimellisesti kaikkialla, mutta pel\u00e4t\u00e4 t\u00e4t\u00e4 tarkoittaa itse ihmisen luonteen hylk\u00e4\u00e4mist\u00e4, joka koostuu halusta l\u00f6yt\u00e4\u00e4 ja saavuttaa.<\/p>\n Ensin on p\u00e4\u00e4tett\u00e4v\u00e4, mitk\u00e4 ovat hermoverkon peruskomponentit – neuronit<\/strong>. Neuroni ottaa sy\u00f6tetiedot, suorittaa tietyt matemaattiset operaatiot sen kanssa<\/strong> ja antaa sitten tuloksen. Neuroni, jolla on kaksi tuloa, n\u00e4ytt\u00e4\u00e4 t\u00e4lt\u00e4:<\/p>\n Kolme asiaa tapahtuu t\u00e4\u00e4ll\u00e4. Ensin kukin sy\u00f6tt\u00f6 kerrotaan sen painolla (n\u00e4kyy punaisella<\/strong> kaaviossa ):<\/p>\n Sitten kaikki painotetut panokset lis\u00e4t\u00e4\u00e4n yhdess\u00e4 offsetin kanssa Lopuksi m\u00e4\u00e4r\u00e4 siirret\u00e4\u00e4n aktivointitoiminnon kautta (merkitty kaaviossa keltaisella<\/strong> ):<\/p>\n Aktivointitoimintoa k\u00e4ytet\u00e4\u00e4n liitt\u00e4m\u00e4\u00e4n etuyhteydett\u00f6m\u00e4t tulot l\u00e4ht\u00f6\u00f6n, jolla on yksinkertainen ja ennustettava muoto. Sigmoidifunktio<\/a> otetaan p\u00e4\u00e4s\u00e4\u00e4nt\u00f6isesti k\u00e4ytetyksi aktivointitoiminnoksi :<\/p>\n Sigmoidifunktio<\/strong> tuottaa vain alueen numeroita Oletetaan, ett\u00e4 meill\u00e4 on neuroni, jossa on kaksi tuloa ja<\/strong> joka k\u00e4ytt\u00e4\u00e4 sigmoidiaktivointitoimintoa<\/strong> ja jolla on seuraavat parametrit:<\/p>\n<\/a><\/p>\nLyhyesti p\u00e4\u00e4asiasta<\/h3>\n
<\/a><\/p>\nNeuroverkkojen k\u00e4ytt\u00f6<\/h2>\n
\n
<\/a><\/p>\nT\u00e4m\u00e4n p\u00e4iv\u00e4n tilanne<\/h3>\n
Miksi hermoverkot ovat edelleen kaukana ihmisen aivoista?<\/h3>\n
<\/a><\/p>\nHermoverkkojen n\u00e4kym\u00e4t<\/h2>\n
Neuraalilohkojen luominen<\/h2>\n
<\/a><\/p>\n<\/a><\/p>\nb<\/code>(merkitty kaaviossa vihre\u00e4ll\u00e4<\/strong> ):<\/p>\n<\/a><\/p>\n<\/a><\/p>\n<\/a><\/p>\n(0, 1)<\/code>. Voit ajatella sit\u00e4 pakkaamalla alkaen (\u2212\u221e, +\u221e)<\/code>ja (0, 1)<\/code>. Suurista negatiivisista luvuista tulee ~0<\/code>ja suurista positiivisista luvuista tulee ~1<\/code>.<\/p>\nYksinkertainen esimerkki ty\u00f6skentelyst\u00e4 neuronien kanssa Pythonissa<\/h2>\n
<\/a><\/p>\nw = [0,1]<\/code>On vain yksi tapa kirjoittaa w1 = 0, w2 = 1<\/code>vektorimuodossa. M\u00e4\u00e4ritet\u00e4\u00e4n neuronille arvo, jolla on arvo x = [2, 3]<\/code>. Pienemm\u00e4n esityksen saamiseksi<\/a> k\u00e4ytet\u00e4\u00e4n pistetuotetta<\/a>.<\/p>\n