Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_1.jpg" alt="(!LANG:>Neuronske mreže u medicini StatSoft Russia">!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_2.jpg" alt="(!LANG:>Osnovne ideje metoda analize neuronskih mreža » Sve glavne"> Основные идеи нейросетевых методов анализа Простота и однородность отдельных элементов - «нейронов» Все основные свойства сети определяются структурой связей Избыточность системы гарантирует ее надежность как целого Связи формируются по неявным правилам в процессе «обучения»!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_3.jpg" alt="(!LANG:>Primjeri umjetnih neuronskih mreža">!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_4.jpg" alt="(!LANG:>Karakteristike pristupa neuronske mreže analizi podataka Nudi standardni način za rješavanje mnogih nestandardnih problema. Eksplicitno"> Особенности нейросетевого подхода к анализу данных Предлагает стандартный способ решения многих нестандартных задач. Явное описание модели заменяется созданием «образовательной среды». Приводит к успеху там, где отказывают традиционные методы и трудно создать явный алгоритм.!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_5.jpg" alt="(!LANG:>Stručni sistemi za dijagnostiku bolesti su od posebnog interesa za praktičnu zdravstvenu zaštitu">!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_6.jpg" alt="(!LANG:>Primjeri primjene neuronskih mreža u medicinskim spektrima."> Примеры применения нейронных сетей в медицине Выявление атеросклеротических бляшек с помощью анализа флюоресцентных спектров. Диагностика заболеваний !} perifernih sudova. Dijagnoza infarkta miokarda. Dijagnoza valvularnih srčanih šumova analizom akustičnih signala. Prepoznavanje mentalnih simptoma.

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_7.jpg" alt="(!LANG:>Stručni sistem za liječenje arterijska hipertenzija(Italija) Modul 1 Modul 2 Modul 3 Po satu "> Stručni sistem za liječenje arterijske hipertenzije (Italija) Modul 1 Modul 2 Modul 3 Satno mjerenje pritiska Starost i pol Karakteristike stanja Karakteristike lijekovi Struktura satnog unosa lijekova Ostali klinički podaci

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_8.jpg" alt="(!LANG:>Određivanje akumulirane doze radioaktivnog izlaganja (Krasnoyarsk Medical Academy) Klasifikacija za 4 grupe"> Определение накопленной дозы радиоактивного облучения (Красноярская мед. академия) Классификация на 4 группы по величине накопленной дозы облучения 35 входных параметров Естественная Слабая Средняя Сильная Сеть обучалась на данных о пациентах, работающих в атомной промышленности. Со 100% правильностью такая сеть классифицирует состояние людей, в том числе и тех, кто не работает в данной отрасли.!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_9.jpg" alt="(!LANG:>Koraci analize neuronske mreže Istraživanje odnosa varijabli i izgradnja i smanjenje dimenzija Mreže za obuku"> Этапы нейросетевого анализа Исследование взаимосвязи переменных и понижение размерности Построение и обучение сетей !} različite vrste Poređenje kvaliteta mreže i njihovih statističkih karakteristika

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_10.jpg" alt="(!LANG:>Smanjenje dimenzije: odabir funkcije unosa Kazna po stavci, broj populacija , i bit generacije"> Понижение размерности: отбор входных признаков Штраф за элемент, число популяций и поколений битовых строк Генетический алгоритм, пошаговое включение и исключение признаков!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_11.jpg" alt="(!LANG:>Smanjenje dimenzionalnosti: auto-asocijativne mreže Nove ulazne varijable za neuronske mrežni model">!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_12.jpg" alt="(!LANG:>Zadatak klasifikacije stanja pacijenata sa ishemijska bolest">

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_13.jpg" alt="(!LANG:>Neuronska mreža za dijagnostiku razvoja koronarne bolesti Skupom indikatori (48 varijabli),"> Нейронная сеть для диагностики развития ишемической болезни По набору показателей (48 переменных), как номинальных (например, «слабая-умеренная-сильная боль»), так и непрерывных (например, !} arterijski pritisak ili starosti), stanje pacijenata sa ishemijskom bolešću srca je klasifikovano. Nominalne varijable Kontinuirane varijable

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_14.jpg" alt="(!LANG:>Rezultati klasifikacije i analiza osjetljivosti Svi slučajevi klasificirani ispravno Analiza osjetljivosti omogućava tvrdnju ,"> Результаты классификации и анализ чувствительности Все наблюдения классифицированы правильно Анализ чувствительности позволяет утверждать, что одним из !} kritični faktori rizik je navika pušenja.

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_15.jpg" alt="(!LANG:>Dijagnostički zadatak onkološka bolest">

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_16.jpg" alt="(!LANG:>Neuronske mreže za dijagnostiku raka Mreža zasnovana na radijalnim bazičnim funkcijama Višeslojni perceptron">!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_17.jpg" alt="(!LANG:>Rezultati klasifikacije Višeslojni perceptron: 100% opservacija klasifikovanih ispravno Radijalna osnova Funkcije: 95% zapažanja klasifikovano"> Результаты классификации Многослойный персептрон: 100% наблюдений классифицировано правильно Радиальные базисные функции: 95% наблюдений классифицировано правильно!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_18.jpg" alt="(!LANG:>Postavljanje mreže">!}

Src="https://present5.com/presentacii-2/20171208%5C21538-neuronet.ppt%5C21538-neuronet_19.jpg" alt="(!LANG:>STATISTICA Neural Networks paket funkcija biblioteka za izgradnju, obuku i rad neuronskih mreže"> Библиотеки функций пакета STATISTICA Neural Networks для построения, обучения и работы нейронных сетей позволяют эффективно встраивать нейросетевые модули в разрабатываемые экспертные системы для прогнозирования и диагностики заболеваний!}

Dobar dan, moje ime je Natalia Efremova i istraživač sam u NtechLabu. Danas ću govoriti o vrstama neuronskih mreža i njihovoj primjeni.

Prvo da kažem nekoliko riječi o našoj kompaniji. Kompanija je nova, možda mnogi od vas ne znaju čime se bavimo. Prošle godine smo osvojili MegaFace izazov. Ovo je međunarodno takmičenje u prepoznavanju lica. Iste godine je otvoreno i naše preduzeće, odnosno na tržištu smo oko godinu dana, čak i nešto više. Shodno tome, jedna smo od vodećih kompanija u prepoznavanju lica i obradi biometrijskih slika.

Prvi dio mog izvještaja bit će usmjeren onima koji nisu upoznati s neuronskim mrežama. Direktno se bavim dubokim učenjem. U ovoj oblasti radim više od 10 godina. Iako se pojavio prije nešto manje od jedne decenije, nekada su postojali neki rudimenti neuronskih mreža koje su izgledale kao sistem dubokog učenja.

Tokom proteklih 10 godina, duboko učenje i kompjuterski vid razvili su se nevjerovatnim tempom. Sve što je značajno urađeno u ovoj oblasti dogodilo se u posljednjih 6 godina.

Govorit ću o praktičnim aspektima: gdje, kada, šta primijeniti u smislu dubokog učenja za obradu slika i videa, za prepoznavanje slika i lica, budući da radim za kompaniju koja se time bavi. Pričat ću malo o prepoznavanju emocija, koji se pristupi koriste u igricama i robotici. Govorit ću i o nestandardnoj primjeni dubokog učenja, nečemu što tek izlazi iz naučnih institucija i još uvijek se malo koristi u praksi, kako se može primijeniti i zašto je teško primijeniti.

Izvještaj će se sastojati iz dva dijela. Budući da je većina vas upoznata s neuronskim mrežama, prvo ću vam na brzinu objasniti kako funkcioniraju neuronske mreže, šta su biološke neuronske mreže, zašto je važno da znamo kako funkcioniraju, šta su umjetne neuronske mreže i koje se arhitekture koriste u koja područja.

Izvinjavam se odmah, skočiću malo na englesku terminologiju, jer većina Ne znam ni kako se to zove na ruskom. Možda i ti.

Dakle, prvi dio izvještaja će biti posvećen konvolucijskim neuronskim mrežama. Objasnit ću kako funkcioniše prepoznavanje slika konvolucionom neuronskom mrežom (CNN) koristeći primjer iz prepoznavanja lica. Pričat ću malo o rekurentnim neuronskim mrežama (RNN) i učenju s pojačanjem koristeći primjer sistema dubokog učenja.

Kao nestandardnu ​​primjenu neuronskih mreža, govorit ću o tome kako CNN radi u medicini za prepoznavanje vokselnih slika, kako se neuronske mreže koriste za prepoznavanje siromaštva u Africi.

Šta su neuronske mreže

Dorzalni vidni put počinje u primarnoj vizuelnoj zoni, u našoj kruni glave, i nastavlja se prema gore, dok ventralni put počinje na potiljku i završava se otprilike iza naših ušiju. Svo važno prepoznavanje obrazaca koje imamo, sva značenja kojih smo svjesni, odvija se upravo tamo, iza ušiju.

Zašto je to važno? Zato što je često potrebno razumjeti neuronske mreže. Prvo, svi pričaju o tome, a ja sam već navikao da se to dešava, a drugo, činjenica je da su sva područja koja se koriste u neuronskim mrežama za prepoznavanje obrazaca došla do nas upravo iz ventralnog vizualnog puta, gdje je svaka mala zona odgovoran je za svoju strogo definiranu funkciju.

Slika nam dolazi iz mrežnjače, prolazi kroz niz vidnih zona i završava u temporalnoj zoni.

Dalekih 60-ih godina prošlog stoljeća, kada je proučavanje vidnih područja mozga tek počelo, prvi eksperimenti su izvedeni na životinjama, jer nije postojao fMRI. Mozak je pregledan pomoću elektroda ugrađenih u različite vidne zone.

Prvu vizuelnu zonu istražili su David Hubel i Thorsten Wiesel 1962. godine. Radili su eksperimente na mačkama. Mačkama su pokazani razni pokretni objekti. Ono na šta su moždane ćelije reagovale bio je stimulans koji je životinja prepoznala. Čak se i sada mnogi eksperimenti izvode na ove drakonske načine. Međutim, ovo je najviše efikasan metod saznajte šta radi svaka sićušna ćelija u našem mozgu.

Na isti način otkrivena su i mnoga važnija svojstva vizuelnih zona koje sada koristimo u dubokom učenju. Jedno od najvažnijih svojstava je povećanje receptivnih polja naših ćelija kako se krećemo od primarnih vidnih područja ka temporalnim režnjevima, odnosno kasnijim vidnim područjima. Receptivno polje je onaj dio slike koji svaka ćelija u našem mozgu obrađuje. Svaka ćelija ima svoje receptivno polje. Ovo isto svojstvo je sačuvano u neuronskim mrežama, kao što verovatno svi znate.

Takođe, sa povećanjem receptivnih polja povećavaju se složeni stimulansi koje neuronske mreže obično prepoznaju.

Ovdje možete vidjeti primjere složenosti podražaja, različitih dvodimenzionalnih oblika koji se prepoznaju u područjima V2, V4 i raznim dijelovima temporalnih polja kod makaka. Također se provode brojni MRI eksperimenti.

Ovdje možete vidjeti kako se takvi eksperimenti izvode. Ovo je 1 nanometarski dio IT korteksa "zona majmuna pri prepoznavanju raznih objekata. Istaknuto gdje se prepoznaje.

Hajde da sumiramo. Važno svojstvo koje želimo da usvojimo iz vizuelnih oblasti je da se povećavaju veličine receptivnih polja, a povećava se složenost objekata koje prepoznajemo.

kompjuterski vid

Sva ova svojstva prenosimo na neuronsku mrežu, i sada radi, ako ne uključite malu digresiju na skupove podataka, o čemu ću govoriti kasnije.

Ali prvo, malo o najjednostavnijem perceptronu. Također se formira po slici i prilici našeg mozga. Najjednostavniji element koji liči na moždanu ćeliju je neuron. Sadrži elemente unosa koji su zadani slijeva nadesno, povremeno odozdo prema vrhu. Na lijevoj strani su ulazni dijelovi neurona, na desnoj strani su izlazni dijelovi neurona.

Najjednostavniji perceptron je sposoban za obavljanje samo najosnovnijih operacija. Da bismo izvršili složenije proračune, potrebna nam je struktura sa više skrivenih slojeva.

U slučaju kompjuterskog vida, potrebno nam je još više skrivenih slojeva. I tek tada će sistem smisleno prepoznati ono što vidi.

Dakle, šta se dešava pri prepoznavanju slike, reći ću vam na primjeru lica.

Za nas da pogledamo ovu sliku i kažemo da ona prikazuje lice kipa je prilično jednostavno. Međutim, do 2010. godine, ovo je bio nevjerovatno težak zadatak za kompjuterski vid. Oni koji su se ovim pitanjem bavili prije ovog vremena vjerovatno znaju koliko je bilo teško bez riječi opisati predmet koji želimo pronaći na slici.

Morali smo to učiniti na neki geometrijski način, opisati objekt, opisati odnos objekta, kako se ti dijelovi mogu povezati jedni s drugima, zatim pronaći ovu sliku na objektu, uporediti ih i dobiti ono što smo loše prepoznali. Obično je to bilo malo bolje od bacanja novčića. Nešto bolje od nivoa šanse.

Sada to nije slučaj. Svoju sliku dijelimo ili na piksele ili na neke zakrpe: 2x2, 3x3, 5x5, 11x11 piksela - kako je zgodno za kreatore sistema u kojem služe kao ulazni sloj u neuronsku mrežu.

Signali sa ovih ulaznih slojeva se prenose od sloja do sloja pomoću sinapsi, svaki od slojeva ima svoje specifične koeficijente. Tako prelazimo od sloja do sloja, od sloja do sloja, dok ne dobijemo da smo prepoznali lice.

Uobičajeno, svi ovi dijelovi se mogu podijeliti u tri klase, označit ćemo ih kao X, W i Y, gdje je X naša ulazna slika, Y je skup oznaka i trebamo dobiti naše težine. Kako izračunavamo W?

S obzirom na naše X i Y, čini se da je ovo lako. Međutim, ono što je označeno zvjezdicom je vrlo složena nelinearna operacija, koja, nažalost, nema inverznu. Čak i sa 2 date komponente jednačine, vrlo je teško to izračunati. Stoga treba postepeno, pokušajem i greškom, odabirom težine W, osigurati da se greška što više smanji, poželjno je da bude jednaka nuli.

Ovaj proces se odvija iterativno, stalno se smanjujemo dok ne nađemo vrijednost težine W koja nas dovoljno zadovoljava.

Inače, niti jedna neuronska mreža sa kojom sam radio nije postigla grešku jednaku nuli, ali je radila sasvim dobro.

Evo prve mreže koja je pobijedila na međunarodnom takmičenju ImageNet 2012. godine. Ovo je takozvani AlexNet. To je mreža koja se prva oglasila, da postoje konvolucijske neuronske mreže i od tada na svim međunarodnim takmičenjima konvolucione neuronske mreže nikada nisu izgubile svoje pozicije.

Uprkos činjenici da je ova mreža prilično mala (ima samo 7 skrivenih slojeva), sadrži 650.000 neurona sa 60 miliona parametara. Da bismo iterativno naučili kako pronaći prave težine, potrebno nam je puno primjera.

Neuronska mreža uči na primjeru slike i etikete. Kako nas u detinjstvu uče „ovo je mačka, a ovo pas“, tako se neuronske mreže treniraju na velikom broju slika. Ali činjenica je da prije 2010. nije postojao dovoljno veliki skup podataka koji bi mogao naučiti toliko parametara za prepoznavanje slika.

Najveće baze podataka koje su postojale do tog vremena bile su PASCAL VOC, koja je imala samo 20 kategorija objekata, i Caltech 101, koja je razvijena na Kalifornijskom institutu za tehnologiju. Posljednja je imala 101 kategoriju i to je bilo puno. Oni koji nisu mogli pronaći svoje objekte ni u jednoj od ovih baza podataka morali su koštati svoje baze podataka, što je, reći ću, užasno bolno.

Međutim, 2010. godine pojavila se baza podataka ImageNet u kojoj je bilo 15 miliona slika, podijeljenih u 22.000 kategorija. Ovo je riješilo naš problem obuke neuronske mreže. Sada svako ko ima bilo koju akademsku adresu može lako otići na lokaciju baze, zatražiti pristup i dobiti ovu bazu za obuku svojih neuronskih mreža. Reaguju prilično brzo, po mom mišljenju, sutradan.

U poređenju sa prethodnim skupovima podataka, ovo je veoma velika baza podataka.

Primjer pokazuje koliko je beznačajno sve što je bilo prije. Uporedo sa ImageNet bazom pojavilo se i ImageNet takmičenje, međunarodni izazov u kojem mogu učestvovati svi timovi koji žele da se takmiče.

Ove godine je pobijedila mreža stvorena u Kini, imala je 269 slojeva. Ne znam koliko parametara, pretpostavljam da ih ima previše.

Arhitektura duboke neuronske mreže

Crno označava one dijelove koji ne uče, svi ostali slojevi mogu naučiti. Postoje mnoge definicije onoga što se nalazi unutar svakog konvolucionog sloja. Jedna od prihvaćenih oznaka je da se jedan sloj sa tri komponente deli na stepen konvolucije, stepen detektora i stepen objedinjavanja.

Neću ulaziti u detalje, biće još mnogo izvještaja u kojima se detaljno razmatra kako to funkcionira. Reći ću vam na primjeru.

Pošto su me organizatori zamolili da ne spominjem mnoge formule, izbacio sam ih u potpunosti.

Dakle, ulazna slika pada u mrežu slojeva, koje možemo nazvati filterima različitih veličina i različite složenosti elemenata koje prepoznaju. Ovi filteri čine sopstveni indeks ili skup karakteristika, koji zatim ulaze u klasifikator. Obično je to ili SVM ili MLP - višeslojni perceptron, koji je pogodan za svakoga.

Na slici i sličnosti sa biološkom neuronskom mrežom prepoznaju se objekti različite složenosti. Kako se broj slojeva povećavao, sve je to izgubilo kontakt sa korteksom, jer postoji ograničen broj zona u neuronskoj mreži. 269 ​​ili mnogo, mnogo zona apstrakcije, tako da se čuva samo povećanje složenosti, broja elemenata i receptivnih polja.

Ako pogledamo primjer prepoznavanja lica, tada će naše receptivno polje prvog sloja biti malo, pa malo više, više i tako sve dok konačno ne prepoznamo cijelo lice.

Što se tiče onoga što imamo unutar filtera, prvo će biti nagnuti štapići plus nešto boje, zatim dijelovi lica, a zatim će cijelo lice biti prepoznato po svakoj ćeliji sloja.

Ima ljudi koji tvrde da osoba uvijek bolje prepoznaje od mreže. je li tako?

Naučnici su 2014. godine odlučili da testiraju koliko dobro prepoznajemo u poređenju sa neuronskim mrežama. Uzeli su 2 najbolje mreže u ovom trenutku - to su AlexNet i mrežu Matthewa Zillera i Fergusa, te uporedili s odgovorom različitih područja mozga makaka, koji je također naučen da prepoznaje neke objekte. Predmeti su bili iz životinjskog carstva kako se majmun ne bi zbunio, a vršeni su i eksperimenti ko će bolje prepoznati.

Pošto je očito nemoguće dobiti odgovor od majmuna, u njega su ugrađene elektrode i direktno je mjeren odgovor svakog neurona.

Ispostavilo se da su u normalnim uslovima reagovale moždane ćelije kao i tadašnji najsavremeniji model, odnosno mreža Metjua Zilera.

Međutim, s povećanjem brzine prikazivanja objekata, povećanjem broja šumova i objekata na slici, brzina prepoznavanja i njegova kvaliteta u našem mozgu i mozgu primata naglo padaju. Čak i najjednostavnija konvoluciona neuronska mreža bolje prepoznaje objekte. To jest, zvanično, neuronske mreže rade bolje od našeg mozga.

Klasični problemi konvolucionih neuronskih mreža

Koristeći ovu sliku kao primjer, pogledajmo šta svaki od zadataka radi.

• Definicija granica- ovo je zadatak najnižeg nivoa za koji se već klasično koriste konvolucione neuronske mreže.
• Definicija vektora na normalu omogućava nam da rekonstruišemo 3D sliku iz 2D.
• Istaknutost, definicija objekata pažnje- to je ono na šta bi osoba obratila pažnju kada bi razmatrala ovu sliku.
• Semantička segmentacija omogućava vam da podijelite objekte u klase prema njihovoj strukturi, a da ne znate ništa o tim objektima, odnosno čak i prije nego što budu prepoznati.
• Semantičko isticanje granica- ovo je odabir granica, podijeljenih u klase.
• Izolacija dijelova ljudskog tijela.
• I zadatak najvišeg nivoa - prepoznavanje samih objekata, što ćemo sada razmotriti na primjeru prepoznavanja lica.

Prepoznavanje lica

Zatim možemo uporediti ovaj vektor karakteristika sa svim vektorima karakteristika koji su pohranjeni u našoj bazi podataka, i dobiti referencu na određenu osobu, na njeno ime, na njegov profil – sve što možemo pohraniti u bazu podataka.

Ovako funkcionira naš FindFace proizvod - to je besplatna usluga koja vam pomaže da tražite profile ljudi u bazi podataka VKontakte.

Osim toga, imamo API za kompanije koje žele isprobati naše proizvode. Pružamo usluge detekcije lica, verifikacije i identifikacije korisnika.

Sada smo razvili 2 scenarija. Prvi je identifikacija, traženje osobe u bazi podataka. Druga je provjera, ovo je poređenje dvije slike sa određenom vjerovatnoćom da se radi o istoj osobi. Osim toga, trenutno razvijamo prepoznavanje emocija, prepoznavanje video slika i detekciju živosti - to je razumijevanje da li je osoba živa ispred kamere ili fotografije.

Neka statistika. Prilikom identifikacije, kada tražimo 10 hiljada fotografija, imamo tačnost od oko 95% u zavisnosti od kvaliteta baze podataka, 99% tačnost verifikacije. Osim toga, ovaj algoritam je vrlo otporan na promjene - ne moramo gledati u kameru, možda imamo neke blokirajuće predmete: naočale, sunčane naočale, brada, medicinska maska. U nekim slučajevima možemo čak i prevladati takve nevjerovatne poteškoće za kompjuterski vid kao što su naočale i maska.

Veoma brza pretraga, potrebno je 0,5 sekundi za obradu 1 milijarde fotografija. Razvili smo jedinstveni indeks brzog pretraživanja. Možemo raditi i sa slikama lošeg kvaliteta sa CCTV kamera. Sve to možemo obraditi u realnom vremenu. Možete postavljati fotografije putem web interfejsa, preko Androida, iOS-a i pretraživati ​​100 miliona korisnika i njihovih 250 miliona fotografija.

Kao što sam rekao, zauzeli smo prvo mjesto na MegaFace takmičenju - analognom za ImageNet, ali za prepoznavanje lica. Radi već nekoliko godina, prošle godine smo bili najbolji među 100 timova iz cijelog svijeta, uključujući i Google.

Rekurentne neuronske mreže

Primjenjuje se na prepoznavanje prirodnog jezika, video obradu, čak i prepoznavanje slika.

Neću govoriti o prepoznavanju prirodnog jezika - nakon mog izvještaja bit će još dva koja će biti usmjerena na prepoznavanje prirodnog jezika. Stoga ću govoriti o radu rekurentnih mreža na primjeru prepoznavanja emocija.

Šta su rekurentne neuronske mreže? Ovo je otprilike isto kao i obične neuronske mreže, ali sa povratnom informacijom. Potrebna nam je povratna informacija da prenesemo prethodno stanje sistema na ulaz neuronske mreže ili na jedan od njenih slojeva.

Pretpostavimo da obrađujemo emocije. Čak i u osmehu – jednoj od najjednostavnijih emocija – postoji nekoliko trenutaka, od neutralnog izraza lica do trenutka kada imamo pun osmeh. Slijede jedan drugog u nizu. Da bismo ovo dobro razumeli, moramo biti u stanju da posmatramo kako se to dešava, da prenesemo ono što je bilo na prethodnom okviru u sledeći korak sistema.

2005. godine, na takmičenju Emotion Recognition in the Wild, posebno za prepoznavanje emocija, tim iz Montreala je predstavio rekurentni sistem koji je izgledao vrlo jednostavno. Imala je samo nekoliko konvolucijskih slojeva, a radila je isključivo sa videom. Ove godine su dodali i prepoznavanje zvuka i agregirane podatke frame-by-frame koji se dobijaju iz konvolucionih neuronskih mreža, podatke o audio signalu sa rekurentnom neuronskom mrežom (sa povratom stanja) i osvojili prvo mesto na takmičenju.

Učenje s pojačanjem

Činjenica je da u prethodna dva slučaja koristimo baze podataka. Imamo ili podatke sa lica, ili podatke sa slika, ili podatke sa emocijama iz video zapisa. Ako ga nemamo, ako ga ne možemo snimiti, kako da naučimo robota da podiže predmete? To radimo automatski - ne znamo kako to funkcionira. Drugi primjer: kompajliranje velikih baza podataka u kompjuterske igrice teško, a nije neophodno, može se mnogo lakše.

Svi su vjerovatno čuli za uspjeh učenja s dubokim pojačanjem u Atari i Go.

Ko je čuo za Atari? Pa, neko je čuo, ok. Mislim da su svi čuli za AlphaGo, pa vam neću ni reći šta se tamo tačno dešava.

Šta se dešava u Atariju? Arhitektura ove neuronske mreže je upravo prikazana na lijevoj strani. Ona uči igrajući se sama sa sobom kako bi dobila maksimalnu nagradu. Maksimalna nagrada je najbrži ishod igre sa najvećim mogućim rezultatom.

Gore desno - posljednji sloj neuronske mreže, koji prikazuje cijeli broj stanja sistema, koji je igrao protiv sebe samo dva sata. Crveno prikazuje željene ishode igre sa maksimalnom nagradom, a plavo - nepoželjno. Mreža gradi određeno polje i kreće se kroz svoje uvježbane slojeve do stanja koje želi postići.

U robotici je situacija malo drugačija. Zašto? Ovdje imamo nekoliko komplikacija. Prvo, nemamo mnogo baza podataka. Drugo, moramo koordinirati tri sistema odjednom: percepciju robota, njegove akcije uz pomoć manipulatora i njegovo pamćenje – šta je i kako je urađeno u prethodnom koraku. Generalno, sve je ovo veoma teško.

Činjenica je da niti jedna neuronska mreža, čak ni duboko učenje u ovom trenutku, ne može dovoljno efikasno da se nosi sa ovim zadatkom, pa je duboko učenje samo deo onoga što roboti treba da urade. Na primjer, Sergej Levin je nedavno obezbijedio sistem koji uči robota da grabi predmete.

Evo eksperimenata koje je izveo na svojih 14 robotskih ruku.

sta se desava ovde? U ovim umivaonicima koje vidite ispred sebe nalaze se razni predmeti: olovke, gumice, manje i veće šolje, krpe, različite teksture, različite tvrdoće. Nije jasno kako obučiti robota da ih uhvati. Mnogo sati, pa čak i sedmicama, roboti obučeni da mogu uhvatiti ove objekte, ovom prilikom su sastavljane baze podataka.

Baze podataka su vrsta odgovora okoline koju moramo akumulirati da bismo mogli obučiti robota da nešto radi u budućnosti. U budućnosti, roboti će biti obučeni na ovom skupu stanja sistema.

Nestandardne primjene neuronskih mreža

Dakle, naučnici sa Stanforda su nedavno smislili vrlo neobičnu primjenu CNN neuronske mreže za predviđanje siromaštva. Šta su uradili?

Zapravo, koncept je vrlo jednostavan. Činjenica je da u Africi nivo siromaštva prelazi sve zamislive i nezamislive granice. Nemaju čak ni mogućnost prikupljanja socijalno-demografskih podataka. Dakle, od 2005. godine nemamo nikakvih podataka o tome šta se tamo dešava.

Naučnici su prikupljali dnevne i noćne mape sa satelita i vremenom ih slali u neuronsku mrežu.

Neuronska mreža je unapred konfigurisana na ImageNet "e. To jest, prvi slojevi filtera su konfigurisani tako da već može prepoznati neke vrlo jednostavne stvari, na primer, krovove, da traži naselje na dnevnim mapama. Zatim su dnevne mape upoređene sa noćnim kartama.osvjetljenje iste površine površine kako bi se reklo koliko novca stanovništvo ima da barem osvijetli svoje domove tokom noći.

Ovdje vidite rezultate predviđanja koje je izgradila neuronska mreža. Prognoza je napravljena sa različitim rezolucijama. I vidite - poslednji okvir - stvarne podatke koje je prikupila vlada Ugande 2005. godine.

Vidi se da je neuronska mreža dovoljno sastavljena tacna prognoza, čak i uz blagi pomak od 2005.

bilo je, naravno, nuspojave. Naučnici koji se bave dubokim učenjem uvijek se iznenade kada otkriju različite nuspojave. Na primjer, poput onih koje je mreža naučila prepoznati vodu, šume, velika gradilišta, puteve – sve to bez nastavnika, bez unaprijed napravljenih baza podataka. Općenito potpuno neovisno. Bilo je određenih slojeva koji su reagirali, na primjer, na puteve.

I posljednja aplikacija o kojoj bih želio govoriti je semantička segmentacija 3D slika u medicini. Općenito, medicinsko snimanje je složeno područje s kojim je vrlo teško raditi.

Postoji nekoliko razloga za to.

• Imamo vrlo malo baza podataka. Sliku mozga, osim oštećene, nije tako lako pronaći, a nemoguće ju je ni od kuda uzeti.
• Čak i ako imamo takvu sliku, potrebno je uzeti ljekara i natjerati ga da ručno postavi sve višeslojne slike, što je vrlo dugotrajno i krajnje neefikasno. Nemaju svi doktori resurse da to urade.
• Potrebna je vrlo visoka preciznost. medicinski sistem ne može biti pogrešno. Kada su prepoznavali, na primjer, foke, nisu prepoznali - u redu je. A ako ne prepoznamo tumor, onda to nije baš dobro. Posebno su visoki zahtjevi za pouzdanost sistema.
• Slike u trodimenzionalnim elementima - vokseli, a ne pikseli, što donosi dodatnu složenost dizajnerima sistema.

Gdje se koristi: za utvrđivanje oštećenja nakon udarca, za traženje tumora u mozgu, u kardiologiji za utvrđivanje rada srca.

Evo primjera za određivanje volumena posteljice.

Automatski radi dobro, ali nedovoljno da bi bio pušten u proizvodnju, tako da tek počinje. Postoji nekoliko startupa za kreiranje takvih sistema medicinski vid. Općenito, u bliskoj budućnosti postoji mnogo startupova u dubokom učenju. Kažu da su rizični kapitalisti izdvojili više budžeta za startapove dubokog učenja u posljednjih šest mjeseci nego u posljednjih 5 godina.

Ovo područje se aktivno razvija, ima mnogo zanimljivih pravaca. Živimo u zanimljivim vremenima. Ako se bavite dubokim učenjem, vjerovatno je vrijeme da otvorite svoj startup.

Pa, vjerovatno ću završiti sa ovim. Hvala vam puno.

Neuronske mreže u medicini

Aleksandar Ježov, Vladimir Čečetkin

Institut za inovacije i istraživanje fuzije, Troitsk

[email protected]

Specifični sistemi

Borba protiv raka

Neurosistemi, genetika i molekuli

Neuronske mreže hodaju planetom

Umjesto zaključka

Oštar bol u grudima. Hitna pomoć doprema pacijenta u Urgentni centar, gde dežurni lekar mora da postavi dijagnozu i utvrdi da li se zaista radi o infarktu miokarda. Iskustvo pokazuje da je udio pacijenata koji su imali srčani udar među primljenima sa sličnim simptomima mali. Međutim, još uvijek nema preciznih dijagnostičkih metoda. Elektrokardiogram ponekad ne sadrži očiglednih znakova bolest. I koliko parametara stanja pacijenta može na ovaj ili onaj način pomoći u postavljanju ispravne dijagnoze u ovom slučaju? Preko četrdeset. Može li doktor u hitnoj pomoći brzo analizirati sve ove pokazatelje, zajedno sa njihovim odnosima, da donese odluku o upućivanju pacijenta na kardiološko odjeljenje? U određenoj mjeri, tehnologije neuronskih mreža pomažu u rješavanju ovog problema.

Statistika je sljedeća: doktor ispravno dijagnosticira infarkt miokarda u 88% pacijenata i pogrešno postavlja ovu dijagnozu u 29% slučajeva. Previše je lažnih alarma (prekomerna dijagnoza). Povijest korištenja različitih metoda obrade podataka za poboljšanje kvalitete dijagnoze seže desetljećima unatrag, ali su najbolji od njih pomogli da se broj slučajeva prekomjerne dijagnoze smanji za samo 3%.

Godine 1990. William Bakst sa Univerziteta Kalifornije u San Diegu koristio je neuronsku mrežu - višeslojni perceptron - da prepozna infarkt miokarda kod pacijenata koji su primljeni u hitnu pomoć sa akutni bol u grudima. Njegov cilj je bio da napravi alat koji može pomoći doktorima koji nisu u stanju da se nose sa protokom podataka koji karakterišu stanje primljenog pacijenta. Drugi cilj može biti poboljšanje dijagnostike. Istraživač je otežao svoj zadatak, jer je analizirao podatke samo onih pacijenata koji su već bili upućeni na kardiološko odjeljenje. Bakst je koristio samo 20 parametara, među kojima su dob, spol, lokacija boli, odgovor na nitroglicerin, mučnina i povraćanje, znojenje, sinkopa, respiratorna frekvencija, broj otkucaja srca, prethodni srčani udari, dijabetes, hipertenzija, proširenje jugularne vene, niz EKG karakteristike i prisustvo značajnih ishemijskih promjena.

Mreža je bila 92% tačna u otkrivanju infarkta miokarda i proizvela je samo 4% lažnih alarma, što je pogrešno potvrdilo upućivanje pacijenata bez infarkta na kardiološkog odjeljenja. Dakle, postoji činjenica o uspješnoj primjeni umjetnih neuronskih mreža u dijagnostici bolesti. Sada je potrebno objasniti po kojim parametrima se procjenjuje kvalitet dijagnoze u općem slučaju. Pretpostavimo da od deset ljudi koji zaista imaju srčani udar, dijagnostička metoda omogućava vam da otkrijete bolest u osam. Tada će osjetljivost metode biti 80%. Ako uzmemo deset osoba koje nemaju srčani udar, a dijagnostička metoda sumnja na tri osobe, tada će udio lažnih uzbuna biti 30%, dok će mu dodatna karakteristika - specifičnost metode - biti jednaka. do 70%.

Idealna dijagnostička metoda treba imati stopostotnu osjetljivost i specifičnost - prvo, da ne propusti nijednu zaista bolesnu osobu i, drugo, da ne uplaši zdrave ljude. Da biste se osigurali, možete i trebate pokušati prije svega osigurati stopostotnu osjetljivost metode - ne možete propustiti bolest. Ali to rezultira, po pravilu, niskom specifičnošću metode - kod mnogih ljudi liječnici sumnjaju na bolesti od kojih pacijenti zapravo ne boluju.

Neuronske mreže za dijagnostičke zadatke

Neuronske mreže su nelinearni sistemi koji omogućavaju mnogo bolju klasifikaciju podataka od uobičajenih linearnih metoda. Kada se primjenjuju u medicinskoj dijagnostici, oni omogućavaju značajno povećanje specifičnosti metode bez smanjenja njene osjetljivosti.

Podsjetimo da je neuronska mreža za dijagnosticiranje srčanog udara radila s velikim skupom parametara, čiji se utjecaj na dijagnozu osobe ne može procijeniti. Ipak, neuronske mreže su bile u stanju da donose odluke na osnovu skrivenih obrazaca koje su identifikovali u višedimenzionalnim podacima. Distinctive property neuronske mreže je to što nisu programirane – ne koriste nikakva pravila zaključivanja da bi postavile dijagnozu, već uče da to rade na primjerima. U tom smislu, neuronske mreže nisu nimalo nalik ekspertskim sistemima, čiji se razvoj 70-ih godina dogodio nakon privremene “pobjede” umjetne inteligencije nad pristupom modeliranju pamćenja, prepoznavanju obrazaca i generalizaciji, koji je zasnovan na studiji. neuronske organizacije mozga.

Jedan od najpoznatijih razvijenih ekspertskih sistema, čije je funkcionisanje bilo zasnovano na znanju eksperata i na implementaciji procedura zaključivanja, bio je MYCIN sistem. Ovaj sistem je razvijen na Stanfordu ranih 70-ih za dijagnosticiranje septičkog šoka. Polovina pacijenata je umrla od nje u roku od jednog dana, a liječnici su mogli otkriti sepsu u samo 50% slučajeva. Činilo se da je MYCIN pravi trijumf tehnologije ekspertskih sistema, jer je mogao otkriti sepsu u 100% slučajeva. Međutim, nakon bližeg upoznavanja sa ovim stručnim sistemom, liječnici su značajno unaprijedili tradicionalne dijagnostičke metode, a MYCIN je izgubio na značaju, pretvorivši se u obrazovni sistem. Ekspertski sistemi su "išli" samo u kardiologiju - za analizu elektrokardiograma. Složena pravila koja čine glavni sadržaj knjiga o klinička analiza EKG, korišteni su od strane odgovarajućih sistema za izdavanje dijagnostičkog zaključka.

Dijagnostika je poseban slučaj klasifikacije događaja, a najvrednija je klasifikacija onih događaja koji nisu u setu za obuku neuronske mreže. Ovdje se očituje prednost tehnologija neuronskih mreža - one su u stanju izvršiti takvu klasifikaciju, generalizirajući prethodno iskustvo i primjenjujući ga u novim slučajevima.

Specifični sistemi

Primer dijagnostičkog programa je kardiodijagnostički paket koji je razvila RES Informatica zajedno sa Centrom za kardiološka istraživanja u Milanu. Program omogućava neinvazivnu kardiodijagnostiku zasnovanu na prepoznavanju tahogramskih spektra. Tahogram je histogram intervala između uzastopnih otkucaja srca, a njegov spektar odražava ravnotežu aktivnosti ljudskog simpatičkog i parasimpatičkog nervnog sistema, koja se specifično mijenja kod različitih bolesti.

Na ovaj ili onaj način, već se može konstatovati da se neuronske mreže pretvaraju u alat za kardiodijagnostiku - u Engleskoj se, na primjer, koriste u četiri bolnice za prevenciju infarkta miokarda.

U medicini se koristi i druga karakteristika neuronskih mreža - njihova sposobnost predviđanja vremenskih sekvenci. Već je navedeno da su ekspertni sistemi uspjeli u EKG analizi. Ovdje su korisne i neuronske mreže. Ki Zhenghu, Yu Henu i Willis Tompkins sa Univerziteta Wisconsin razvili su sistem filtriranja neuronske mreže za elektrokardiograme koji može potisnuti nelinearnu i nestacionarnu buku mnogo bolje od prethodno korištenih metoda. Činjenica je da je neuronska mreža dobro predvidjela buku po svojim vrijednostima u prethodnim vremenskim trenucima. A da su neuronske mreže vrlo efikasne za predviđanje vremenskih sekvenci (kao što su, na primjer, devizni kursevi ili kotacije dionica), uvjerljivo su pokazali rezultati takmičenja prediktivnih programa koje je proveo Univerzitet Santa Fe - neuronske mreže su zauzele prve mjesto i dominirao među najboljim metodama.

Mogućnosti korištenja neuronskih mreža

EKG je privatna, ali izuzetno važna aplikacija. Međutim, danas postoje mnogi drugi primjeri upotrebe neuronskih mreža za medicinska predviđanja. Poznato je da su dugi redovi na odjelima kardiohirurgije (od sedmica do mjeseci) uzrokovani nedostatkom jedinica intenzivne njege. Njihov broj nije moguće povećati zbog visokih troškova reanimacije (Amerikanci troše 70% sredstava u posljednje 2 sedmice života na ovom odjeljenju).

Jedini izlaz je efikasnije korištenje raspoloživih sredstava. Pretpostavimo da je stanje pacijenata koji su operisani određenog dana toliko teško da im je potreban dug boravak na jedinici intenzivne njege (više od dva dana). Sve ovo vrijeme hirurzi će mirovati, jer se novooperisani pacijenti nemaju gdje smjestiti. Teške bolesnike je pametnije operisati prije vikenda ili praznika - operacione sale su i ovih dana zatvorene, hirurzi će se odmarati, a pacijenti oporavljati na intenzivnoj njezi. Ali na početku radne nedelje bolje je operisati one pacijente koji će morati da budu na jedinici intenzivne nege samo jedan ili dva dana. Tada će se kreveti u jedinici intenzivne njege brže prazniti i primati nove pacijente operisane u utorak i srijedu.

Pitanje je kako pogoditi ko će morati da ostane na intenzivnoj njezi dugo nakon operacije, a ko ne. Jack Too i Michael Guerier sa Univerziteta u Torontu u bolnici St. Michael koristili su neuronske mreže da bi napravili ovo predviđanje. Kao početne podatke uzeli su samo one podatke o pacijentu koji su poznati u preoperativnom periodu. Napominjemo da su u prethodnim studijama koje nisu koristile neuronske mreže važne postoperativne informacije korištene i kao faktori za povećani rizik boravka na intenzivnoj njezi – razne komplikacije koje su nastale tokom hirurške intervencije.

Tu i Guerir su obučili dvoslojni perceptron kako bi podijelili pacijente u tri rizične grupe, uzimajući u obzir njihovu dob, spol, funkcionalno stanje lijeve komore, stepen složenosti nadolazeće operacije i prisustvo pratećih bolesti. Od onih pacijenata koje je mreža identificirala kao s niskim rizikom od kašnjenja na intenzivnoj njezi, samo 16,3% je zapravo provelo više od dva dana na intenzivnoj njezi. Istovremeno, preko 60% onih koje je mreža identificirala kao visokorizične opravdalo je nepovoljnu prognozu.

Borba protiv raka

Posebnu pažnju posvetili smo kardiovaskularnim bolestima, jer one zauzimaju tužno liderstvo na listi uzroka smrti. Na drugom mjestu su onkološke bolesti. Jedna od glavnih oblasti u kojoj se trenutno radi na korištenju neuronskih mreža je dijagnostika raka dojke. Ova bolest je uzrok smrti svake devete žene.

Detekcija tumora se vrši prilikom inicijalne rendgenske analize dojke (mamografija) i naknadne analize komada tumorskog tkiva (biopsija). Unatoč postojanju općih pravila za razlikovanje benignih i malignih neoplazmi, prema mamografiji, samo 10 do 20% rezultata naknadne hirurške biopsije zaista potvrđuje prisustvo raka dojke. Opet, imamo posla sa slučajem izuzetno niske specifičnosti metode.

Istraživači sa Univerziteta Duke obučili su neuronsku mrežu da prepozna mamografe malignog tkiva na osnovu osam karakteristika sa kojima se radiolozi obično bave. Ispostavilo se da je mreža u stanju da reši problem sa osetljivošću od oko 100% i specifičnošću od 59% (u poređenju sa 10-20% za radiologe). Koliko se žena sa benignim tumorima može spasiti od stresa uzimanja biopsije pomoću ove neuronske mreže! Na klinici Mayo (Minnesota) neuronska mreža je analizirala rezultate ultrazvuka dojke i dala specifičnost od 40%, dok se za iste žene pokazalo da je specifičnost zaključka radiologa ravna nuli. Nije li istina da uspjeh korištenja tehnologija neuronskih mreža ne izgleda nimalo slučajno?

Nakon liječenja karcinoma dojke moguć je recidiv tumora. Neuronske mreže već pomažu u njihovom efikasnom predviđanju. Slično istraživanje se provodi na Medicinskom fakultetu Univerziteta u Teksasu. Obučene mreže su pokazale svoju sposobnost da identifikuju i uzmu u obzir veoma složene odnose prediktivnih varijabli, posebno njihove trostruke odnose za poboljšanje prediktivne sposobnosti.

Mogućnosti upotrebe neuronskih mreža u medicini su različite, a njihova arhitektura je raznolika. Na osnovu prognoze dugoročnih rezultata liječenja bolesti jednom ili drugom metodom, može se dati prednost jednom od njih. Značajan rezultat u prognozi liječenja karcinoma jajnika (bolesti svake sedamdesete žene) postigao je poznati holandski specijalista Herbert Kappen sa Univerziteta u Nimegenu (u svom radu koristi ne višeslojne perceptrone, već tzv. Boltzmann). Mašine – neuronske mreže za procjenu vjerovatnoća).

A evo primjera još jedne onkološke bolesti. Istraživači na medicinskom fakultetu u Kagawi, Japan, obučili su neuronsku mrežu koja je predviđala rezultate resekcija jetre kod pacijenata sa hepatocelularnim karcinomom sa preoperativnim podacima gotovo bez grešaka.

Na Institutu za inovacije i fuziju u Troicku (TRINITI), u sklopu projekta stvaranja konsultativnih sistema neuronske mreže koji implementira Ministarstvo nauke, razvijen je program neuronske mreže koji bira metodu liječenja karcinoma bazalnih ćelija kože (bazalni karcinoma ćelija) na osnovu dugoročne prognoze recidiva. Broj slučajeva bazalioma - onkološke bolesti beloputih osoba sa tankom kožom - čini trećinu svih onkoloških bolesti.

Dijagnoza jednog od oblika melanoma - tumora, koji je ponekad teško razlikovati od pigmentiranog oblika bazalioma, provedena je pomoću simulatora neuronske mreže Multineuron koji je razvijen u Računskom centru SOAN-a u Krasnojarsku pod vodstvom A.N. Gorbana.

Kratki opis

Neuronske mreže za dijagnostičke zadatke

Specifični sistemi

Mogućnosti korištenja neuronskih mreža

Borba protiv raka

Neurosistemi, genetika i molekuli

Neuronske mreže hodaju planetom

Neuronske mreže preciznije dijagnosticiraju srčane probleme od doktora

• medgadgeti ,
• štrebersko zdravlje,

Ljudski faktor često uzrokuje probleme. To se odnosi na proizvodnju, svakodnevne situacije, vožnju i, naravno, medicinu. Greška lekara može značiti gubitak zdravlja, pa čak i života pacijenta, a lekari greše ne tako retko. Čak i profesionalac najvišeg standarda može pogriješiti - na kraju krajeva, specijalista može biti umoran, iziritiran, koncentrisan na problem gori nego inače.

U tom slučaju mašine mogu priskočiti u pomoć. Isti IBM Watson kognitivni sistem, na primjer, prilično je dobro vođen radom u oblasti medicine (onkologija, čitanje rendgenskih snimaka, itd.). Ali postoje i druga rješenja koja predlažu nezavisni istraživači. Jedno od ovih rješenja kreirali su naučnici sa Stanforda predvođeni Andrewom Angiejem, poznatim stručnjakom za umjetnu inteligenciju u svojoj oblasti.

On i njegove kolege razvili su sistem koji je u stanju da dijagnostikuje srčanu aritmiju na kardiogramu, a kompjuter to radi bolje od stručnjaka. Riječ je o neuronskoj mreži koja nakon treninga može dijagnosticirati aritmiju visok stepen tačnost. Istovremeno, kompjuter radi ne samo pouzdanije, već i brže od neuronske mreže, pa je zadatak analize medicinskih slika i EKG rezultati može se prenijeti na računar nakon završne "dorade" sistema. Doktor može samo provjeriti rad dotične softverske i hardverske platforme i postupiti u skladu s konačnom dijagnozom.

Ovaj projekat pokazuje koliko kompjuter može promijeniti medicinu poboljšavajući različite aspekte ove oblasti. Neuronske mreže već pomažu doktorima u dijagnosticiranju raka kože, raka dojke i očnih bolesti. Sada je na redu kardiologija.

„Stvarno mi se sviđa koliko brzo ljudi prihvataju ideju da duboko učenje može pomoći u poboljšanju tačnosti doktorske dijagnoze“, kaže Angie. On također smatra da mogućnosti kompjuterskih sistema nisu ograničene samo na to, već se mogu koristiti u mnogim drugim oblastima.

Tim sa Stanforda proveo je dosta vremena trenirajući neuronsku mrežu kako bi sistem mogao identificirati abnormalnosti u EKG podacima. Istovremeno, aritmija je veoma izražena opasna bolest, može dovesti do iznenadna smrt od srčanog zastoja. Problem je što aritmiju nije tako lako otkriti, pa pacijenti sa sumnjom na aritmije ponekad moraju nositi EKG senzor i po nekoliko sedmica. Pa čak i nakon toga možda neće biti dovoljno podataka za dijagnosticiranje odstupanja.

Kao što je već navedeno, neuronska mreža je morala biti obučena, i to na primjeru realnih pokazatelja bolničkih pacijenata. Sami prikupite nekoliko desetina hiljada rezultata EKG mjerenja Stanford nije bio u mogućnosti, pa su se udružili s iRhythmom, kompanijom koja proizvodi prijenosne EKG uređaje. Kompanija je obezbedila 30.000 snimaka u trajanju od 30 sekundi rezultata merenja srčanog mišića pacijenata koji boluju od različite forme aritmije. Da bi se povećala tačnost algoritma, kao i da bi se rezultati kompjutera uporedili sa rezultatima lekarske dijagnostike, korišćeno je još 300 zapisa. Istovremeno su ih analizirali i mašina i doktori. Potom je rezultate ocjenjivao poseban žiri, koji je uključivao 3 kardiologa ekstra klase.

Duboko učenje neuronske mreže počelo je “hranjenjem” ogromne količine podataka. Zatim je korišteno fino podešavanje kako bi se poboljšala točnost dijagnostike.

Pored gore navedenih stručnjaka, druge grupe koriste mašinsko učenje za kreiranje sistema koji mogu dijagnosticirati aritmiju. Na primjer, Eric Horowitz, izvršni direktor Microsoft Research-a (on je i sam ljekar) i njegove kolege rade u približno istom smjeru kao i specijalisti sa Stanforda. Po njihovom mišljenju, neuronske mreže zaista mogu poboljšati kvalitet medicinske skrbi za pacijente, pomažući liječnicima da troše manje vremena na rutinu, a više na traženje. efikasne metode tretmana svojih pacijenata.

Tagovi:

• neuronske mreže
• doktori
• lijek

Ali i za rješavanje važnijih zadataka - na primjer, traženje novih lijekova. Selo se obratilo stručnjacima kako bi saznali koje su karakteristike tehnologije i kako je koriste domaće kompanije i univerziteti.

Šta su neuronske mreže?

Da bismo razumjeli koje mjesto neuronske mreže zauzimaju u svijetu vještačke inteligencije i kako su povezane sa drugim tehnologijama za kreiranje inteligentnih sistema, krenimo od definicija.

Neuralne mreže- jedna od metoda mašinskog učenja, čiji su temelji nastali 1943. godine, čak i prije pojave pojma "vještačka inteligencija". Oni su matematički model koji na daljinu podsjeća na rad nervnog sistema životinja.

Prema rečima višeg istraživača na Univerzitetu Innopolis, Stanislava Protasova, najbliži analog ljudski mozak su konvolucione neuronske mreže koje je izumeo matematičar Jan LeKun. "Oni su u srcu mnogih aplikacija koje tvrde da su umjetna inteligencija, kao što su FindFace ili Prisma", napominje on.

Mašinsko učenje- pododjeljak umjetne inteligencije na raskrsnici matematike i informatike. Proučava metode za izgradnju modela i algoritama po principu učenja. Mašina analizira primjere koji su joj dostavljeni, ističe obrasce, generalizira ih i gradi pravila koja rješavaju različite probleme - na primjer, predviđanja dalji razvoj događaje ili prepoznavanje i generisanje slika, teksta i govora. Osim neuronskih mreža, ovdje se također koriste metode linearne regresije, stabla odlučivanja i drugi pristupi.

Umjetna inteligencija- odeljak informatike o stvaranju tehnoloških sredstava za mašine za obavljanje zadataka koji su se ranije smatrali isključivo prerogativom čoveka, kao i označavanje takvog razvoja. Pravac se zvanično formirao 1956. godine.

Alexander Krainov

Šta se može nazvati veštačkom inteligencijom, a šta ne, stvar je dogovora. Uglavnom, čovječanstvo nije došlo do nedvosmislene formulacije o tome što je inteligencija općenito, da ne spominjemo umjetna. Ali ako sumiramo ono što se događa, onda možemo reći da su umjetna inteligencija duboke neuronske mreže koje rješavaju složene probleme na nivou bliskom nivou osobe, a donekle i samoučenju. U isto vrijeme, samoučenje ovdje znači mogućnost samostalnog izdvajanja korisnog signala iz sirovih podataka.

Kakvo je trenutno stanje u industriji?

Prema Gartneru, analitičkoj agenciji, mašinsko učenje je sada na vrhuncu naduvanih očekivanja. Tipično za ovu fazu, uzbuđenje okolo nova tehnologija dovodi do preteranog entuzijazma, koji se pretvara u neuspešne pokušaje da se koristi svuda. Procjenjuje se da će industriji trebati od dvije do pet godina da se riješi iluzija. Prema ruskim stručnjacima, neuronske mreže će uskoro morati proći test snage.

Sergey Negodyaev

Portfolio menadžer, Fond za razvoj internet inicijativa

Iako su naučnici formalizirali i razvijali neuronske mreže već 70 godina, postoje dvije prekretnice u razvoju ove tehnologije. Prvi je bio 2007. godine, kada je Univerzitet u Torontu kreirao algoritme dubokog učenja za višeslojne neuronske mreže. Drugi trenutak koji je izazvao trenutni bum bila je 2012. godina, kada su istraživači sa istog univerziteta primijenili duboke neuronske mreže i pobijedili na ImageNet takmičenju, naučivši da prepoznaju objekte na fotografijama i video zapisima sa minimalnim greškama.

Sada postoji dovoljno kompjuterske snage za rješavanje, ako ne bilo kakvih, onda velike većine zadataka zasnovanih na neuronskim mrežama. Sada je glavna prepreka nedostatak označenih podataka. Relativno govoreći, da bi sistem naučio da prepozna zalazak sunca na video snimku ili fotografiji, potrebno je da nahrani milion slika zalaska sunca, pokazujući tačno gde se nalazi u kadru. Na primjer, kada postavite fotografiju na Facebook, vaši prijatelji je prepoznaju kao mačku na zracima zalazećeg sunca, a društvena mreža na njoj vidi skup oznaka: „životinja“, „mačka“, „drvena“, „pod”, „veče”, „narandžasta”. Ko ima više podataka o obuci, imat će neuronsku mrežu koja će biti pametnija.

Andrej Kalinjin

Šef Poisk Mail.Ru

Zabavne aplikacije zasnovane na neuronskim mrežama kao što su Artisto ili Vinci samo su vrh ledenog brega i odličan način da prikažu svoje mogućnosti široj publici. U stvari, neuronske mreže su sposobne riješiti niz složenih problema. Najtoplije oblasti sada su autopiloti, glasovni asistenti, chat botovi i medicina.

Alexander Krainov

Šef službe za kompjuterski vid, Yandex

Možemo reći da je bum neuronskih mreža već stigao, ali još nije dostigao svoj vrhunac. Dalje će biti samo još zanimljivije. Oblasti koje najviše obećavaju danas su, možda, kompjuterski vid, sistemi dijaloga, analiza teksta, robotika, bespilotna vozila i generisanje sadržaja – tekstova, slika, muzike.

Obećavajuća područja za implementaciju neuronskih mreža

Transport

Robotika

Biotehnologija

Poljoprivreda

Internet stvari

Mediji i zabava

Lingvistika

Sigurnost

Vlad Shershulsky

Direktor Microsoft programa tehnološke saradnje u Rusiji

Neuralna revolucija se već dogodila danas. Ponekad je čak teško razlikovati fikciju od stvarnosti. Zamislite automatizovani kombajn sa više kamera. Snima 5 hiljada slika u minuti i kroz neuronsku mrežu analizira da li je korov ispred njega ili je biljka zaražena štetočinama, nakon čega odlučuje šta dalje. Fikcija? Ne više stvarno.

Boris Wolfson

Direktor razvoja Headhunter-a

Postoji određena pompa oko neuronskih mreža i, po mom mišljenju, malo visoka očekivanja. Proći ćemo kroz period frustracije prije nego što naučimo kako ih efikasno koristiti. Mnogi revolucionarni rezultati istraživanja još uvijek nisu vrlo primjenjivi u poslovanju. U praksi je često razumnije koristiti druge metode mašinskog učenja – na primjer, različite algoritme zasnovane na stablima odlučivanja. Vjerovatno ne izgleda tako uzbudljivo ili futuristički, ali ovi pristupi su vrlo česti.

Šta neuronske mreže uče u Rusiji?

Učesnici na tržištu se slažu da su mnoga dostignuća neuronskih mreža još uvijek primjenjiva samo na akademskom polju. Izvan svojih granica, tehnologija se uglavnom koristi u zabavnim aplikacijama, što podstiče interesovanje za ovu temu. Ipak, ruski programeri podučavaju neuronske mreže rješavanju društveno značajnih i poslovnih problema. Pogledajmo pobliže neka područja.

Nauka i medicina

Yandex škola za analizu podataka učestvuje u eksperimentu CRAYFIS zajedno sa predstavnicima Skolkova, Moskovskog instituta za fiziku i tehnologiju, Visoke škole ekonomije i američkih univerziteta UCI i NYU. Njegova suština je traženje kosmičkih čestica ultra visoke energije pomoću pametnih telefona. Podaci iz kamera se prenose u ubrzane neuronske mreže, sposobne da hvataju tragove slabo interakcijskih čestica na slikama.

Ovo nije jedini međunarodni eksperiment u koji su uključeni ruski stručnjaci. Naučnici sa Univerziteta Innopolis Manuel Mazzara i Leonard Johard uključeni su u projekat BioDynaMo. Uz podršku Intela i CERN-a, žele stvoriti prototip koji može reproducirati punu simulaciju moždane kore. Uz njegovu pomoć planira se povećati efikasnost i ekonomičnost eksperimenata koji zahtijevaju prisustvo živog ljudskog mozga.

Profesor Innopolisa Yaroslav Kholodov učestvovao je u razvoju kompjuterskog modela sposobnog da predvidi stvaranje proteinskih veza deset puta brže. Ovim algoritmom se može ubrzati razvoj vakcina i lijekova. U istoj oblasti zapaženi su programeri iz Mail.Ru Group, Insilico Medicine i MIPT. Koristili su generativne suparničke mreže, obučene da izmišljaju molekularne strukture, da traže supstance koje bi mogle biti korisne kod bolesti u rasponu od raka do kardiovaskularnih bolesti.

ljepotu i zdravlje

2015. godine ruska kompanija Youth Laboratories pokrenula je prvo međunarodno takmičenje ljepote Beauty.AI. Fotografije učesnika u njemu procijenjene su neuronskim mrežama. Prilikom određivanja pobjednika uzeli su u obzir spol, godine, nacionalnost, boju kože, simetriju lica i prisustvo ili odsustvo bora kod korisnika. Potonji faktor je također potaknuo organizatore da kreiraju uslugu RYNKL, koja vam omogućava da pratite kako starenje utječe na kožu i kako se različiti lijekovi bore protiv nje.

Neuronske mreže se također koriste u telemedicini. Ruska kompanija Mobile Medical Technologies, koja upravlja projektima Online Doctor and Pediatrician 24/7, testira dijagnostički bot koji će biti koristan i pacijentima i ljekarima. Za prvu će vam reći kojem specijalistu se obratiti za određene simptome, a za drugu će vam pomoći da utvrdite od čega je posjetitelj točno bolestan.

Optimizacija poslovnih procesa i oglašavanje

Ruski startup Leadza uspio je pomoću neuronskih mreža efikasnije raspodijeliti budžet za oglašavanje na Facebooku i Instagramu. Algoritam analizira rezultate prošlih kampanja, gradi prognozu ključnih metrika i na osnovu njih automatski preraspoređuje troškove kako bi online trgovine mogle dobiti više kupaca po nižoj cijeni.

GuaranaCam tim je koristio tehnologije mašinskog učenja kako bi procijenio učinkovitost postavljanja proizvoda i reklamnih materijala van mreže. Sistem je baziran na Microsoft Azure oblaku i analizira ponašanje potrošača pomoću CCTV kamera. Vlasnici preduzeća dobijaju izveštaj o statusu trgovanja u realnom vremenu. Projekat se već realizuje u tržni centar"Mega Bela Dacha".

Uspješnim domaćim primjerima upotrebe neuronskih mreža u poslovanju tu nije kraj. LogistiX, koji eksperimentiše sa tehnologijama veštačke inteligencije od 2006. godine, razvio je sistem za optimizaciju skladišta. Zasnovan je na neuronskoj mreži za učenje koja analizira podatke o zaposlenima primljene od fitnes trackera i redistribuira opterećenje između njih. Sada tim uči neuronske mreže da razlikuju brak.

Holding Belfingroup otišao je još dalje. Njegova "ćerka" BFG-soft kreirala je platformu u oblaku BFG-IS, koja vam omogućava da upravljate preduzećem koristeći njegov virtuelni model. Potonji se automatski gradi na osnovu proizvodnih podataka koje prikuplja sistem i ne samo da pokazuje kako najbolje organizirati procese uzimajući u obzir postavljene ciljeve, već i predviđa posljedice bilo kakvih promjena – od zamjene opreme do uvođenja dodatnih smjena. Krajem 2016. godine Fond za razvoj internetskih inicijativa odlučio je da uloži 125 miliona rubalja u kompaniju.

Regrutiranje i upravljanje osobljem

Ruski agregator za zapošljavanje Stafory završava obuku rekurentne neuronske mreže koja ne samo da može dati jednosložne odgovore na pitanja kandidata, već i voditi potpuni razgovor s njima o slobodnom mjestu za koje su zainteresirani. A tim portala SuperJob testira uslugu koja predviđa koji će od stotina životopisa iste vrste biti tražen kod određenog poslodavca.

Transport

Ruski programer inteligentnih sistema Cognitive Technologies koristi neuronske mreže za prepoznavanje Vozilo, pješaci, putokazi, semafori i drugi predmeti koji upadaju u okvir. Kompanija takođe prikuplja podatke za obuku neuronske mreže za bespilotno vozilo. Riječ je o desetinama hiljada epizoda koje opisuju reakciju vozača na određene kritične situacije na putevima. Kao rezultat, sistem mora formulisati optimalne scenarije za ponašanje autorobota. Iste tehnologije se koriste za stvaranje pametnog poljoprivrednog transporta.

Osim toga, neuronske mreže se mogu koristiti u oblasti transporta i na druge načine. U ljeto 2016. godine Yandex je dodao na svoju oglasnu ploču Avto.ru funkciju automatskog otkrivanja modela automobila sa svoje fotografije. Tada je sistem znao 100 maraka.

Psihologija i sigurnost

Ruski startup NTechLab, koji je zaobišao Google međunarodno takmičenje Algoritmi za prepoznavanje lica MegaFace Benchmark koristi tehnologije mašinskog učenja u aplikaciji FindFace. Omogućava vam da pronađete osobu na društvenim mrežama po fotografiji. Korisnici se često obraćaju servisu kako bi otkrili lažne, ali može biti od koristi i službenicima za provođenje zakona. Uz njegovu pomoć, identitet nekoliko kriminalaca je već utvrđen, uključujući i napadača Citibanke u Moskvi. Poslovna verzija FindFace.Pro je dostupna kompanijama zainteresovanim za identifikaciju korisnika. Sada se sistem osposobljava za određivanje spola, starosti i emocija drugih, što može biti korisno ne samo u komunikaciji s kupcima, već iu upravljanju osobljem.

Slično, neuronske mreže koristi još jedna ruska kompanija - VisionLabs. Koristi tehnologiju prepoznavanja lica kako bi osigurao sigurnost u bankama i generirao posebne ponude za najlojalnije kupce raznih maloprodajnih objekata.

Emotian startup radi u sličnom pravcu. Finalizira sistem za određivanje emocionalnog stanja gradova. Do sada, neuronska mreža izračunava najsrećnija područja na osnovu publikacija na društvenim mrežama, ali će u budućnosti kompanija uzeti u obzir biometrijske podatke sa kamera.

Mediji i kreativnost

Jedan od glavnih igrača na ruskom tržištu neuronskih mreža je Yandex. Kompanija koristi mašinsko učenje ne samo u svojim uslugama pretraživanja, već iu drugim proizvodima. Godine 2015. pokrenula je Zen sistem preporuka, koji generiše feed vijesti, članaka, fotografija i video zapisa na osnovu interesovanja određenog korisnika. Što se češće okreće materijalima odabranim algoritmom, to preciznije neuronska mreža određuje šta bi mu se još moglo svidjeti.

Osim toga, Yandex također eksperimentiše s kreativnošću. Zaposleni u kompaniji već su uspjeli primijeniti pristup neuronske mreže na poeziju, a zatim