AlexNet
AlexNet је назив за конволуцијску неуронску мрежу (енгл. convolutional neural network - CNN) коју су дизајнирали Алекс Крижевски (енгл. Alex Krizhevsky), Иља Суцкевер (енгл. Ilya Sutskever) и Џeфри Хинтон (енгл. Geoffrey Hinton).[1] Ова мрежа се сматра прекретницом у развоју вештачке интелигенције, јер је њена убедљива победа на такмичењу ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012. године[2] покренула ренесансу дубоког учења (енгл. deep learning) и масовну употребу графичких процесора за машинско учење.[3]
Архитектура мреже
[уреди | уреди извор]
Слојеви
[уреди | уреди извор]АлексНет се састоји од осам слојева: пет су конволуционих слојева и три потпуно повезана слоја. На крају мреже налази се softmax слој који врши класификацију у 1000 различитих категорија објеката.[1]
Иновативне технике учења
[уреди | уреди извор]Поред саме дубине мреже, успех АлексНета дугује се примени техника које су решиле проблем спорог учења и преприлагођавања:
- ReLu нелинеарност: Стандардни модели су пре тога користили сигмоидне функције. АлексНет је користио исправљене линеарне јединице (енгл. Rectified Linear Units - ReLu), које омогућавају бржу конвергенцију јер градијент не ишчезава тако брзо током бекпропагације (енгл. backpropagation).[1]
- Локална нормализација одговора (енгл. Local Response Normalization - LRN): Ова техника је коришћена да подстакне такмичење међу неуронима, слично као у биолошким неуронима, што је помогло у генерализацији модела.
- Преклапајуће сажимање (енгл. Overlapping Pooling): За разлику од претходних модела где су прозори за сажимање били одвојени, овде су се прозори преклапали, што је смањило могућност преприлагођавања модела подацима.
Борба против преприлагођавања
[уреди | уреди извор]С обзиром на то да АлексНет има око 60 милиона параметара, аутори су морали да примене агресивне методе како би спречили мрежу да једноставно „запамти” тренинг податке:
- Аугментација података: Аутори су користили насумично исецање делова слика (224x224 пиксела из оригиналних 256x256), хоризонтално окретање и промену интензитета боја (PCA колор аугментација). Ово је омогућило стварање виртуелно неограниченог скупа података из постојећих слика.
- Дропаут (енгл. Dropout): Ова техника се састоји у томе да се током обуке, са вероватноћом од 50% „искључи” допринос одређених неурона. На тај начин, мрежа не може да се ослони на специфичне везе, већ мора да научи робусније карактеристике које су корисне у различитим комбинацијама.[1]
Обука и скуп података
[уреди | уреди извор]АлексНет је обучаван на подскупу базе ImageNet који је садржао преко 1,2 милиона слика високе резолуције пазврстаних у 1000 категорија. Како би се осигурала конзистентност, све слике су претходно обрађиване и сведене на фиксну резолуцију од 256x256 пиксела.[4] Процес обуке је трајао пет до шест дана на две NVIDIA GTX 580 графичке картице, што је у то време био огроман подухват с обзиром на то да мрежа садржи око 650.000 неурона и 60 милиона параметара.
Хардверска имплементација
[уреди | уреди извор]Једна од специфичности оригиналне архитектуре била је подела мреже на два паралелна дела. Разлог за то је био хардверске природе - тадашњи графички процесори (енгл. graphics processing unit - GPU), конкретно NVIDIA GTX 580[5], имали су само 3GB меморије, што није било довољно за цео модел. Половина неурона налазила се на једном GPU језгру, а друга половина на другом, док су се подаци размењивали само у одређеним слојевима.
Мрежа је обучавана током пет до шест дана на две графичке картице. Данас се слични модели могу обучити за неколико минута у модерном хардверу, али је 2012. године ово представљало врхунац инжењерског подухвата. Коришћење CUDA библиотека за паралелно израчунавање директно је утицало на то да NVIDIA постане доминантан играч у свету хардвера за вештачку интелигенцију.[5]
Резултати и значај
[уреди | уреди извор]Утицај на индустију
[уреди | уреди извор]Након успеха АлексНета, истраживачка заједница је скоро у потпуности напустила традиционалне методе препознавања слика у корист дубоких конволуционих мрежа. Овај модел је послужио као основа за касније, још напредније архитектуре као што су ВГГ, ГугЛНет и РесНет. Данас се варијације ових техника користе у свему, од медицинске дијагностике до аутономних возила.[3][6]
Историјски значај
[уреди | уреди извор]Пре појаве АлексНета, препознавање објеката на сликама се углавном ослањало на ручно дизајниране алгоритме за екстракцију карактеристика. АлексНет је доказао да дубоке неуронске мреже могу саме научити релевантне карактеристике директно из сирових пиксела, под условом да имају довољно података (ImageNet база) и процесорске снаге.
Победа на такмичењу 2012. године, где је АлексНет остварио грешку од 15,3%[1] (док је другопласирани имао 26,2%)[2], сматра се преломном тачком у историји рачунарског видa. Овај моменат се често назива „ImageNet моментом” у развоју вештачке интелигенције, јер је означио почетак ере у којој су дубоке конволуционе мреже постале стандард за све задатке рачунарског вида.[3][7]
Види још
[уреди | уреди извор]Референце
[уреди | уреди извор]- ^ а б в г д Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). „ImageNet Classification with Deep Convolutional Neural Networks” (PDF).
- ^ а б „ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)”. image-net.org. Приступљено 2026-03-26.
- ^ а б в Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0262035613.
- ^ Szeliski, Richard (2022). Computer Vision: Algorithms and Applications. Springer Nature. ISBN 978-3030343712.
- ^ а б „NVIDIA GPUs Power Neural Network that Wins ImageNet Challenge”. NVIDIA Newsroom.
- ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). . „Deep learning”. Nature.
- ^ Russakovsky (2015). . „ImageNet Large Scale Visual Recognition Challenge”. International Journal of Computer Vision.
Литература
[уреди | уреди извор]- Ian Goodfellow, Yoshua Bengio, Aaron Courville, , Deep Learning,, MIT Press, 2016, ISBN 978-0262035613.
