ВВЕДЕНИЕ 3
ПОСТАНОВКА ЗАДАЧИ 5
ОБЗОР ЛИТЕРАТУРЫ 5
ГЛАВА 1. Программы по развитию нейроморфных вычислений 10
1.1. DARPA SyNAPSE 10
1.1.1. Предпосылки создания 11
1.1.2. Результаты 13
1.2. The Human Brain Project 26
ГЛАВА 2. Сравнительный анализ нейроморфных архитектур 29
2.1. HiCANN 29
2.2. SpiNNaker 30
2.3. Нейроморфная архитектура HRL 31
2.4. Neurogrid 32
2.5. TrueNorth 33
ГЛАВА 3. Рабочая станция разработки нейронных сетей 34
3.1. Нейросинаптический суперкомпьютер IBM NS16e 34
3.2. Создание корпуса NS16e 44
3.3. NS16e как рабочая станция разработки нейронных сетей 47
3.4. Как программировать нейросинаптический суперкомпьютер 50
3.4.1. Набор данных и предобработка 52
3.4.2. Обучение и Corelet 53
3.4.3. Плейсер 53
3.4.4. Тестовое приложение 54
3.5. Конечная конфигурация оборудования 55
ВЫВОДЫ 57
ЗАКЛЮЧЕНИЕ 58
Список литературы и источников 58
Рекомендуемые энциклопедические статьи 62
Сегодня Facebook, Google и другие технологические компании решают множество интеллектуальных задач, применяя традиционные компьютеры и чипы. Рано или поздно они сталкиваются с «бутылочным горлышком» в пропускной способности и производительности своих систем, особенно если существует острая необходимость в обучении нейронных сетей (время обучения может отнимать дни и недели). Вся индустрия электроники ищет пути решения данной проблемы.
Традиционным подходом принято считать эксплуатацию и модификацию современных систем и чипов до тех пор, пока их производительность не будет достигать предела. Другой подход, нетрадиционный, ищет возможности в вычислениях, вдохновленных человеческим мозгом, нейроморфных вычислениях.
Идея нейроморфных вычислений (neuromorphic computing) была предложена инженером Карвером Мидом (Carver Mead) [1] в 80-х гг. прошлого века и заключалась в применении искусственных нейронных сетей в комбинации со специализированными чипами, архитектура которых напоминала бы структуру человеческого мозга и являлась бы аппаратной поддержкой нейронных сетей.
Такие чипы должны резко увеличить производительность нейронных сетей и буквально совершить прорыв в областях их применения:
• Финансы: предсказание кредитного рейтинга, банкротства; определение мошенничества; определение платежеспособности клиентов; прогноз цен; прогноз экономических показателей.
• Медицина: постановка диагноза; определение стоимости лечения.
• Промышленность: контроль процессов; контроль качества; предсказание температуры и силы.
• Анализ данных: предсказание; классификация; обнаружение отклонений; анализ временных рядов; извлечение знаний.
• Маркетинг: предсказание продаж; целевой маркетинг.
• Операционный анализ: оптимизация инвентаря; оптимизация расписаний; принятие решений.
• HR (Human Resources): отбор кандидатов; составление расписаний; профилирование персонала.
• Энергетика: предсказание нагрузки на электросети; предсказание потребностей в энергии; предсказание цены на бензин/уголь; системы контроля энергии; мониторинг гидроэлектростанций.
• Наука: определение паттернов; определение веществ; моделирование физических систем; оценка экосистем; ботаническая классификация; обработка сигналов; анализ биологических систем.
• Образование: обучающие нейронные сети; оценка работ обучающихся; предсказание производительности студентов.
• Другое: спортивные ставки; разработка видеоигр; транспортные проблемы.
Ключевым аспектом нейроморфных вычислений является понимание того, как комбинация индивидуальных нейронов, микросхем, приложений, архитектур создает желаемые вычисления, влияет на представление информации, устойчивость к повреждениям, сочетает обучение и разработку, адаптируется к локальным изменениям (свойство пластичности) и совершает эволюционные преобразования.
Нейроморфные вычисления являются междисциплинарным предметом, сочетающим биологию, физику, математику, компьютерные науки, электронику, чтобы создавать нейронные системы, системы компьютерного зрения, слуховые процессоры, автономных роботов, физическая архитектура и дизайнерские решения которых основаны на принципах биологических систем. [2]
В России, к сожалению, нет масштабных проектов по поддержке нейроморфных вычислений.
Последняя нейроморфная архитектура под названием NeuroMatrix была разработана еще в 90-х годах, но тем не менее чипы на ее основе по-прежнему производятся.
В данной работе были рассмотрены программы и разработки в области нейроморфных архитектур. Был проведен сравнительный анализ пяти самых распространенных архитектур и на основе самой эффективной было подобрано соответствующее решение в качестве рабочей станции для разработки нейронных сетей.
1. Carver A. Mead. Interviewed by Shirley K. Cohen. CALIFORNIA INSTITUTE OF TECHNOLOGY ARCHIVES. Pasadena, California. July 17, 1996. - http://oralhistories.library.caltech.edU/133/2/OH Mead.pdf
2. Boddhu, S. K.; Gallagher, J. C. (2012). "Qualitative Functional Decomposition Analysis of Evolved Neuromorphic Flight Controllers". Applied Computational Intelligence and Soft Computing 2012: 1-21. - http://www.hindawi.com/journals/acisc/2012/705483/
3. Tayfun Gokmen, Yurii Vlasov. Acceleration of Deep Neural Network Training with Resistive Cross-Point Devices. IBM T. J. Watson Research Center. - https://arxiv.org/ftp/arxiv/papers/1603/1603.07341.pdf
4. Andrew Nere, Umberto Olcese, David Balduzzi, Giulio Tononi. A Neuromorphic Architecture for Object Recognition and Motion Anticipation Using Burst-STDP. May 2012 - http://dx.doi.org/10.1371/journal.pone.0036958
5. Jae-sun Seo, Bernard Brezzo, Yong Liu, Benjamin D. Parker, Steven K. Esser, Robert K. Montoye, Bipin Rajendran, Jose A. Tierno, Leland Chang, Dharmendra S. Modha, Daniel J. Friedman. A 45nm CMOS Neuromorphic Chip with a Scalable Architecture for Learning in Networks of Spiking Neurons. IBM T. J. Watson Research Center, IBM Research - Almaden. 2011 - http://www.modha.org/papers/013.CICC2.pdf
6. Broad Agency Announcement. Systems of Neuromorphic Adaptive Plastic Scalable Electronics. DARPA-BAA 08-28. 9 April 2008. - https://www.fbo.gov/download/0b6/0b62b2149395d4bd8a28dff1b90 46944/BAA08-28.doc
7. Rajagopal Ananthanarayanan, Steven K. Esser, Horst D. Simon, Dharmendra S. Modha. The Cat is Out of the Bag: Cortical Simulations with 109 Neurons, 1013 Synapses. IBM Almaden Research Center, Lawrence Berkeley National Laboratory. November 2009. - http://www.modha.org/C2S2/2009/11182009/content/SC09 TheCatIs OutofTheBag.pdf
8. Blue Brain Project profile on artificialbrains.com - http://www.artificialbrains.com/blue-brain-project
9. Neuroscience Expert Dr. Henry Markram on the IBM “Cat Brain” Simulation: “IBM’s claim is HOAX” - http://technology-report.com/2009/11/neuroscience-expert-dr-henry-markram-on-the- ibm-cat-brain-simulation-ibms-claim-is-a-hoax/
10. Eugene M. Izhikevich homepage - http://www.izhikevich.org/
11. Brain Corporation profile on artificialbrains.com - http://www.artificialbrains.com/brain-corporation
12. Paul Merolla, John Arthur, Filipp Akopyan, Nabil Imam, Rajit Manohar, Dharmendra S. Modha. A Digital Neurosynaptic Core Using Embedded Crossbar Memory with 45pJ per Spike in 45nm. IBM Research - Almaden, Cornell University. - http://www.modha.org/papers/012.CICC1.pdf
13. Nabil Imam, Thomas A. Cleland, Rajit Manohar, Paul A. Merolla, John V. Arthur, Filipp Akopyan, Dharmendra S. Modha. Implementation of olfactory bulb glomerular-layer computations in a digital neurosynaptic core. Cornell University, IBM Research - Almaden. June 2012. - http://journal.frontiersin.org/article/10.3389/fnins.2012.00083/full
14. ARTIFICIAL SYNAPSES COULD LEAD TO ADVANCED COMPUTER MEMORY AND MACHINES THAT MIMIC BIOLOGICAL BRAINS. HRL Laboratories, LLC. 23 March 2012. - http://www.hrl.com/hrlDocs/pressreleases/2012/prsRls 120323.html
15. Kuk-Hwan Kim, Siddharth Gaba, Dana Wheeler, Jose M. Cruz-Albrecht, Tahir Hussain, Narayan Srinivasa, Wei Lu. A Functional Hybrid Memristor Crossbar-Array/CMOS System for Data Storage and Neuromorphic Applications. The University of Michigan, HRL Laboratories LLC. - http://pubs.acs.org/doi/pdf/10.1021/nl203687n
...