840.066 Neuroinformatik (4VU)

WS 2019/10

Vortragender: Georg Dorffner
Sprechstunden: nach Vereinbarung
email: georg<dot>dorffner<at>meduniwien<dot>ac<dot>at
Tel: 40160-36316, 06644223987
Ort:

Zusatztermine: Mittwoch 8.1. und 22.1., jeweils 12-14 Uhr; 20.11. entfällt!

Inhalt:
- Überblick Neuroinformatik/neuronale Modelle
- McCulloch-Pitts Neuronen, Perceptrons, Mehrebenenperceptrons
- Verteilte Repräsentationen
- Lernen
- Unüberwachtes Lernen, Selbstorganisierende Karten, adaptive resonance theory
- Rückgekoppelte Netze, Assoziative Speicher, dynamische Modelle
- Spike-response Modelle
- Compartmental Models
- Cognitve Neuroscience, EEG-Analyse, Brain-Computer-Interfaces
Lehrziel: Verständnis für grundlegende Computermodelle des Nervennetzes, ihren Beiträgen zum Verständnis der Informationsverarbeitung im menschlichen Gehirn, sowie allgemein der Beitrag der Informatik zur Hirnforschung.
Beurteilung:

Materialien: Hier werden laufend Links auf Folienkopien, Beispiele, Literaturhinweise, etc. zur Verfügung gestellt

Zeitplan:

Termin	Einführung	Std	Übung	vertiefende Themen	Std	Übung

7.10.	Überblick, Einführung	1
11.11.	Neuronale Netze	2	Übung 1	Past Tense Models	1
20.11.	verteilte Repräsentationen	2		Deep Learning & Neocognitron	1
25.11.	verteilte Repräsentationen, Modelle des Lernens	2	Übung 2	Place Cells / Concept Cells	1	Übung 4
02.12.	Netze mit Schleifen, dyn. Systeme	2		Reinforcement Learning	1	Übung 5
09.12.				State Spaces & Chomsky Hierarchy, Chaos-Modelle, liquid state machines	3
18.12.	Spiking Neurons, compartmental	2	Übung 3	Synchronisation	1	Übung 6
8.1.	Übungsbesprechung	2
22.1.	Informatik in Neurologie	1		"Mind Reading" with fMRI	1
27.1.	Test	1		Test	1

Begleitende Literatur:

Eliasmith C., Anderson C.H.: Neural engineering, MIT Press 2003.
Maass W., Bishop C.M.: Pulsed Neural Networks, MIT Press 1998.
Churchland P.S., Sejnowski T.J.: The Computational Brain, MIT Press, 1992.
Rojas R.: Theorie der neuronalen Netze, Springer, Berlin/Heidelberg/New York/Tokyo, 1993
Elman J.L., Bates E.A., Johnson M.H., Karmiloff-Smith A., Parisi D., Plunkett K.: Rethinking Innateness, MIT Press/Bradford Books, Cambridge/London, 1996.

Übungen:

Die Übungen werden hier bereit gestellt. Die Abgabtermine sind streng! D.h. nach den jeweiligen Terminen ist eine Abgabge nicht mehr möglich!

Übung 1 (Abgabe per email bis 25.11.2019)
Übung 2: (Abgabe: 16.12.2019, 10:00)
Angabe
Übung 3: (Abgabe: 13.1.2020, 23:00)
Angabe
Sync.zip (Workspace, muss nicht entpackt werden)
Übung 4: (Abgabe: 16.12.2019, 10:00)
Angabe
Übung 5: (Abgabe 7.1.2010)
Übung 6: (Abgabe: 13.1.2020, 23:00)
Angabe

Zeit für die Ausarbeitung: jeweils mindestens 2 Wochen

Test:

Vorlesungsunterlagen und Ergebnisse:

Die folgenden Artikel gehören weiters zum verlangten Stoff:

Elman, J. L. (1991). Distributed representations, simple recurrent networks, and grammatical structure. Machine Learning, 7, 195-224.
Gerstner W.: Spiking Neurons, in Maass W., Bishop C. (eds.): Pulsed Neural Networks, MIT Press, 1999.
Hinton G.E., McClelland J.L., Rumelhart D.E.: Distributed Representations, in Rumelhart D.E. and McClelland J.L., Parallel Distributed Processing, Explorations in the Microstructure of Cognition, Vol 1: Foundations, MIT Press, Cambridge/Boston/London, 1986.

Die folgenden Artikel sind zusätzliches empfehlenswertes Lesematerial:

Quiroga R.O.: Concept Cells: The building blocks of declarative memory, Nature Reviews Neuroscience 13, 587-597, 2012.
Elman, J.L. (1990). Finding structure in time. Cognitive Science, 14, 179-211.
R. Legenstein and W. Maass. What makes a dynamical system computationally powerful?. In New Directions in Statistical Signal Processing: From Systems to Brains, S. Haykin, J. C. Principe, T.J. Sejnowski, and J.G. McWhirter, editors, pages 127-154. MIT Press, 2007.
Pollack J.: Recursive distributed representations. Artificial Intelligence, 46(1-2):77-105, 1990.
Rumelhart, D. E. & McClelland, J. L. On learning the past tenses of English verbs, in McClelland, J. L., Rumelhart, D. E., & the PDP research group: Parallel distributed processing: Explorations in the microstructure of cognition. Volume II. Cambridge, MA: MIT Press, 1986.
Plaut, D. C. and Shallice, T. (1993). Deep dyslexia: A case study of connectionist neuropsychology. Cognitive Neuropsychology, 10, 377-500.
Skarda, C. A. & Freeman, W. J. How brains make chaos in order to make sense of the world. Brain & Behavioral Science, 10, 1987.

Referenz zur Backpropagation:

Sacramento J., Ponte Coste R., Y. Bengio, W. Senn: Dendritic cortical microcircuits approximate the backpropagation algorithm, Proceedings of NeurIPS 2017.

Referenzen zu Brain Imaging:

Mitchell TM¹, Shinkareva SV, Carlson A, Chang KM, Malave VL, Mason RA, Just MA. Predicting human brain activity associated with the meanings of nouns. Science. 2008 May 30;320(5880):1191-5.
Grotegerd D1, Suslow T, Bauer J, Ohrmann P, Arolt V, Stuhrmann A, Heindel W, Kugel H, Dannlowski U. Discriminating unipolar and bipolar depression by means of fMRI and pattern classification: a pilot study. Eur Arch Psychiatry Clin Neurosci. 2013 Mar;263(2):119-31.
Malagon-Vina H, Ciocchi S, Passecker J, Dorffner G, Klausberger T. Fluid network dynamics in the prefrontal cortex during multiple strategy switching. Nat Commun. 2018 Jan 22;9(1):309.

Simulationsumgebungen:

letzte Änderung: 30.12.2019, GD