Breve resumen de la materia

Las redes neuronales sintéticas y los métodos de machine learning (ML) son una valiosa herramienta para mejorar el entendimiento sobre el funcionamiento del cerebro. En efecto, las redes profundas son hoy en día las mejores predictoras de respuestas medias de neuronas corticales a partir de los estímulos presentados, en distintas modalidades y tareas. Este curso se enfoca en la relación de mutuo beneficio entre neurociencia e inteligencia artificial.

Objetivos del curso
El objetivo central del curso es salir del uso más habitual de ML como herramienta de análisis de datos, en el que la estructura del modelo puede o no tener relación con la
estructura del sistema de estudio, para centrarnos en técnicas de ML aplicadas al modelado de un sistema complejo y dinámico como es el cerebro. Muchas de estas ideas son sin
embargo generalizables a otros sistemas complejos y dinámicos. Cubriremos elementos básicos tanto de las redes neuronales sintéticas como de los sistemas biológicos que las
inspiraron. Además, estudiaremos una serie de trabajos de los últimos años que ilustran cómo podemos usar redes sintéticas construidas siguiendo el principio de la optimalidad
para avanzar en la comprensión del funcionamiento de distintas áreas del cerebro. Si bien el curso hará foco en el modelado de la percepción visual, también se incluirán ejemplos de percepción auditiva, y tareas de memoria. Se irá de redes feed-forward a redes recurrentes, y se presentarán distintos niveles de comparación y modelado, desde registros de neuronas individuales, a patrones poblacionales y activaciones regionales provenientes de neuroimágenes. Las clases incluirán tanto filminas como Colabs con demostraciones sencillas en Pytorch.

Programa
– Elementos de neurociencia: el cerebro y qué podemos medir.
– Elementos de redes sintéticas: arquitecturas feed-forward y arquitecturas recurrentes.
– Principio de Optimalidad y nociones básicas de entrenamiento: diferenciación automática y retropropagación.
– Redes sintéticas entrenadas funcionalmente para entender redes biológicas.
– Predicción de nuevas propiedades biológicas a partir de los modelos aprendidos, y modelos como banco de pruebas de hipótesis.

Prerrequisitos
Nociones básicas de análisis matemático y probabilidad y estadística.
Recomendado: nociones básicas de aprendizaje automático y PyTorch.
*No se requieren conocimientos previos de neurociencias*.

Bibliografía
– Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.
– Dayan, P., Abbott, L. F., & Abbott, L. (2001). Theoretical neuroscience: computational and mathematical modeling of neural systems.
– Yamins, D. L., & DiCarlo, J. J. (2016). Using goal-driven deep learning models to understand sensory cortex. Nature neuroscience, 19(3), 356.
– Kriegeskorte, N. (2015). Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual review of vision science, 1, 417-446.
– Yamins, D. L., Hong, H., Cadieu, C. F., Solomon, E. A., Seibert, D., & DiCarlo, J. J. (2014). Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, 111(23), 8619-8624.
– Güçlü, U., & van Gerven, M. A. (2015). Deep neural networks reveal a gradient in the complexity of neural representations across the ventral stream. Journal of Neuroscience, 35(27), 10005-10014.
– Khaligh-Razavi, S. M., & Kriegeskorte, N. (2014). Deep supervised, but not unsupervised, models may explain IT cortical representation. PLoS computational biology, 10(11),
e1003915.
– Cadena, S. A., Denfield, G. H., Walker, E. Y., Gatys, L. A., Tolias, A. S., Bethge, M., & Ecker, A. S. (2019). Deep convolutional models improve predictions of macaque V1
responses to natural images. PLoS computational biology, 15(4), e1006897.
– Higgins, I., Chang, L., Langston, V., Hassabis, D., Summerfield, C., Tsao, D., & Botvinick, M. (2021). Unsupervised deep learning identifies semantic disentanglement in single inferotemporal face patch neurons. Nature communications, 12(1), 6456.
– Echeveste, R., Aitchison, L., Hennequin, G., & Lengyel, M. (2020). Cortical-like dynamics in recurrent circuits optimized for sampling-based probabilistic inference. Nature neuroscience, 23(9), 1138-1149.
– Echeveste, R., Ferrante, E., Milone, D. H., & Samengo, I. (2022). Bridging physiological and perceptual views of autism by means of sampling-based Bayesian inference. Network Neuroscience, 6(1), 196-212.
– Zhuang, C., Yan, S., Nayebi, A., Schrimpf, M., Frank, M. C., DiCarlo, J. J., & Yamins, D. L. (2021). Unsupervised neural network models of the ventral visual stream. Proceedings of the National Academy of Sciences, 118(3), e2014196118.
– Bashivan, P., Kar, K., & DiCarlo, J. J. (2019). Neural population control via deep image synthesis. Science, 364(6439), eaav9436.
– Kell, A. J., Yamins, D. L., Shook, E. N., Norman-Haignere, S. V., & McDermott, J. H. (2018). A task-optimized neural network replicates human auditory behavior, predicts brain responses, and reveals a cortical processing hierarchy. Neuron, 98(3), 630-644.
– Ponce, C. R., Xiao, W., Schade, P., Hartmann, T. S., Kreiman, G., & Livingstone, M. S. (2019). Evolving super stimuli for real neurons using deep generative networks. Biorxiv, 516484. Orhan, A. E., & Ma, W. J. (2019). A diverse range of factors affect the nature of neural representations underlying short-term memory. Nature neuroscience, 22(2), 275-283.
– Neftci, E. O., Mostafa, H., & Zenke, F. (2019). Surrogate gradient learning in spiking neural networks: Bringing the power of gradient-based optimization to spiking neural networks. IEEE Signal Processing Magazine, 36(6), 51-63.