Варвара Дьяконова
Пострефлекторная нейробиология поведения
2016
Мультитрансмиттерность доступна моделированию
[Комментарий к докладу Л. Ю. Жиляковой на VII Международной конференции по когнитивной науке, Светлогорск, 20–25 июня 2016 года // Новости биологии развития (сайт ИБР РАН URL: http://idbras.comcor.ru/?show=content44; дата обращения: 07.07.2016)]
Дьяконова В. Е. Сделан первый шаг на пути к математическому моделированию «разноцветного» мозга
Среди многих интересных и концептуальных сообщений на седьмой конференции по когнитивной науке хочется отметить доклад, который, с моей точки зрения, может стать началом для действительно нового и, главное, адекватного с биологической точки зрения подхода к математическому моделированию нервной системы.
На протяжении многих лет основной парадигмой в моделировании мыслительных и поведенческих процессов является коннекционизм – подход, в котором модель представляет собой сложную сеть из связанных между собой относительно простых и одинаковых элементов. Наиболее распространенная форма коннекционизма – искусственные нейронные сети, в которые объединены формальные нейроны. Модель формального нейрона и нейронной сети была предложена У. Маккалоком и У. Питтсом еще в 1943 г. [8]. В то время многие важные свойства нейронов не были открыты. Математически, формальный нейрон – это пороговый элемент с единственным выходом, функция активации которого зависит от линейной комбинации всех входных сигналов. Нейронные сети успешно применяются в распознавании образов, классификации, кластеризации, прогнозировании, решении ряда вычислительных и оптимизационных задач. Появившиеся в последнее десятилетие «сложные сетевые модели» были успешно применены для описания связей во многих биологических и социальных системах, включая сети мозга, где получили название «структурная и функциональная коннектомика» [6, 7].
Однако искусственные нейронные сети и структурная коннектомика всё еще имеют очень мало общего с процессами, происходящими в живых нервных системах. Эти модели основываются на идее «проволочного мозга», в котором он представляется электрической сетью с жестко заданной топологией, которая образуется проводами, соединяющими одинаковые «пассивные» нейроны. Многие важные свойства, присущие живым нейронным сетям, в таких терминах описать невозможно. Современные исследования свидетельствуют о том, что (1) нейроны не одинаковы – они являются трансмиттер-специфическими; (2) большинство нейронов способны генерировать собственную электрическую активность, а не только в ответ на возбуждающий внешний сигнал; (3) выброс трансмиттеров происходит в общее межклеточное пространство, а не только в синаптическую щель; (4) перестройка топологии сетей и изменение режимов активности нейронов происходят ad hoc – под действием разных нейротрансмиттеров [1, 4, 5].
Л. Жилякова (ИПУ РАН) предложила математическую модель, которая развивает концептуальную модель гетерохимического генератора, предложенную еще тридцать лет назад Д. А. Сахаровым [3]. Модель учитывает принципиальные для функционирования реальной системы свойства биологических нейронов. Ее формальный нейрон обладает не только электрическим зарядом, но и химическими входами (рецепторами к разным нейротрансмиттерам) и химическим выходом (секретируемый нейротрансмиттер). Нейроны в этой модели «разноцветны», отличаются по входам и выходам, т. е. секретируют разные нейротрансмиттеры и по-разному реагируют на разные химические сигналы. Кроме того, они «не пассивны», обладают собственной, а не только вызванной активностью. Сеть из таких нейронов названа гетерогенной нейронной сетью. При этом термин «сеть» не означает наличия лишь электрических связей – любая химическая связь в ней может быть отражена теми же математическими средствами. Каждый значимый в этой сети трансмиттер может выделить свою подсеть. Переключение между сетями производится с учетом пороговых характеристик. Модель, обладающая такими свойствами, порождает сети с топологией, способной динамически изменяться при изменении концентраций тех или иных трансмиттеров в среде.
Уже сформулирована модель для простого моторного генератора (3 нейрона, 3 фазы ритма, 2 внутренних и 2 внешних нейротрансмиттера, способность к перестроению). Эта модель соответствует реальным биологическим характеристикам известных центральных генераторов паттерна (Central Pattern Generators). В частности, появление «эндогенной активности» нейронов автоматически привело к доминированию тормозных (как в биологических генераторах), а не возбуждающих (как в прежних сетевых моделях) связей. Трансмиттер-специфические перестройки сходны с наблюдаемыми в реальности благодаря наличию межклеточной среды и разноцветного нейромодуляторного фона. И наконец, жесткие синаптические связи оказались не необходимыми для работы модели, такой генератор «связан» химически изначально, что соответствует реальному онтогенезу нервной системы, в которой нейротрансмиттерная специфичность задается до установления синаптических связей. Помимо перечисленных преимуществ, модель дала ответ на частный нейробиологический вопрос: как трехфазный генератор может работать не на трех, а на двух нейротрансмиттерах?
Основная работа – еще впереди. На сегодняшний день важно то, что шаг в этом необходимом и правильном направлении наконец сделан. Нейробиологи и медики могут надеяться на биологически адекватное математическое моделирование реальных нейронных взаимодействий. А поскольку уже есть первые попытки создания физических аналогов хемочувствующих и хемо-секретирующих нейронов для протезирования нервной системы, появляется вероятность использования гетерогенной нейронной сети не только в фундаментальной, но и в прикладной науке.
Литература
[1] Дьяконова В. Е. Нейротрансмиттерные механизмы контекст-зависимого поведения // Журн. высш. нервн. деят. 2012. Т. 62. № 6. С. 1–17.
[2] Жилякова Л. Ю. Сетевая модель распространения нескольких видов активности в среде сложных агентов и ее приложения // Онтология проектирования. 2015. Т. 5. № 3 (17). С. 278–296.
[3] Сахаров Д. А. Синаптическая и бессинаптическая модели нейронной системы // Простые нервные системы. Ч. 2. Казань: КГУ, 1985.С. 78–80.
[4] Сахаров Д. А. Биологический субстрат генерации поведенческих актов // Журн. общ. биол. 2012. Т. 73. № 5. С. 334–348.
[5] Bargmann C. I. Beyond the connectome: how neuromodulators shape neural circuits // Bio-essays. 2012. No. 34. P. 458–465.
[6] Baronchelli A., Ferrer-i-Cancho R., Pastor-Satorras R., Chater N., Christiansen M. H. Networks in Cognitive Science // Trends in Cognitive Sciences. 2013. Vol. 17. No. 7.
[7] Bullmore E., Sporns O. Complex brain networks: graph theoretical analysis of structural and functional systems // Nature Reviews Neuroscience. 2009. Vol. 10. P. 186–198.
[8] McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity. Bull. Math. Biophys. 1943. Vol. 5. P. 115–133. (Рус. пер.: Маккаллок У. С., Питтс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы / Под ред. К. Э. Шеннона и Дж. Маккарти. М.: ИЛ, 1956. С. 362–384.)
2017
Феномен ниши
[Доклад на конференции «Когнитивная наука в Москве: новые исследования»]
Сахаров Д. А., Дьяконова В. Е. и Жилякова Л. Ю. Ниша – механизм управления альтернативным выбором: от стволовой клетки к ансамблю нейронов // Когнитивная наука в Москве: новые исследования. М.: Буки-Веди, 2017. С. 322–326
Казалось бы, биология развития не имеет отношения к проблемам когнитивистики. Тем не менее в качестве завязки этого сообщения хотим привлечь внимание участников конференции к механизму клеточной дифференцировки. Находясь в точке бифуркации, стволовая клетка сама делает выбор между доступными ей путями специализации, например решает, стать ли ей нейроном или клеткой глии. Главную роль в механизме принятия решения играет микроокружение стволовой клетки – ее ниша. Это она направляет клетку по пути наименьшего сопротивления к одному из устойчивых состояний. Для тех, кто занимается стволовыми клетками, ниша не новость (см. обзоры [11], [10] ). Один из специалистов определяет нишу так: она – «a basic unit of tissue physiology, integrating signals that mediate the balanced response of stem cells to the needs of organisms» [14]. При небольшом усилии воображения мы обнаружим, что такое определение идеально приложимо к среде, омывающей паттерн-генерирующий нейронный ансамбль.
В этом нет ничего неожиданного. Ансамбли, собираемые из живых нервных клеток, имеют больше общего как раз со стволовыми клетками, чем с формальными или искусственными нейронами. Потому вполне естественно, что выбором из доступного ансамблю репертуара стабильных конфигураций управляет ниша. Наглядный пример – выбор локомоторного аллюра. В нашем коллективе было показано, что у морского ангела выбор из репертуара аллюров определяется балансом дофамина и серотонина в среде, омывающей генератор локомоции [6, 9]. Накопилось немало результатов, свидетельствующих о том, что и у других модельных объектов нейроэтологии нейротрансмиттерный состав среды, будучи транслятором поведенческого контекста, управляет выбором между альтернативными моторными программами (см. обзоры [13, 3] ).
Можно ли извлечь из знаний о нише выводы, значимые для понимания ментальных актов? Согласно правдоподобной гипотезе Энн Грейбил [7], «генераторы когнитивных паттернов» подобны тем нейронным ансамблям, какими продуцируются локомоторные и иные моторные акты, – хорошо изученным central pattern generators (CPGs) [5, 2].
Обратим внимание на то, что в обоих рассмотренных случаях (стволовая клетка и локомоторный генератор) ниша не формирует выходного продукта, она лишь выбирает его из предсуществующего ассортимента. Это небольшое «лишь» является вызовом той науке о мозге, которая привыкла связывать формирование выходного продукта с преобразованием входного сигнала.
Ассортимент, естественно, меняется во времени. Стволовая клетка слегка продвинулась в развитии, и у нее возник новый ассортимент возможностей. Головастик превращается в лягушку, студент учит китайский язык – меняются наборы паттернов. Существенно понимать, что ниша выбирает из продуктов, вырабатываемых эндогенно, согласно правилам, которые внутренне присущи биологическому объекту. Нейроэтологам хорошо известно, что нервный субстрат, который отключен от сенсорных входов (например, изолированный фрагмент мозга), способен формировать полноценный выходной продукт – хотя бы тот же локомоторный ритм. Как достигается адаптивность эндогенных выходных программ? Как появляются новые программы?
Ответ на первый вопрос в общей форме понятен, но нуждается в нейрофизиологической расшифровке: трансмиттеры сенсорных входов (синаптические и несинаптические) входят в состав ниши и учитываются при выборе. Благодаря этому выбор приобретает адаптивный характер – отвечает «to the needs of organism». Это адаптация на грубом уровне – alternative choice selection. Возможна и тонкая регуляция выбранного аллюра (чаще – реже, сильнее – слабее), здесь работают другие, более знакомые механизмы зависимости от афферентации.
Сложнее представить, как на основе управляемого нишей ограниченного репертуара локальных мультитрансмиттерных ансамблей могут формироваться более сложные решения. Мы предполагаем, что в этом случае из тех же конструктивных элементов собираются новые ансамбли и ансамбли ансамблей, генерирующие новые эндогенные программы.
Чтобы теоретически проверить такую возможность, мы планируем использовать уже частично разработанную новую математическую модель [4, 1], способную порождать и объяснять эффекты, происходящие в биологических генераторах. Модель имитирует качественные (грубый уровень) и количественные (тонкий уровень) изменения спонтанно генерируемого ритма, которые происходят при изменении стационарного состава мультитрансмиттерного окружения (ниши). Кроме того, при изменении ниши в модели реализуется возможность сборки новых ансамблей или генерации новых ритмов существующими ансамблями. Эти структурные и функциональные модификации ограничены лишь индивидуальными свойствами нейронов, образующих новые связи и новые ритмы. То есть репертуар возможных ритмов для некоторого множества нейронов не произволен, но при этом достаточно широк. Таким образом, в модели реализуется не только способность к адаптации, но и способность к обучению.
Предложенная модель сильно отличается как от искусcтвенных нейронных сетей, состоящих из формальных нейронов Маккаллока – Питтса [12], так и от моделей взаимодействия биологических нейронов, строящихся в виде систем дифференциальных уравнений [8, 15]. Наша модель для описания ритмической активности ансамбля является дискретной – это делает ее гораздо более интерпретируемой, чем непрерывные модели, и гораздо менее вычислительно сложной, а значит, легко масштабируемой. С другой стороны, нейроны в модели намного сложнее, а их взаимодействия разнообразнее, чем в стандартных искусственных нейронных сетях. Они имеют два важных отличия: (i) трансмиттер-специфичность и (ii) наличие того или иного типа эндогенной активности. На каждом такте дискретного времени нейроны взаимодействуют, выбрасывая трансмиттеры в общее внеклеточное пространство (ВКП) и затем принимая их из ВКП. Каждый нейрон имеет полный доступ к ВКП и реагирует на все трансмиттеры, рецепторы к которым у него есть. Суммарное воздействие, пришедшее на рецепторы, наряду с эндогенной составляющей, определяет активность нейрона на данном такте. Добавляя в состав ВКП те или иные трансмиттеры и изменяя их пропорции, можно моделировать механизмы адаптивности эндогенных актов на обоих описанных выше уровнях – грубом и тонком (создание новых ритмов и изменение параметров существующих), а также механизмы обучения (сборка новых устойчивых ансамблей).
Мы предполагаем, что результаты, полученные на относительно простых мультитрансмиттерных генераторах моторного поведения, можно будет экстраполировать на механизмы выбора в более сложных системах – таких, как сети из ансамблей нейронов, в которых общий сетевой выход будет зависеть от выборов отдельных ансамблей.
Литература
[1] Базенков Н. И., Воронцов Д.Д., Дьяконова В. Е., Жилякова Л. Ю., Захаров И. С., Кузнецов О. П., Куливец С. Г., Сахаров Д. А. Дискретное моделирование межнейронных взаимодействий в мультитрансмиттерных сетях // Искусственный интеллект и принятие решений. 2017. Т. 2. С. 55–73.
[2] Балабан П. М., Воронцов Д.Д., Дьяконова В. Е., Дьяконова Т. Л., Захаров И. С., Коршунова Т. А., Орлов O. Ю., Павлова Г. А., Панчин Ю. В., Сахаров Д. А., Фаликман М. В. Центральные генераторы паттерна (CPGs) // Журн. высш. нерв. деят. 2013. Т. 63. С. 520– 541.
[3] Дьяконова В. Е. Нейротрансмиттерные механизмы контекст-зависимого поведения // Журн. высш. нерв. деят. 2012. Т. 62. C. 1–17.
[4] Жилякова Л. Ю., Кузнецов О. П. Принципы дискретного моделирования гетерохимических механизмов в нервных системах // XVIII Международная научно-техническая конференция «Нейроинформатика-2016»: Сборник научных трудов. НИЯУ МИФИ. М., 2016. Ч. 3. С. 82–90.
[5] Сахаров Д. А. Биологический субстрат генерации поведенческих актов // Журн. общ. биол. 2012. Т. 73. С. 334–348.
[6] Сахаров Д. А., Каботянский Е. А. Интеграция поведения крылоногого моллюска дофамином и серотонином // Журн. общ. биол. 1986. Т. 47. С. 234–244.
[7] Graybiel A. M. The basal ganglia and cognitive pattern generators // Schizophr. Bull. 1997. Vol. 23. P. 459–469.
[8] Hodgkin A. L., Huxley A. F. A quantitative description of membrane current and its applications to conduction and excitation in nerve // J. Physiol. (Lond.). 1952. Vol. 116. P. 500–544.
[9] Korshunova N. A., Zakharov I. S. Swimming in the pteropod mollusc is determined by the dopamine-serotonin balance // XI East European Conference of the International Society for Invertebrate Neurobiology «Simpler Nervous Systems». Zvenigorod, 2016. Abstracts. P. 48.
[10] Lawal R. A., Calvi L. M. The niche as a target for hematopoietic manipulation and regeneration // Tissue Engineering. Part B, Reviews. 2011. Vol. 17. P. 415–422.
[11] Li Linheng; Xie Ting. Stem cell niche: structure and function // Annual Review of Cell and Developmental Biology. 2005. Vol. 21. P. 605–631.
[12] McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity // The Bulletin of Mathematical Biophysics. 1943. Vol. 5. P. 115–133. (Русский перевод: Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Автоматы: СПб. – М., 1956. С. 363–384.)
[13] Palmer C. R., Kristan W. B. Contextual modulation of behavioral choice // Current Opinion in Neurobiology. 2011. Vol. 21. P. 520–526.
[14] Scadden D. T. The stem-cell niche as an entity of action // Nature. 2006. Vol. 441. No. 7097. P. 1075–1079.
[15] Vavoulis D., Straub V., Kemenes I., Kemenes G., Feng J., Benjamin P. Dynamic control of a central pattern generator circuit: a computational model of the snail feeding network // European Journal of Neuroscience. 2007. Vol. 25. P. 2805–2818.
2018
Нейрон прогнозирует будущее
[Тезисы доклада на Международной конференции по когнитивной науке, Светлогорск, октябрь 2018]
Дьяконова В. Е., Дьяконова Т. Л. Как прошлое и настоящее конкурируют за будущее на уровне отдельного нейрона
Известно, что прошлый опыт, особенно необычный или стрессирующий, запоминается организмом и влияет на прогнозирование будущих событий. Память о таком опыте может сохраняться в течение длительного времени и проявляться в измененном внутреннем состоянии и поведенческом выборе. Этот хорошо известный психологам и физиологам человека факт получает подтверждение в исследованиях на животных. Недавно было показано, что даже сравнительно простой беспозвоночный организм, такой как моллюск, опирается на «воспоминания о прошлом опыте» при принятии решений [1, 2]. Так, улитки, которые испытали длительный период лишения пищи, в течение многих дней после прекращения голода демонстрировали аппетит на сахарозу, за которую их наказывали электрическим ударом, и этим существенно отличались от контрольных животных. Напрашивалось предположение, что длительное отсутствие еды организм улитки запомнил, «скорректировал модель внешней среды» и адаптировал под нее свое поведение. Далеко не всегда учет прошлых событий приводит к правильному прогнозу (как и в описанной выше экспериментальной модели). Понять, в какой момент можно считать, что «прошлое не вернется», и исключить его из возможных сценариев развития событий – непростая и одновременно очень важная задача для организмов самого разного уровня организации.
Удивительно мало известно о том, как прошлый опыт и текущая ситуация взаимодействуют на клеточном уровне. В настоящее время господствует представление о ключевой роли «синаптических весов» и переконфигурации нейронных сетей в механизмах разного рода памяти. Однако в последние годы появились работы, оспаривающие это представление экспериментально [3, 4, 5, 6] и теоретически [7, 8, 9]. Аргументируется существование механизмов памяти на уровне отдельного нейрона. В сложной системе нейронов млекопитающих довольно трудно показать памятный след в пределах одной клетки и определить его зависимость от влияния ансамбля. Возможное участие всех видов несинаптических событий, в том числе экстрасинаптического нейромодулирующего воздействия, в механизмах хранения и модификации памяти не было выяснено в сложных системах.
Нервная система моллюсков дает уникальную возможность исследовать взаимодействия между одной клеткой и ансамблем нейронов. Идентифицированные нейроны можно изолировать из системы при непрекращающейся регистрации их активности [10, 11]. Кроме того, их можно использовать в качестве подвижных биосенсоров для мониторинга экстрасинаптического высвобождениия нейромодуляторов из определенных частей нервной системы [12]. Ранее мы показали, что вынужденная мышечная локомоция в низкой воде приводит к долгосрочным изменениям поведения и активности клеток у прудовика [13]. Эту простую модель памяти предыдущего опыта мы использовали для выяснения возможных механизмов хранения и стирания опыта на клеточном уровне. Полученные результаты показывают, что в исследуемой модели прошлый опыт может храниться в измененных свойствах электровозбудимой мембраны нейрона, в то время как текущая ситуация (контекст) контролирует проявление индивидуальной памяти нейрона посредством изменений в его нейрохимическом микроокружении.
Литература
[1] Mita K., Okuta A., Okada R., Hatakeyama D., Otsuka E., Yamagishi M., Morikawa M., Naganuma Y., Fujito Y., Dyakonova V., Lukowiak K., Ito E. What are the elements of motivation for acquisition of conditioned taste aversion? // Neurobiol. Learn. Mem. 2014. Vol. 107. P. 1–12.
[2] Ito E., Yamagishi M., Hatakeyama D., Watanabe T., Fujito Y., Dyakonova V., Lukowiak K. Memory block: a consequence of conflict resolution // J. Exp. Biol. 2015. Vol. 218. P. 1699– 1704.
[3] Nikitin E. S., Vavoulis D. V., Kemenes I., Marra V., Pirger Z., Michel M., Feng J., O’Shea M., Benjamin P. R., Kemenes G. Persistent sodium current is a nonsynaptic substrate for long-term associative memory // Curr. Biol. 2008. Vol. 18. P. 1221–1226.
[4] Johansson F., Jirenhed D. A., Rasmussen A., Zucca R., Hesslow G. Memory trace and timing mechanism localized to cerebellar Purkinje cells // Proc. Natl. Acad. Sci. USA. 2014. Vol. 111(41). P. 14930–14934.
[5] Ryan T. J., Roy D. S., Pignatelli M., Arons A., Tonegawa S. Engram cells retain memory under retrograde amnesia // Science. 2015. Vol. 348 (6238). P. 1007–1013.
[6] Dyakonova V. E., Hernádi L., Ito E., Dyakonova T. L., Chistopolsky I. A., Zakharov I. S., Sakharov D. A. The activity of isolated neurons and the modulatory state of an isolated nervous system represent a recent behavioural state // J. Exp. Biol. 2015. Vol. 218. P. 1151–1158.
[7] Sandler U., Tsitolovsky L. Neural Cell Behavior and Fuzzy Logic. Springer, 2008.
[8] Johansson F., Hesslow G. Theoretical considerations for understanding a Purkinje cell timing mechanism // Commun. Integr. Biol. 2014. Vol. 7. No. 6.
[9] Gallistel C. R., Balsam P. D. Time to rethink the neural mechanisms of learning and memory // Neurobiol. Learn. Mem. 2014. Vol. 108. P. 136–144.
[10] Dyakonova V. E., Chistopolsky I. A., Dyakonova T. L, Vorontsov D. D., Sakharov D. A. Direct and decarboxylation-dependent effects of neurotransmitter precursors on firing of isolated monoaminergic neurons // J. Comp. Physiol. A. 2009. Vol. 195. P. 515–527.
[11] Dyakonova T. L., Dyakonova V. E. Coordination of rhythm-generating units via NO and extrasynaptic neurotransmitter release // J. Comp. Physiol. A. Neuroethol. Sens. Neural. Behav. Physiol. 2010. Vol. 196. P. 529–541.
[12] Чистопольский И. А., Сахаров Д. А. Изолированный нейрон как биосенсор, реагирующий на высвобождение нейроактивных веществ // Рос. физиол. журн. 2007. Т. 93. С. 1210–1213.
[13] Korshunova T. A., Vorontsov D. D., Dyakonova V. E. Previous motor activity affects transition from uncertainty to decision-making in snails // J. Exp. Biol. Vol. 219. P. 3635–3641.