Сергей Шумский
Воспитание машин. Новая история разума

Научный редактор Сергей Филонович, д-р физ. – мат. наук

Редактор Полина Суворова

Издатель П. Подкосов

Руководитель проекта А. Шувалова

Корректоры И. Панкова, Е. Сметанникова

Компьютерная верстка А. Фоминов

Художественное оформление и макет Ю. Буга

Иллюстрация на обложке Shutterstock

© Шумский С., 2021

© ООО «Альпина нон-фикшн», 2021

* * *

Предисловие научного редактора

Неизбежность сосуществования человеческого и машинного интеллекта

За несколько последних лет тема искусственного интеллекта (ИИ) приобрела особую популярность. О внедрении ИИ в практику бизнеса сообщают Amazon, Сбербанк, Tesla, РЖД и буквально сотни других компаний, крупных и небольших. Однако, как это нередко бывает, быстрый рост популярности какого-то понятия часто приводит к возникновению недоразумений, связанных с неточным (а иногда и ошибочным) его пониманием. Именно это и происходит с концепцией искусственного интеллекта. Сложные аппаратно-программные комплексы многим представляются примерами использования ИИ как новой технологии, хотя чаще всего они являются просто более сложными вариантами привычных для нас гаджетов.

Такая ситуация может породить ощущение, что ИИ – всего лишь очередной хайп, интерес к которому со временем пройдет. Но так ли это? К сожалению, многие недавно вышедшие работы об искусственном интеллекте не дают ясного ответа на этот важный вопрос. Вы найдете на него ответ в книге, которую держите в руках.

Ее автор Сергей Шумский – российский эксперт, много лет занимающийся проблемой машинного обучения и ИИ, – поставил перед собой сложную задачу. На основе анализа прогресса технологий в разные эпохи он решил показать неизбежность использования машинного интеллекта в наши дни. С поставленной задачей автор справился блестяще. Простые, но убедительные количественные оценки показывают причины перехода от одного экономического уклада к другому. Несложные расчеты, относящиеся к операциям с информацией, поясняют, почему именно сейчас исследования в области искусственного интеллекта стремительно прогрессируют.

Как специалист, занимающийся практическими разработками в сфере ИИ, автор хорошо понимает не только масштабы уже достигнутых успехов, но и сложность задач, стоящих перед учеными и разработчиками на пути к созданию так называемого сильного искусственного интеллекта. В книге анализируются подходы к решению этой амбициозной задачи, и перспективы, которые описывает автор, вызывают определенный оптимизм.

В научной и научно-популярной литературе широко обсуждаются социальные последствия распространения технологий ИИ, в особенности тех, которые могут возникнуть после создания сильного искусственного интеллекта. Многие авторы рисуют почти апокалиптическую картину порабощения людей роботами, оснащенными ИИ. В этой книге такие проблемы обсуждаются, но в гораздо более спокойной манере. По мнению автора, при правильном (проактивном, или упреждающем) подходе человечеству вполне по силам справиться с этими проблемами. Для этого, правда, людям придется напрячь собственный интеллект и сформулировать этические принципы, которыми следует руководствоваться при разработке и использовании ИИ.

Особый интерес представляют заключительные главы книги, в которых дан набросок программы создания сильного искусственного интеллекта, а также приводятся оценки сроков реализации этой программы. По мнению автора, 40 лет – реальный временной горизонт создания сверхчеловеческого машинного интеллекта, способного коренным образом изменить жизнь людей. Иными словами, у многих потенциальных читателей этой книги есть реальный шанс стать свидетелями и участниками интенсивного взаимодействия человеческого и машинного интеллекта. Чтение этой книги поможет подготовиться, психологически и ментально, к новым реалиям.

Доктор физико-математических наук,

профессор С. Р. Филонович

От автора

В 2019 году вышла в свет моя монография «Машинный интеллект» для специалистов в области искусственного интеллекта (ИИ). Отлично понимая, что каждая формула в книге снижает количество ее читателей вдвое, я заранее смирился с тем, что одолеть ее сможет лишь ограниченный круг профессионалов.

Между тем вопросы, связанные с пугающими темпами развития ИИ и перспективами робототехники, волнуют не только специалистов. Так или иначе это коснется каждого из нас, причем в не столь уж и отдаленном будущем. Естественно, мне хотелось поделиться современными знаниями и гипотезами о зарождающейся цивилизации машинного интеллекта и с широкой аудиторией.

К счастью, весной 2019 года я получил предложение подготовить мини-курс по технологиям цифровой экономики для Высшей школы менеджмента ВШЭ. В процессе подготовки такого мини-курса родилась и эта книга о социальных последствиях использования искусственного интеллекта. В этой связи я выражаю искреннюю признательность руководителям ВШМ ВШЭ Сергею Ростиславовичу Филоновичу и Льву Владимировичу Татарченко за моральную и материальную поддержку при подготовке рукописи.

Надеюсь, книга поможет читателям лучше разобраться в сути происходящих в современном мире перемен и наглядно представить себе, как изменится жизнь людей в ближайшие десятилетия.

Введение

Нам предстоит разговор о различных мыслимых аспектах цивилизации, аспектах, которые можно вывести из предпосылок, известных уже сегодня.

СТАНИСЛАВ ЛЕМ

Чем дольше вы смотрите назад, тем дальше видите впереди.

УИНСТОН ЧЕРЧИЛЛЬ

Главное отличие этой книги от многих других – попытка рассмотреть искусственный интеллект в глубоком историческом контексте, не ограничиваясь историей последних десятилетий. Следуя Спинозе, мы пытаемся вписать современный момент в ту цепь событий, внутри которой он возникает с необходимостью, а не случайно. Нет лучшего способа заглянуть в будущее, чем как можно основательнее разобраться в прошлом.

Вот и мы в этой книге постараемся выяснить, каковы движущие силы развития технологий и как они определяют ход технологических революций, одну из которых мы как раз и переживаем в настоящий момент. Книга рассчитана на всех, кто интересуется будущим. При этом от читателя не требуется никаких специальных знаний. Объем книги намеренно ограничен, с тем чтобы ее можно было прочесть за пару-тройку вечеров, не теряя логическую нить рассуждений автора.

Основная мысль этой книги в том, что машинный интеллект, когда он появится, неизбежно станет частью общей человеко-машинной цивилизации и унаследует от нее наши человеческие ценности. Так что даже в будущей цивилизации машинного интеллекта, когда интеллект машин далеко превзойдет человеческий уровень, они по-прежнему смогут действовать в наших интересах, а не преследовать чуждые нам цели, как какой-то чужеродный инопланетный разум. Правда, за такой благоприятный для людей сценарий нам придется побороться – создать не просто искусственный интеллект, а дружественный ИИ, и тому, как этого добиться, в книге будет уделено особое внимание.

Но прежде мы должны убедить скептиков в том, что нам вообще следует заниматься этой опасной субстанцией – искусственным разумом. Не проще ли отложить на время исследования и разработки и подождать, пока человечество «созреет» для таких вопросов? Наш ответ на этот аргумент из серии «Не давайте спички детям» состоит в том, что без создания искусственного разума в ближайшие годы человечество просто не сможет обойтись. Индустриальная цивилизация достигла пределов своего развития. Обеспечить приличное существование всему населению Земли (а не только «золотому миллиарду») имеющиеся технологии не в состоянии: биосфера просто не выдержит такой нагрузки. Назревающие экономические проблемы способны разрешить только новые цифровые технологии, главным образом искусственный интеллект. Мы приведем конкретные аргументы, за счет чего и как именно ИИ сможет поднять эффективность мировой экономики.

Но так ли уж драматична на самом деле сегодняшняя экономическая ситуация? Может быть, нынешний глобальный кризис – не структурный, а циклический и все само собой перемелется? Чтобы убедить читателя в том, что мир действительно находится сегодня в одном из переломных исторических моментов, мы начнем с краткого экскурса в историю человеческой цивилизации, что может показаться странным для книги, посвященной машинному интеллекту. Однако автор считает крайне поучительным представить нынешний кризис в одном ряду с великими кризисами прошлого, чтобы убедить читателя, что любой технологический уклад в какой-то момент достигает своих пределов и соответствующий кризис можно разрешить, только перейдя на новый пакет технологий.

Вот почему в главе 1 мы начинаем издалека – с краткого введения в историю технологических укладов: от цивилизации охотников-собирателей через аграрную и промышленную революции к современному обществу, одной ногой уже шагнувшему в новый цифровой уклад. Для каждого уклада мы выведем «на кончике пера» предельное число людей, которое способен прокормить его технологический пакет, убедившись заодно и в том, что предел населения для индустриального уклада уже практически достигнут.

Технологический пакет представляет собой сумму накопленных цивилизацией знаний. Причем, как мы покажем, они увеличиваются гораздо быстрее численности населения (как квадрат количества людей). Поскольку суммарный объем человеческой памяти растет линейно с числом людей, неизбежен момент, когда сложность цивилизации превысит ограниченные возможности человеческого мозга. По мысли автора, именно такой момент мы сегодня и наблюдаем. Появление компьютеров, а затем и искусственного интеллекта есть закономерное следствие этого простого факта.

Таким образом, в главе 1 мы проследим в общих чертах логику развития человеческой цивилизации от древних людей до наших дней, обозначив базовые параметры цивилизации на каждой ступени ее развития. Мы покажем, за счет чего революция позднего палеолита увеличила в конечном итоге население Земли в 100 раз, а последующая аграрная революция – еще в 100 раз. Наконец, почему индустриальное общество не способно прокормить более 10 млрд человек, так как достигло своего предела сложности. Логика дальнейшего развития тоже прояснится: при новом цифровом укладе нам предстоит преодолеть барьер сложности современной цивилизации за счет создания и «приручения» искусственного интеллекта. Только таким образом она сможет развиваться дальше.

В главе 2 мы наконец доберемся до ИИ как закономерного этапа эволюции цифровой техники, созревания нового уклада в недрах предыдущего. Мы проследим, как формировался современный стек цифровых технологий и почему ИИ объективно не мог появиться вплоть до недавнего времени.

Ключом к пониманию цифровой революции является обобщенный закон Мура – рост компьютерных мощностей в 100 раз каждые 10 лет. До 2010-х годов суммарные компьютерные мощности были еще пренебрежимо малы по сравнению с вычислительными возможностями человеческого мышления. Этим объясняется известный парадокс, что до сих пор экспоненциальное развитие вычислительной техники практически не сказывалось на темпах роста производительности труда в большинстве отраслей экономики.

Однако за последние 10 лет ситуация качественно изменилась. Мы покажем, что сегодня совокупная вычислительная мощность компьютеров уже превосходит таковую у людей и представляет собой тот единственный обильный и дешевый ресурс, за счет которого можно повысить эффективность мировой экономики. Но для этого необходимо научить компьютеры делать человеческую работу лучше и дешевле людей: ни много ни мало создать искусственный интеллект. Таким образом, ИИ является замыкающей технологией, открывающей возможность перехода к новому технологическому укладу.

Так называемая революция глубокого обучения 2010-х является ответом на этот вызов. Сегодня мы наблюдаем появление первых несовершенных пока версий слабого ИИ, которые можно уподобить несовершенным поначалу моделям паровых двигателей времен первой промышленной революции. Однако, как мы помним, именно благодаря паровым двигателям аграрная цивилизация стала замещаться индустриальной. Аналогично современный слабый ИИ знаменует собой начало перехода к новому цифровому укладу. Однако закончиться он может лишь с появлением сильного ИИ, повсеместно доступного «интеллекта из розетки», коллективного сетевого мышления искусственных личностей, аналогичного замене паровых двигателей на общедоступную «энергию из розетки» в ходе второй промышленной революции.

В главе 3 мы обратимся к экономике цифрового уклада. За счет чего она будет в разы эффективнее индустриальной? Почему в ней станет производиться больше благ с меньшими затратами? Какие формы организации бизнеса придут на смену транснациональным компаниям индустриального уклада?

Ключевым понятием здесь будет экономика «длинного хвоста» – существенное расширение рынка товаров и услуг при переходе от массового к персональному потреблению и производству. Торжество такой экономики мы наблюдаем воочию, по мере того как YouTube отбирает аудиторию у телевидения, а Amazon – покупателей у традиционных магазинов одновременно с ростом рынка мобильных приложений на платформах Apple, Microsoft и Google. Эти цифровые платформы и являются новыми ячейками будущей цифровой экономики. Именно они предъявляют сегодня основной спрос на технологии искусственного интеллекта и служат драйверами его развития – от слабого к сильному ИИ.

Но прежде чем обратиться к перспективам развития ИИ, в главе 4 мы обсудим социальные проблемы и риски, порожденные резкой сменой технологического уклада, ведь скорость его развития определяют не только те, кто за него, но и те, кто против. Анализ рисков позволит нам сформулировать «техническое задание» на создание безопасного ИИ, необходимого для выживания нашей цивилизации. Мы последовательно рассмотрим проблемы, связанные с грядущей массовой безработицей, нарастанием социальной напряженности и опасностью большой войны по инициативе искусственных стратегов, а также вопрос о том, останемся ли мы хозяевами своей судьбы, когда искусственный разум наконец превзойдет человеческий. Все эти риски вполне реальны, и проблемы, которые нам предстоит разрешить, нетривиальные. Они не сводятся к чисто техническим решениям, а подразумевают активное участие граждан в создании согласованной концепции общественной безопасности, разработку и внедрение национальных платформ цифровой демократии.

С технической точки зрения дружественность искусственного интеллекта должна быть встроена в операционную систему роботов, как были встроены в них «три закона робототехники» Айзека Азимова. А в дополнение к правильным «социальным инстинктам» будущей искусственной психики должны быть созданы и механизмы взаимного контроля всех членов социума, включая агентов и роботов, подобно тому как технология блокчейн автоматически обеспечивает взаимный контроль транзакций в сети. Цивилизация машинного интеллекта обязана иметь систему встроенной коллективной безопасности по аналогии с новейшими ядерными реакторами, в которые безопасность встроена на физическом уровне.

После того как мы разобрали, кому и зачем нужен сильный ИИ, а также каким требованиям он должен удовлетворять, чтобы улучшить, а не ухудшить нашу жизнь, переходим к конкретным планам по его разработке. А именно: в главе 5 мы представим замысел создания искусственной психики роботов «по образу и подобию» человеческой, с тем чтобы их интеллект был по своей архитектуре как можно ближе к нашему. Мы определим методологию разработки сильного ИИ – обратную инженерию архитектуры мозга – и сформулируем ее цель: создание искусственной психики в качестве будущей операционной системы роботов. В довершение покажем, как может выглядеть цифровая платформа массовой робототехники со встроенной системой коллективной безопасности.

Наконец, в главе 6 мы сможем заглянуть в будущее с разной степенью уверенности на разных временны́х горизонтах, начиная с ближайших 5–10 до 20–40 лет – предполагаемого времени появления ИИ сверхчеловеческого уровня. Самое удивительное в этой картине – как разительно будет отличаться от современности мир наших детей и внуков. Но именно такое ускорение исторического времени вызывает разворачивающаяся на наших глазах революция в области искусственного интеллекта.

Глава 1
Технологические уклады и технологические революции

Мы стоим на грани перемены, сравнимой с возникновением на Земле человека.

ВЕРНОР ВИНДЖ

Может быть, высокоразвитая цивилизация – это вовсе не огромная энергия, а наилучшее регулирование?

СТАНИСЛАВ ЛЕМ

Понятие технологических укладов

Наше изложение мы начнем с определения технологического уклада, задающего базовые параметры цивилизации на разных стадиях ее развития. Нас будет интересовать, как набор технологий, освоенных цивилизацией, определял на разных этапах два ее важнейших параметра – число людей, которых она может прокормить, и ее сложность, то есть количество накопленных знаний. Многое будет зависеть от того, каким образом связаны между собой эти два ключевых параметра.

Технологические уклады стабильны и способны воспроизводить себя в течение длительного времени, ведь технологии зависят друг от друга, образуя в каждый момент целостный пакет взаимодополняющих друг друга технологий. Этот технологический пакет регулируется отрицательными обратными связями в обществе, поддерживающими его устойчивость, и любые новые технологии, нарушающие существующее равновесие, встречают естественное сопротивление со стороны общества.

Смена технологических укладов происходит скачками, потому что новые технологии созревают в недрах старого уклада «тайком», в относительно небольших нишах, в которых они поодиночке не способны реализовать весь свой потенциал. Такая возможность у них появится лишь тогда, когда они смогут образовать новый целостный технологический пакет, более жизнеспособный, чем существующий. Такая ситуация возникает лишь с появлением замыкающей технологии – последней, необходимой для формирования нового целостного пакета. Возникновение такой технологии нарушает устойчивость существующей системы, какие-то из ее обратных связей становятся положительными, и система скачком переходит в новое устойчивое состояние. После такой технологической революции снова наступает эпоха плавного эволюционного развития.

Технологические революции, как правило, сопровождаются социальными, так как смена материальных основ жизни общества не может не сказаться на его социальной надстройке – образе жизни людей и регулирующих человеческие отношения общественных институтах (общепринятых нормах поведения, убеждениях и организациях)[1].

Технологии играют определяющую роль в жизни людей потому, что в совокупности позволяют осваивать необходимые для нее ресурсы, например энергетические. Какой-то из них обычно становится базовым ресурсом, обеспечивающим долговременное развитие. Обычно новый технологический пакет открывает перед цивилизацией новые перспективы за счет появления возможности эксплуатации нового базового ресурса, более дешевого и обильного, чем прежний.

Итак, резюмируем сказанное. Технологический уклад складывается из трех компонент:

● дешевого и обильного базового ресурса, обеспечивающего долгосрочное развитие;

● технологического пакета, позволяющего эффективно эксплуатировать базовый ресурс;

● организации жизни людей, способной поддерживать данный технологический пакет.

Далее в этой главе мы напомним читателям краткую историю смены технологических укладов на протяжении всей истории человечества. При этом мы сосредоточимся именно на эволюции технологий – материальной основы нашей цивилизации, чтобы вписать современную цифровую революцию в этот исторический процесс.

Экономисты обычно ассоциируют уклады с длинными циклами Кондратьева[2], начиная их отсчет с первой промышленной революции[3]. Мы же здесь стремимся охватить весь период человеческой цивилизации, поскольку считаем вслед за Тоффлером[4], что нынешняя революция по масштабу сопоставима с наиболее крупными переменами в истории человечества.

Энергетические потребности человека

Для количественных оценок энерговооруженности цивилизации, от которой зависит наше благосостояние, полезно знать опорные цифры.

Среднему человеку, ведущему активный образ жизни, требуется около 3000 ккал в день[5]. Мы потребляем их с пищей в виде белков, жиров и углеводов с различной энергетической ценностью. Наиболее богаты энергией жиры (9500 ккал/кг), затем следуют углеводы (3500 ккал/кг) и белки (2400 ккал/кг). Без последних тем не менее не обойтись, так как именно они являются основным строительным материалом наших тел и именно белковые молекулярные машины обеспечивают извлечение из поступающего топлива полезной свободной энергии, питающей силу наших мускулов. Усредненный КПД нашей биологической «тепловой машины» – 10–15 %, остальные 90–85 % выделяются в виде тепла (см. рис. 1).

Примерно те же соотношения справедливы и для животных, которые на протяжении большей части нашей истории поставляли нам энергию для производства и транспорта (быки и лошади). В частности, лошадь примерно на порядок мощнее человека (735 Вт против 60 Вт механической энергии). По традиции мощность машин до сих пор измеряется в лошадиных силах[6]. Так, мощность типового современного автомобиля среднего класса составляет около 120 л. с. В США на человека приходится 0,8 машины, или порядка 100 лошадей, при том что на протяжении веков люди довольствовались 0,2 лошади на человека[7] – настолько различны энергетические мощности современной и аграрной цивилизаций.

Этим мы обязаны переходу на ископаемое органическое топливо, энергетические характеристики которого сравнимы с компонентами нашей пищи[8], но объемы их потребления на порядки больше: более 10 т условного топлива против 0,3 т условной пищи на человека в год (в США).

Однако раннюю историю человечества отделяют от современности несколько крупных технологических революций, к рассмотрению которых мы и переходим.

Охота и собирательство

● Базовый ресурс: дикая природа.

● Технологический пакет: огонь, каменные, деревянные и костяные орудия, язык.

● Организация жизни: охота, собирательство, родоплеменной строй.

Древние люди доисторической эпохи использовали ресурсы дикой природы – жили охотой и собирательством. К какому-то моменту (около 70 000 лет назад) вид Homo sapiens накопил критическую массу изобретений, составивших первый технологический пакет человеческой цивилизации. Этот пакет (огонь, топоры, копья, дротики, лук со стрелами и т. д.) позволил людям занять нишу абсолютного хищника, довольно быстро покинуть Африку и расселиться по всему земному шару, уничтожив по пути другие, менее технологически развитые ветви рода Homo (см. рис. 2)[9].

Какая технология играла роль замыкающей, чье появление дало старт безудержной экспансии Homo sapiens? Это наверняка был не огонь, так как следы костров находят на стоянках древнего человека с незапамятных времен (более полумиллиона лет назад). Покорение огня, безусловно, сыграло выдающуюся роль в эволюции человека, так как изменило саму его физиологию. Переход на лучше усваиваемую вареную пищу сопровождался сокращением желудочно-кишечного тракта, что, в свою очередь, позволило людям нарастить относительный объем головного мозга[10]. У горилл, питающихся сырой растительной пищей, мозг вдвое меньше человеческого при сопоставимых размерах тела.

По всей видимости, такой замыкающей технологией стало появление языка – одного из последствий увеличения объема мозга. Дело в том, что язык занимает определенное место в нашем мозгу, в частности языковые зоны Брока и Вернике в неокортексе. В меньшем по объему мозге других приматов этого места может просто не найтись, хотя наш мозг и имеет единую для всех приматов архитектуру[11]. Это именно тот случай, когда размер имеет критическое значение.

Размер мозга приматов ограничивает размер их стай, поскольку приматы, как социальные животные, должны запоминать отношения всех членов стаи между собой, а объем этих знаний растет квадратично с увеличением ее размера. Так что чем больше мозг, тем больше и мощнее стая[12]

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

Сноски

1

Грейф А. Институты и путь к современной экономике: уроки средневековой торговли. – М.: Издательский дом ВШЭ, 2018. С. 129–131.

Вернуться

2

Кондратьев Н. Д. Большие циклы конъюнктуры и теория предвидения. Избранные труды. – М.: Экономика, 2002.

Вернуться

3

Глазьев С. Ю. Теория долгосрочного технико-экономического развития. – М.: ВлаДар, 1993.

Вернуться

4

Тоффлер Э. Третья волна. – М.: АСТ, 2004.

Вернуться

5

Всюду в этой книге мы будем пользоваться приблизительными величинами, не гонясь за точностью. Обычными будут оценки с точностью до порядка, в которых 10n ~ 0,3 ÷ 3 × 10n.

Вернуться

6

Одна метрическая л. с. равна 735 Вт. С такой мощностью лошадь способна трудиться в течение 8-часового рабочего дня. При этом дневной рацион лошади (около 13 кг сена) = 45 000 ккал/день = 2,2 кВт, то есть ее рабочий КПД составляет примерно 33 %, а с учетом отдыха – втрое меньше. Для неспешно передвигающегося человека рабочий КПД равен 40 % (при мощности спокойной ходьбы 60 Вт). Иными словами, человек перерабатывает свою пищу эффективнее лошади, что неудивительно с учетом разницы в качестве пищи. Зато удельная мощность лошади больше, так как она мощнее нас в 12 раз, а весит всего в 7 раз больше.

Вернуться

7

Бродель Ф. Материальная цивилизация, экономика и капитализм, XV–XVIII вв. – М.: Весь мир, 2011.

Вернуться

8

Древесина – 3500 ккал/кг, уголь – 7000 ккал/кг, нефть/газ – 9500 ккал/кг.

Вернуться

9

Macaulay V. et al. (2005) Single, Rapid Coastal Settlement of Asia Revealed by Analysis of Complete Mitochondrial Genomes. Science 308(5724): 1034–1036.

Вернуться

10

Общий объем «жадных» до энергии органов – сердца, печени, ЖКТ и мозга – лимитирован, так что мозг мог вырасти только за счет сокращения желудочно-кишечного тракта, так как и сердце, и печень пропорциональны объему остального тела.

Вернуться

11

Herculano-Houzel S. (2016) The Human Advantage: A New Understanding of How Our Brain Became Remarkable. Cambridge: MIT Press.

Вернуться

12

Dunbar R. I. M. (1992) Neocortex Size as a Constraint on Group Size in Primates. Journal of human evolution 22(6): 469–493.

Вернуться