Приближает ли нас искусственный интеллект к последнему «парадигмальному сдвигу»

Техносингулярность становится технорелигией

Так называемый сильный искусственный интеллект будет способен успешно выполнять любые умственные задачи, которые под силу человеку. Иллюстрация Pixabay
Так называемый сильный искусственный интеллект будет способен успешно выполнять любые умственные задачи, которые под силу человеку. Иллюстрация Pixabay

«Наука должна начинаться с мифов и с критики мифов; она должна начинаться не c совокупности наблюдений и не с придумывания тех или иных экспериментов, а с критического обсуждения мифов, магической техники и практики»

Карл Поппер

Каковы цели Google, Facebook и прочих мегакорпораций, тратящих десятки миллиардов на НИОКР в области искусственного интеллекта (ИИ)? 

Почему правительства развитых стран включают ИИ в число ключевых национальных приоритетов? 

Что мотивирует топовые университеты и передовые стартапы вкладывать лучшие мозги в исследования ИИ?

Сон золотой

Hе похоже, что все это делается лишь затем, чтобы ИИ, электронные сервисы и гаджеты лучше распознавали наши лица, речь и пожелания; быстрее искали для нас информацию, переводили тексты и осуществляли бы миллионы проверок и предсказаний, используя неохватные моря данных; заменяли людей на рутинных работах: от анализа медицинских снимков, до вождения авто.

Все это, бесспорно, перспективно, так как помогает в цифровом постиндустриальном мире зарабатывать бизнесу и повышать качество госуслуг.

Но и только!

✔️ ️Неужели лишь этим обусловлены беспрецедентные инвестиции в ИИ?

✔️ ️Разве тянет это на «сон золотой» (ценой в триллион долларов), навеянный искусственным интеллектом человечеству?

✔️ Что же тогда заставило мир поверить, что ИИ — это фазовый переход в эволюции человека, соизмеримый по значимости с покорением огня и освоением электричества?

Полагаю, причина в том, что людям обещали превращение в богов.

Иллюстрация опубликована Фрэнсисом Коллинзом https://1.bp.blogspot.com/-mx5gnpq5UmM/XMmbmb51YpI/AAAAAAAAtuQ/mXJWD5PpEccR_I6IeuR-7dXmfJsDWVz5wCLcBGAs/s1600/ciencia-y-fe.jpg

Сначала сильный ИИ сравняется с человеком и заменит его во всем. Затем супер-ИИ откроет недостижимые нам выси и глубины знаний о Вселенной и нас самих. А потом наступит «вечная жизнь» — мы сольемся с супер-ИИ, загрузим сознание в цифровые облака и обретем бессмертие в бесконечных кругах познания многообразия и сложности технологической сингулярности.

Именно эти обещания и мечта о достижении «вечной жизни», достигнув технологической сингулярности, навеяли человечеству «сон золотой». Именно к этому стремятся мегакорпорации, правительства и университеты. И поэтому создание сильного ИИ стало супер-целью всех национальных стратегий развития.

Так родился самый грандиозный миф XXI века. Менее чем за пару десятилетий этот миф сформировал у земной цивилизации кардинально новый образ будущего, скорректировавал направления развития многих наук (от информатики до нейробиологии), кардинально трансформировавал приоритеты и бюджеты НИОКРа всего высокотехнологического бизнеса.

Но чем же обосновывалась и как доказывалась состоятельность этого грандиозного мифа, уже стоившего человечеству десятки, если не сотни миллиардов долларов? И если это миф, то почему мир продолжает в него верить? Чьи интересы стоят за этим мифом?

Подрывные технологии

C легкой руки гения коммерческой популяризации пророчеств Юваля Ной Харари, три главных вызова XXI века, — ядерный, климато-экологический и технологический, — привлекают все больше внимания на всех уровнях. Вот и на юбилейном, нынешнего года, главном форуме деловой элиты в Давосе по этой теме кто только не высказывался.

Юваль Ной Харари (фото ynharari.com)

И вот что важно. Во-первых, называемые способы преодоления главных вызовов человечества принципиально отличаются. А во-вторых, консенсус мнений наблюдается всего лишь по одному из вызовов. О ядерном вызове, грозящем ядерной войной, практически консенсус. Все согласны со сверхважностью этого вызова. Все смирились с его неустранимостью. Все уповают на ядерное сдерживание — единственное работающее средство выживания мира при наличии ядерного оружия.

Ответом человечества на ядерный вызов общепринято считать механизм ядерного сдерживания на основе гарантированного взаимного уничтожения. Пока этот механизм работает. Но как показывают исследования [1], он, скорее всего, будет сломан из-за расширения применений ИИ в военных целях.

Ответ на климато-экологический вызов человечеством не найден. Не то что консенсуса, но даже ясности нет по вопросу наличия данного вызова, не говоря уж о путях и способах его преодоления.

Третий вызов — технологические подрывы устоявшегося положения вещей (technological disruptions), с которыми сталкивается человечество в ходе стремительного развития так называемых подрывных технологий (disruptive technologies). Это, в первую очередь, технологии искусственного интеллекта, как сами по себе, так и в интеграции с другими подрывными технологиями, типа, биоинженирига. Названные технологий, «подрывающие» устоявшиеся рыночные и культурные ценности и правила, могут принести человечеству колоссальную пользу. Но могут и уничтожить его.

Сценариев технологического «конца света», вследствие развития подрывных технологий, больше дюжины. И почти все они, так или иначе, связаны с гипотетической ситуацией в будущем, когда компьютерный интеллект перегонит и превзойдет интеллект людей, что будет иметь колоссальные последствия для цивилизации.

На этом пути сначала должен появиться так называемый сильный ИИ (интеллект машины, способный успешно выполнять любые умственные задачи, которые под силу человеку), а затем и супер-ИИ (интеллект машины, значительно превышающий когнитивные способности всего человечества практически во всех областях).

Последствия интеллектуального превосходства машин над людьми, непредсказуемы. Среди возможных сценариев есть как позитивные, так и негативные. В позитивных сценариях люди становятся похожи на богов, обретя бессмертие и всезнание. В негативных сценариях люди либо гибнут, либо интеллектуально деградируют, повсеместно замененные на умных машин. Причем инициатором катастрофы, в обоих вариантах, могут быть, как интеллектуальные машины, так и сами представители вида Homo sapiens.

Спорить о том, какие из сценариев более вероятны, можно долго. Но всех, в первую очередь, волнует вопрос.

Когда же такое может произойти? Когда наступит машинное превосходство?

Разброс экспертных мнений довольно широк и меняется из года в год. Один из отцов современных компьютеров Алан Тьюринг в 50-х годах прошлого века полагал, что компьютерный интеллект превзойдет человека во всех задачах уже в 2000 году. В преддверие «зимы ИИ» (период охлаждения интереса к исследованиям ИИ в 1980-е годы из-за обилия несбывшихся прогнозов) прогноз Тьюринга был отодвинут примерно до наших дней — к 2020 году.

Рис. 1. Прогнозы сроков создания сильного ИИ, сделанные с 1950 по 2015 гг. Вертикальная ось — прогноз сроков наступления машинного превосходства. Горизонтальная ось — дата прогноза. Источник [2] https://link.springer.com/book/10.1007/978-3-662-54033-6

В ходе проведенного в декабре 2018 опроса 32 известных исследователей в области ИИ, которых попросили ответить на вопрос — в какие сроки наиболее вероятно ожидать наступление машинного превосходства, большинство предположили, что супер-ИИ появится в интервале 2036–2060.

Рис. 2. Распределение ответов на вопрос в какие сроки наиболее вероятно ожидать наступление машинного превосходства. Источник [3] https://emerj.com/ai-future-outlook/when-will-we-reach-the-singularity-a-timeline-consensus-from-ai-researchers/
Рис. 2. Распределение ответов на вопрос в какие сроки наиболее вероятно ожидать наступление машинного превосходства. Источник [3] https://emerj.com/ai-future-outlook/when-will-we-reach-the-singularity-a-timeline-consensus-from-ai-researchers/

Примерно те же результаты показал опрос четырех групп экспертов (общим числом 550), проведенный в 2012–2013 [4]. Его результаты приведены в статье известного современного философа и футуролога Ника Бострома и философа из Оксфорда Винсента Мюллера: «Future Progress in Artificial Intelligence: A Survey of Expert Opinion». Медианные ответы участников на вопрос «Как скоро человечество может создать сильный ИИ?» дают 50% вероятность того, что сильный ИИ появится к 2040, и 90% вероятность, что это произойдет к 2075. Медианные ответы участников на вопрос «Сколько времени может потребоваться сильному ИИ, чтобы усовершенствоваться до уровня супер-ИИ» дают 15% вероятность того, что это произойдет за пару лет, и 90% вероятность, что на это потребуется до 30 лет.

Похожие результаты дают и другие опросы экспертов [5]. Если обобщить ответы участников всех вышеназванных опросов, получается, что большинство из них считает наиболее вероятным создание сильного ИИ примерно в 2035–2050, а супер-ИИ, ориентировочно к 2037–2060 годам.

Но это медианные значения прогнозов. Среди ответов экспертов есть и сильно отличающиеся от этих оценки. Например, 21% участников первого из отмеченных выше опроса считают построение супер-ИИ недостижимой целью, и это — второй по частоте ответ опроса.

Если разброс мнений экспертов на главный вопрос развития ИИ столь велик (от пары десятков лет до бесконечности), возникает естественный вопрос об основаниях столь различных оценок.

И тут мы сталкиваемся с сюрпризом.

Веер сингулярностей

Bсе вышеупомянутые прогнозы — лишь называются прогнозами. На самом деле, это предсказания, в основании которых лишь внутренняя убежденность и интуиция их авторов. Неужели нет прогнозов, сделанных на основе какой-то теории или, хотя бы, гипотезы и расчетов, выполненных в соответствии с ней? Такая гипотеза есть. И она называется — технологическая сингулярность. И существует она не изолировано, а в составе целого веера сингулярностей.

Во второй половине прошлого века учеными разных стран было обнаружено удивительное сходство в описании динамики развития, казалось бы, никак не связанных процессов: космологических, геологических, биологических, социологических и технологических. Дальнейший анализ показал существование достаточно строгих глобальных макроэволюционных закономерностей, описывающих эволюцию сложности на планете в течение нескольких миллиардов лет.

Было обнаружено, в частности, что:

  • динамика различных макроэволюционных процессов, представленная в виде последовательности революций (фазовых переходов), автомодельная; то есть происходящая с постоянным и неизменным ускорением. Это позволяет сделать её математическое описание с помощью чрезвычайно простых математических функций;
  • автомодельное ускорение таких процессов не экспоненциального типа (то есть растет не по экспоненте, характерной для многих природных и социально-экономических процессов). Это ускорение — по гиперболическому закону (динамика фазовых переходов в таких процессах описывается гиперболой).

Из гиперболического характера описывающей некие процесс функции следует вывод о наличии в ней точки сингулярности — точки на оси времени, в которой график гиперболической функции уходит в бесконечность. Математически это означает, что скорость изменений процесса в точке сингулярности становится бесконечно большой.

Рис. 3. График математической сингулярности: по мере того, как х стремится к нулю (на графике — это движение справа налево), функция y = 1/х стремится к бесконечности. Источник [6] https://www.amazon.com/Singularity-Near-Humans-Transcend-Biology/dp/0143037889

Так в науке появился целый веер сингулярностей: биологическая [789]; эволюционно-планетарная [101112]; демографическая сингулярность [131415]; технологическая сингулярность [6 , 1617]. И этот список продолжает расширяться.

Вот, например, как выглядит сингулярность на графиках динамики численности населения Земли и мирового ВВП.

Рис. 4. Слева: динамика численности населения Земли, млн чел.: по оси абсцисс — годы от начала нашей эры (источник данных [18] https://urss.ru/cgi-bin/db.pl?lang=Ru&blang=ru&page=Book&id=208339, www.ggdc.net/maddison). Справа: динамика мирового ВВП в $ 90-го года: по оси абсцисс — годы от начала нашей эры (источник данных [19]https://publications.hse.ru/chapters/339076505, www.ggdc.net/maddison)

Обе зависимости хорошо аппроксимируются гиперболой, описываемой следующей формулой,

Приближает ли нас искусственный интеллект к последнему «парадигмальному сдвигу»

где для левого из приведенных выше графиков, Nt — это численность населения мира в момент времени t (для правого графика — это размер мирового ВВП в момент времени t)а C и t0 — константыпри этом tсоответствует абсолютному пределукогда N стало бы бесконечнымТочка tобозначается в математике как «особая точка» (singular point или singularity — сингулярность).

Фон Ферстер — первый исследователь, сделавший такую аппроксимацию в 1960 году, даже назвал свою статью с результатами расчета «Судный день: пятница, 13 ноября 2026 года» [13]. Эта дата означала вычисленную автором точку демографической сингулярности t0, когда гиперболический тренд уходит в бесконечность.

А вот как выглядит график, показывающий динамику глобального макроэволюционного развития и эволюционно планетарную сингулярность в районе 2019 года (точнее 2004 ± 15 лет).

Рис. 5. Увеличение плотности планетарных революций в ходе ускоряющейся с нарастанием динамики биологической и социальной эволюций (по оси х показано число лет до сингулярности), согласно А.Д. Панову [10]http://alpha.sinp.msu.ru/~panov/ons2005.pdf. Рисунок из [20] https://clck.ru/MsDQc.

Этот график, часто называемый «вертикаль Снукса–Панова», отражает распределение планетарных революций (биосферных фазовых переходов) двух эволюций — биологической и социальной.

Первооткрывателем того, что и природа, и человеческое общество движутся по одному и тому же динамичному пути, многие считают Грэма Дональда Снукса — австралийского системного теоретика и стратолога, разработавшего общую динамическую теорию для объяснения сложных живых систем [12]. Он первым рассмотрел процесс эволюции биосферы и человеческого общества, как единый процесс и доказал наличие существенной динамической преемственности в жизни на Земле как до, так и после появления человечества.

Г.Д. Снукс описал эволюцию биосферы и человеческого общества с помощью единого алгоритма Y = a (3t — 1), где Y — биомасса, созданная как биологическими, так и технологическими изменениями за последние 3,8 млрд. лет, t — время, a — константа. Этот алгоритм описывает динамический процесс, в ходе которого биомасса, генерируемая природой и обществом, ускоряется с постоянной скоростью. Ее постоянство описывается коэффициентом, который можно назвать «коэффициентом ускорения» жизни», равным примерно 3. Отсюда следует грандиозный вывод, сделанный Г.Д. Снуксом.

Каждая «великая волна» биологического и технического прогресса возникает в результате «великого скачка» — революционного изменения парадигмы и модели развития. Продолжительность каждой «великой волны» составляет одну треть, по отношению к продолжительности предыдущей «великой волны», порожденной предыдущим «великим скачком».

Рис. 6. Сокращение длины «великих волн» и увеличение высоты «великих скачков» в течение последних 4 млрд. лет (слева) и 80 млн. лет (справа) по Г.Д. Снуксу [21] https://www.amazon.com/Collapse-Darwinism-Rise-Realist-Theory/dp/0739106139 на основе [12] https://www.amazon.com/Dynamic-Society-Sources-Global-Change/dp/0415137306

Найденную закономерность Снукс назвал в итоге «законом кумулятивных биологических / технологических изменений» [21]Принципиально важно, что в своем описании систематического ускорения истории Г.Д. Снукс не рассматривал его в контексте сингулярности. Её там вообще не могло быть, поскольку у Снукса кривая, описывающая сокращение длины «великих волн» (ускорение «великих скачков») была экспонентой, по определению не имеющей никаких сингулярностей.

Спустя несколько лет, в 2003 году известный во всем мире специалист по универсальной эволюции российский физик и астрофизик Александр Дмитриевич Панов в своих расчетах эволюции биосферы и человеческого общества, как единого процесса, применил более строгий математический подход, нежели Г.Д. Снукс. Использовав собственную подборку данных о составе и датировке планетарных революций, Панов показал, что кривая, описывающая ускорение планетарных революций, более точно экстраполируется не экспонентой, а гиперболой. Следствием чего было появление на графике точки сингулярности [10] — точки, в которой график гиперболической функции уходит в бесконечность, поскольку знаменатель функции становится равным нулю.

Автомодельность ускорения планетарных революций во времени более наглядно видна на графиках ниже, выполненных в двойной логарифмической шкале (тогда гипербола превращается в прямую, соответствующую постоянному значению ускорения).

Рис. 7. Слева показана автомодельность ускорения планетарных революций во времени: по оси абсцисс — номера революций; по оси ординат — расстояние от t* (точка сингулярности) до tn (n-я революция) в логарифмическом масштабе; треугольники — биосферные революции, квадраты — социально-биологические или социальные революции, прямая — автомодельный аттрактор [10] http://alpha.sinp.msu.ru/~panov/ons2005.pdf. На рис. справа продемонстрирована точность гиперболической аппроксимации тех же, что и слева, событий: по оси абсцисс — интервал времени между событиями (в годах); по оси ординат — величина, обратная времени от рассматриваемого события до 2019 г. [22] http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=crm&paperid=751&option_lang=rus.

В основе расчетов А.Д. Панова положен временной ряд из 19 планетарных революций — фазовых переходов биологической и социальной эволюций. Список событий, трактуемых Пановым в качестве планетарных революций, получен им в результате анализа обширного списка источников, авторы которых фокусировали свои исследования вокруг конкретных демографических, геологических, биологических и социологических аспектов макроэволюции: от А.Ю. Розанова, Р. Кэррола и Д. Бигана до И.М. Дьяконова, С.П. Капицы и А.П. Назаретяна.

Табл. 1. Временной ряд главных биосферных событий (планетарных революций по А.Д. Панову [23] https://urss.ru/cgi-bin/db.pl?lang=Ru&blang=ru&page=Book&id=66795), источник [22] http:\www.mathnet.ru\php\archive.phtml?wshow=paper&jrnid=crm&paperid=751&option_lang=rus

При этом автор подчеркивает:

«Я далек от мысли, что в вопросе о составе этого списка имеется полная ясность. Разные точки установлены с разной степенью надежности»

А в заключении своей работы А.Д. Панов пишет так [10].

«То, что планетарная эволюция на Земле следует единому автомодельному аттрактору, является пока что не более чем гипотезой, хотя, как мне представляется, гипотезой весьма правдоподобной. Важно, что к сходным выводам приводят разные системы маркеров скорости эволюции… Отсутствие четкого определения планетарной революции делает утверждение о существовании автомодельного аттрактора эволюции отчасти метафизическим».

Вот в нашем повествовании и появилось упоминание метафизики. Это значит пора, наконец, переходить к тому, каким образом из элегантной и многообещающей гипотезы веера сингулярностей вдруг возник крупнейший научный фейк столетия.

Технологическая сингулярность

Графики, похожие на те, что были рассчитаны А.Д. Пановым, приведены и в книге «The Singularity is Near» («Сингулярность уже близка») [6], автор которой — известный футуролог, директор по инженерным разработкам Google Рэй Курцвейл. Временной ряд главных биосферных событий на его графиках отличается от использованного Пановым. Состав таких событий Курцвейл позаимствовал из работ специалиста по применению фундаментальных научных концепций для прогнозирования социальных явлений Теодора Модиса [24]. Но вместо используемого Модисом термина «канонические вехи» (или термина Панова «планетарные революции», Курцвейл использует термин «парадигмальные сдвиги» (Paradigm Shifts) (см. таблицу 2).

Известный российский междисциплинарный ученый Андрей Витальевич Коротаев, осуществивший тщательный математический анализ гипотезы сингулярности, отмечает [25]:

«Т. Модис и А.Д. Панов провели идентификацию своих временных рядов полностью независимо друг от друга. Как свидетельствует мое личное общение с обоими авторами, ни один из них даже не догадывался, что практически в то же самое время на другом конце Европы другой человек занимался идентификацией очень похожего временного ряда… Они опирались на совершенно различные источники, и неудивительно, что полученные ими временные ряды оказались совсем не идентичными».

Табл. 2. Временной ряд главных биосферных событий — «канонических вех» по Модису или «парадигмальных сдвигов» по Курцвейлу [24] https://www.academia.edu/380378/The_Limits_of_Complexity_and_Change

В детальном сравнительном анализе двух временных рядов событий, лежащих в основе расчетов А.Д. Панова и Р. Курцвейла, А.В. Коротаев отмечает [25]:

«Нет ни одной публикации, на которую опирались бы одновременно и Модис, и Панов, когда они составляли свои списки «канонических вех»/ «биосферных революций». Списки использованных ими источников различаются на 100 %. Более того, исследователи в основном опирались на источники, принадлежащие к разным научным традициям».

Но не смотря на кардинальное отличие наборов событий в используемых временных рядах, графики Панова и Курцвейла получились весьма похожими (с учетом зеркального поворота вокруг горизонтальной оси).

Рис. 8. Графики Панова (слева) [20]  https://clck.ru/MsDQc и Курцвейла (справа) [6] https://www.amazon.com/Singularity-Near-Humans-Transcend-Biology/dp/0143037889

А в двойной логарифмической шкале, чтобы увидеть их схожесть, даже не нужно никаких преобразований.

Рис. 9. Графики Панова (слева) [19] https://clck.ru/MsDQc и Курцвейла (справа) [6] https://www.amazon.com/Singularity-Near-Humans-Transcend-Biology/dp/0143037889 в двойной логарифмической шкале

Наконец, если пересчитать график Курцвейла по методу, использованному Пановым (как это потрудился сделать Коротаев [25]), становится очевидным, что график по Панову является
зеркальным отражением курцвейловского.

Рис. 10. График по Панову (сверху) является зеркальным отражением курцвейловского (внизу) [25] https://cyberleninka.ru/article/n/gorizonty-xxi-veka-matematicheskiy-analiz-gipotezy-singulyarnosti

Казалось бы: ну и хорошо, что графики Панова и Курцвейла оказались столь похожи. Немного смущает, что они сделаны на основе разных временных рядов событий, и что сингулярность по Панову лежит в районе 2019 года (точнее 2004 ± 15 лет), а по Курцвейлу — в районе 2029–2045 годов.

Но увы. Хэппи-энда здесь не получается.

Ибо там, где Александр Панов остановился, воздержался от каких-либо прогнозов и лишь зафиксировал,

«что отсутствие четкого определения планетарной революции делает утверждение о существовании автомодельного аттрактора эволюции отчасти метафизическим»,

 Рэй Курцвейл пошел дальше. Туда, где науки уже нет, и все основано исключительно на предположениях. 

Он сделал развернутый прогноз. В нем точка эволюционной сингулярности присутствовала уже не как абстрактная математическая концепция, а как вполне реальное событие — наступление технологической сингулярности.

Первое упоминание понятия сингулярности в технологическом контексте встречается в 1950-х в одном из писем Джона фон Неймана. А в 1965 г. британский математик и космолог Ирвинг Гуд впервые дал развернутое концептуальное описание этого понятия — почему и как такое может произойти [26].

«Пусть сверхразумная машина будет определена как машина, которая может намного превзойти все интеллектуальные действия любого человека, каким бы умным он ни был. Поскольку конструирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы создавать еще более совершенные машины. Тогда, несомненно, произошел бы “интеллектуальный взрыв”, и интеллект человека остался бы далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое нужно сделать человеку.»

Точный же термин «технологическая сингулярность» (technological singularity) был введен и популяризован американским фантастом Вернором Винджем, так и озаглавившим в 1993 году свое эссе — «Грядущая технологическая сингулярность» (The Coming Technological Singularity)[16]. Виндж писал, что наступление технологической сингулярности будет означать конец человеческой эры, поскольку новый супер-интеллект будет продолжать совершенствоваться и технологически развиваться с непостижимой скоростью. А произойдет это, как считал Виндж, между 2005 и 2030 годами.

Курцвейл также, еще в 1990 году прогнозировал, что в первой половине XXI века будут созданы машины, значительно превышающие человеческий интеллект [27]. Ну а в 2006 г. в книге «The Singularity is Near» [6] он опубликовал уточненный и развернутый прогноз появления сильного ИИ в 2029 г. и последующего за этим наступления технологической сингулярности в 2045 г.

Информация об этом прогнозе Рэя Курцвейла вирусно распространилась по планете, породив волну серьезнейших последствий.

Всего за полтора десятилетия у земной цивилизации сформировался новый образ будущего.

Произошла корректировка направлений развития многих наук (от информатики до нейробиологии); в пользу ИИ трансформировались приоритеты и бюджеты НИОКРа высокотехнологического бизнеса; создание сильного ИИ стало одной из наиважнейших задач национальных технологических стратегий большинства развитых стран.

Чем же все это обосновывалась? И как доказывалась состоятельность прогноза Курцвейла?

Об этом — в следующей статье.

Пост впервые опубликован в выпуске НГ-Наука от 7 апреля 2020.

Оставьте комментарий

Создайте подобный сайт на WordPress.com
Начало работы
search previous next tag category expand menu location phone mail time cart zoom edit close