Печальный опыт прогрессорства

[vika vorobyeva]

Чуть возвращаясь к старому спору. Помните? Я говорил, что ПРИНЦИПИАЛЬНАЯ разница между машинами которых создадим мы и  машинами которые прилетят к нам в том, что наши машины ОБЯЗАНЫ помнить о нас, о мясе, которое их породило (для полноты своей картины мироздания. Они должны просто знать откуда появились). А вот чужое мясо НАС помнить не обязано. Мало ли какие формы жизни и разума существуют?

А я по-прежнему не чувствую этой разницы. И те, что улетят, и те, что прилетят, будут собирать информацию, в том числе и информацию о нас (в случае сценария Рак - они УЖЕ тут и УЖЕ собирают эту информацию). Так или иначе, но мы все равно останемся битами в чьих-то кремниевых (гелиевых, углеродных, ..., нужное подчеркнуть) мозгах. Разница между нашим ИИ и чужим ИИ гораздо меньше, чем между любым ИИ и нами (помните Ваши одинаковые самолеты?)
Обидно только будет, если, во-первых, тут никого нет, а во-вторых, мы сами себя угробим (загоним в дикость) ДО того, как создадим эти самые кремниевые мозги. И при этом угробим себя так качественно, что биосфера Земли не успеет повторить попытку создать разум до того, как условия жизни на планете станут совсем невыносимы.

[gans2]

Еще раз. Я не претендую на то, чтобы научные спекуляции называть наукой. Но я ратую за то, что подобные спекуляции были как можно ближе к науке. Тянулись к ней. Строились по ее правилам. Были не отличимые от нее.
Почему я призираю фентези и космооперы, то есть так называемую "фантастику". И меня бесит когда все это дерьмо называют "научной фантастикой"!
Вся эта услада ума, чтиво, жвачка СЛИШКОМ оторвана от науки. Она сликом уж убежала "вперед". Все эти машины времени, все эти гипердравы, все эти звездные войны - все эти "достижения науки будущего" служат одному - поставить чловека из плоти и крови в центр мироздания на веки вечные.
Заметили?
Вся эта блевотина лелеит в нас дурак. Успокаивает нас: ты центр вселенной дурак. Был, есть и прибудешь во веки веков! И наука будет тебя вечно возвеличивать, дурак!
Это очень опасное явление.
В том числе и для науки. В первую очередь для людей. Но для науки тоже. Ибо пока наука делается

Пока наука делается людьми надо их, людей утверждать в мысли ты центр вселенной ты центр вселенной

Был, есть и прибудешь во веки веков! И наука будет тебя вечно возвеличивать

Иначе не будут давать деньги!
Знаете историю пр центр изучения альтернативной медицины?
Они честно все методы медфриков изучили научно и выдали резюме - все плацебо. Тот сенатро, что деньги пробивал - очень обиделся. Больше не будет деньги давать... Такто.

[Инопланетянин]

Кстати, насчёт одинаковых самолётов. А не окажется ли так, что в нас заложена самая оптимальная структура разумного существа? И другие будут или такие же (физически, географически и т.д.) или хуже? Я, конечно, не говорю про поведение человека, про психологию. Тут, мягко говоря, есть ещё куда совершенствоваться. Но даже это, скорее, выглядит как некоторое расстройство психики, нравственности, морали. А если усовершенствовать, то получатся неплохие разумные существа...
Насчёт же ИИ... Ну не представляю я себе его. Даже если это, вообще, возможно, то появится никак не раньше, чем через несколько миллионов/миллиардов лет. И создан будет плотяными (термин "мясо" не очень правилен - это только мышцы) существами на много порядков превосходящими нас в развитии. Почему я так думаю? Потому, что наша психика ещё далеко не изучена. И может ли, вообще, система определённой сложности, имеющая сознание и способность, вообще, в чём-либо разбираться (нам пока известна только одна такая система), разобраться в системе равной сложности? Сможем ли мы, другими словами, создать нечто столь же сложное как и мы сами?
И если даже его и создадут, то не будет ли он похож на нас? Эмоции ему нужны, возможность саморемонта без вскрытия посторонними инструментами ему нужна (нам бы тоже побольше такой возможности, то у нас хоть какая-то есть), возможность собираться не на стенде, а "расти", да что там, без всяких скобок расти - очень нужна. И в итоге придут создатели ИИ к искусственно собранной клетке, способной собрать остальное. Т.е. к жизни.

[Проходящий Кот]

Может быть и так. Но эта клетка будет от наших отличаться в одном направлении --- она сможет изменяться не только за счет внутренних программ, но и по внешнему приказу.....
Как образец --- Клетки Нанотеха Лазаревича......

[vika vorobyeva]

Кстати, насчёт одинаковых самолётов. А не окажется ли так, что в нас заложена самая оптимальная структура разумного существа? И другие будут или такие же (физически, географически и т.д.) или хуже?

Нет.
Мы (люди) заточены эволюцией под жизнь на планете Земля, даже еще более узко - в африканской саванне. И разумность наша сильно преувеличена. Мы слишком ведомы инстинктами, слишком склонны заблуждаться и льстить себе, наконец, мы слишком хрупки.
Если разум хочет жить в космосе - ему придется КАРДИНАЛЬНО измениться. Или генетически, или, что вероятнее, полностью, переписав себя на другую элементную базу. В любом случае те, кто будут жить в космосе, людьми уже не будут. Как мы не являемся австралопитеками.

А нежная любовь к своей тушке - это как раз инстинктивное в нас. Потому что наш разум как раз и заточен под то, чтобы наилучшим образом способствовать выживанию и размножению этой самой тушки

[alex_semenov]

Иначе не будут давать деньги!
Знаете историю пр центр изучения альтернативной медицины?

Да я понимаю. Но речь идет не о науке. Которая может стоять в стороне и загадочно улыбаться, если что. Речь идет о ее культурном окружении.
Конечно, литературу, фантастику тоже читают люди. И они не станут читать литератур, которая будет говорить: "ты  - дерьмо!" (хотя как раз великая русская литература на этом и сделала себе имя… ). Но я о чем сетую?
На Западе есть очень маргинальный ПЛАСТ культуры. Научные спекуляции.
Хотите пример?
Первые два на вскидук:
Типлер, "Физика бессмертия"
Robert A. Freitas,  "Ксенология"
Даже в таком рискованном жанре как кино есть такие вещи как. полу-художественная фантастика "Чужая планета", "Одиссея по планетам",.
На Западе не умерла и здравствует ЖЕСТКАЯ научная фантастика. Тот же Форвард. То есть присутствует весь спектр. Да, околонаучная фантастика (жесткая фантастика, научные спекуляции) куда слабей космооперного мейнстрима. Но оно есть. И его мощность там вполне удовлетворительна.
А что у нас?
Когда наука разошлась с человеком, наши фантасты стали перед дилеммой - за кем идти?
За наукой? За человеком?
И выбор был очевиден. Писатель фантаст прежде всего писатель. То есть гуманитарий. И он НАПЛЕВАЛ на науку. Первые кто это сделал - Стругацкие. Но их можно оправдать. Все остальные их подход восприняли как правильный выбор.
Сложилось порочное распределение.
Поэт в России больше чем поэт.
Наша фантастика чрезмерно гуманитарна. Она слишком далека от науки. Она вообще в оппозиции науки. Она антинаучна. Начисто!
Между наукой и нашей фантастикой нет никакой переходной зоны.
Мертвая зона!
Теперь у нас в стране мало того что НЕТ твердой научной фантастики. Мало того что у нас в стране НЕТ научных спекуляций (почти нет. Хотя единичные случае все же случаются вопреки а не благодоря).
Хуже всего то что идея восстановить, заполнить пробел, нечерную землю, воспринимается В ШТЫКИ.
Мол, а на кой хрен надо?
(это в основном по спорам Первушина с большинством собратьев по перу).
Наука  пускай остается наукой (строгой логичной и далекой от народа) а фантастика пускай остается гуманитарным промыслом, прежде всего Литературой, инженерией душ. Поэтому автор имеет право на произвол. На  выдуманный, удобной для реализации его глубокой задумки, мир со своей, удобной ему физикой. Сказка, мол, ложь, да в ней намек…
Но правда в том, что никакого намека добрым молодцам там уже ДАВНО НЕТ. Высосали весь намек. Вылизали. Вытерли. И высасывать там что-то еще уже нет смысла. Жвачка себя исчерпала.
От реальности космоопера оторвалась окончательно. А внутренней фабулы на долго ведь не хватит. Гуманитарный (от слова гумус) материал оказался ведь небогат! Человек сам по себе - тварь ведь беспросветно убогая, однообразная, неинтересная. Раскрывается он только в контексте обстоятельств.
А где из взять в удобном, комфортном мирке?

Да, Стругацкие исказили реальность в воспитательных целях. Но они были, по сути, диссидентами. Они "боролись с режимом", как это теперь называют. И  жертва  была оправдана. Они воспитывали Человека. Но посмотрите на последователей. Все чем "ученики" заняты - игрищами в сказочных удобных для себя мирах-площадках. Игрищами в трех заезженных "общечеловеческих" сюжетах (бабы, риск, дележ власти). И вырваться из этого порочного круга теперь не дает даже не столько ИСКУССТВЕННОСТЬ космооперной вселенной, но уже, пардон, и элементарная УЗКОЛОБОСТЬ писателей.
Они все отупели на космооперной волнице.  У них мозги заплыли.
В результате мы имеем то что имеем.
Космооперная вселенная,  она ведь сделана под человека, как унитаз под седалище. Вот и приходится писателям что то фантазировать про приключения на унитазе. Легче за ухо себя укусить. В результате сложилась некая технология, деление на ранги (хорошая фантастика, кустарщина, чтиво, дерьмо). Закрытая область. Наука - сама по себе. Фантастика - сама по себе.
И даже идея как-то изменить ситуацию выглядит уже дикой.
Хотя сама ситуация - вопиюще неверная!

[alex_semenov]

Кстати, насчёт одинаковых самолётов. А не окажется ли так, что в нас заложена самая оптимальная структура разумного существа? И другие будут или такие же (физически, географически и т.д.) или хуже?

Нет.
Мы (люди) заточены эволюцией под жизнь на планете Земля, даже еще более узко - в африканской саванне. И разумность наша сильно преувеличена. Мы слишком ведомы инстинктами, слишком склонны заблуждаться и льстить себе, наконец, мы слишком хрупки. 

Всецело присоединяюсь к мнению Вики!
Инопланетянен, срочно и вдумчиво читать:
http://psylib.org.ua/books/lemst01/index.htm
вот это раздел читать дважды!
http://psylib.org.ua/books/lemst01/txt03.htm

Хотя не так. Все читать дважды, а раздел - трижды!
Здесь, как мне кажется, Великий Лем превзошел самого себя. Сколько перечитываю, столько нахожу все новые, ранее невиданные мне глубокие прозрения.

[alex_semenov]

Насчёт же ИИ... Ну не представляю я себе его. Даже если это, вообще, возможно, то появится никак не раньше, чем через несколько миллионов/миллиардов лет. И создан будет плотяными (термин "мясо" не очень правилен - это только мышцы) существами на много порядков превосходящими нас в развитии. Почему я так думаю? Потому, что наша психика ещё далеко не изучена.

Психика человека (нейрофизиология) прямо сейча - один из мЭйнстримов своременной накуи. Она равивается НЕ МЕДЛЕННЕЙ экзопланетологии. Кстати кличем к обеим всплеском стали компьютеры.
ИИ, сильный ИИ появившийся в 50-х оказался в полном провале. Мы не дооценили цену вопроса. Сложность. Но это не значит что проблема навсегда останется непробиваема. Главное - мы знаем что проблема решаема. Разум существует хотя бы у нас.
Оптимисты в 90-х были уверены что сильный ИИ (то есть реально думающую машину) мы непременно построим УЖЕ к 2050-му.
Тогда же и назначалась технологическая сингулярность.
Но я и 90-х и теперь уверен что путь окажется не столь прямым и быстрым. К  2050-у скорей всего закончится (сойдет на нет окончательно) компьютерная революция. И только. А ИИ появится даже не на следующей (которая как считается будет биотехнологичекая) а через одну. То есть к году 2100-2200 не раньше. И это если мир плавно пройдет демографический пик и энергетический спад. Чего скорей всего не случится.
Как не верти, но к ИИ мы НЕ ДАЛЬШЕ чем до колонии на Марсе. Да далеко. Но не на миллионы лет. Не обольщайтесь!

И может ли, вообще, система определённой сложности, имеющая сознание и способность, вообще, в чём-либо разбираться (нам пока известна только одна такая система), разобраться в системе равной сложности? Сможем ли мы, другими словами, создать нечто столь же сложное как и мы сами?

Это известное возражение против ИИ. Давно известное. И так как давно разъясненное, то в наше время всеми основательно забытое. У Лема в предисловии к "Маске" она называлась высокоумно, еще на манер эпохи кибернетики: "проблема атодескрипции конечного автомата" (самочтения, самопознания). Суть проста. Если вы имеете два равных по размеру чемодана, то один в другой вы никак не поместите. Ну а больший, в меньший - тем более.

(кстати для бесконечного автомата проблемы нет. Ибо бесконечность можно поместить в бесконечность бесконечное число раз. Но это эстетство. Не будем туда уходить)
Какой простой ответ?
Вы  упускаете нюанс. Проблематику ИИ исследует не один какой-то человек. Этим занята наука ИИ. То есть сообщество людей, кучка пигмеев-муравьев, которые разделяют проблему на и властвуют. И коллективная мощность этого сверхорганизма превосходит мощность каждого из нас.
То есть проблема вместимости чемоданов решается.
Это кстати типичная уже для нас проблема.
Ничего нового в ней нет.
Очень яркий пример разделения бОльшей проблемы на мелкие. Никто сейчас уже не держит в голове всю ТОПОЛОГИЮ того или иного компьтера. Верно? Не знает всех деталей, нюансов его устройство.
Но компьютеры производятся. Самые разные. Самые сложные.
Да что компьютеры! Скажем, конструкция любого современного автомобиля уже давно не храниться ни в чьей отдельно взятой голове.
Но никого это не беспокоит. Ничему не мешает.
То же будет и с ИИ.
Просто ИИ скандальная тема, которую неолудитам хочется как-то закрыть или отодвинуть ее решение подальше от реализации.

И если даже его и создадут, то не будет ли он похож на нас?

Будет. Но только в ГЛАВНОМ. Все же второстепенное будет иным.

Самое интересное возражение, которое я в последнее время слышал против ИИ, - проблема ремонта. Суть в том, что даже самый простой мозг будет иметь очень высокую сложность. Где проходит граница этой сложности - предмет бесконечных споров. Но следует принять эту границу куда выше, чем я бы ее провел. То есть потребуются миллионы параллельных процессоров.
И если клеточный вичислитель мозг сам себя ремонирует, то что делать с неизбежно отказывающими процессорами? Мы делали расчеты (приняв определенные допущения) и получалось что срок жизни ИИ на современных микросхемах без ремонта будет.. 20 лет. За 20 лет он потеряет столько же вычислительной мощности сколько и 70-и летний человек за счет отмирания нейронов.
Если же мы хотим получить вечный мозг, то должны менять каждый день по одному процессорному блоку. То есть хотим мы этого или нет, наш ИИ должен быть совмещен с неким саморепликатором.

[gans2]

То есть хотим мы этого или нет, наш ИИ должен быть совмещен с неким саморепликатором.

А саморепликатор невозможен без интеллект, его контролирующего. Колечко!
В этом Семенов согласился(в другом месте) и сам себя загнал в угол. ИИ невозможен  ДАЖЕ на уровне микромашин - не замыкается репликатор без осознанного контроля 

Z1 - мотивируемый живыми сущестывами в социуме и есть минимально возможный ИИ.

[vika vorobyeva]

Z1 - мотивируемый живыми сущестывами в социуме и есть минимально возможный ИИ.

Звучит уже как мантра

[gans2]

Z1 - мотивируемый живыми сущестывами в социуме и есть минимально возможный ИИ.

Звучит уже как мантра

Разве? Это я только что догадался.

[Yuri]

А зачем ИИ быть сразу саморепликантом?

Пусть первые ИИ поколения №1 соберёт тот самый социум на базе мяса. Достаточно быть ремонтнопригодным, даже не обязательно саморемонтным. Регулярная профилактика и backup сделает его уже практически вечным.

Со временем ИИ может освоить профессию ремонтника и делать обслуживания без участия людей. Прибрав к рукам фабрики и заводы, очередное поколение сможет выпускать самого себя по готовой схемe. Набрав достаточную массу знаний, заняться собственным проектированием.

И в какой-то момент - уже совершенно не нуждаться в породившем его биологической цивилизации.

[gans2]

Описана технологическая индустриальная цивилизация.
Была долгая дискуссия в ходе которой Семенова убедили, что авторепликатор даже микроразмеров требует постоянного вмешательства разумного существа для устранения коллизий.

ИИ размерности Z1 не будет заморачиватся проектированием, фабриками и заводами так же как человек не вникает в техпроцессы пищеварения, например. Вам надо самому пищеварение поддерживать без кишечной палочки и остальных симбионтов?
Никто не осваивает все профессии неоходимые для замыкания цикла технологической цивилиззации. Разум и цивилизация не содержатся в отдельном мозгу.

[Yuri]

Кишечные палочки у Z1 необязательно должны быть биологические. Не нужны неразумные микросаморепликанты - пусть будет минимальный размер петатонна. Но с чего отказывать в праве быть выполненным полностью на другой элементной базе, чем человечество?

ИИ размерности Z1 не будет заморачиватся проектированием, фабриками и заводами

Вот с этого момента можно поподробнее? Z0, которое условно человечество в целом, сейчас заморачивается. Почему Z1, включающий в себя возможности и технологии Z0, вдруг перестанет?

Разум и цивилизация не содержатся в отдельном мозгу.

И Z1 совсем не обязательно централизованным. Мало ли как у него мышление будет устроено - может, по принципу NUMA (Non-Uniform Memory Architecture, архитектура мозгов с распределенным неравномерным самоосознанием). В принципе, человечество как-то так и устроено, только вот со связностью и когеренцией большие проблемы. 

[Yuri]

В каком-то смысле проблема создания самореплицирующего ИИ похожа на сборку компилятора нового языка программирования, написанного на нём же самом. Это только кажется невозможным - но в индустрии уже было проделано не раз.

1) Когда-то у нас был процессор, понимающий только машинный код.
2) Пишем в кодах простой убогий ассемблер - получили возможность абстрагироваться от архитектуры с использованием его мнемоники. Этот ассемблер опирается, работает сразу на железе.
3) Переписываем его на языке ассемблера с макрокомандами, добавляя продвинутые возможности. Его транслируем ассемблером с предыдущего этапа.
4) Пишем на полноценном ассемблере компилятор подмножества языка высокого уровня. Как всегда опираемся на предыдущий этап.
5) Переписываем компилятор с использованием доступного подмножества. Его транслирует компилятор с предыдущего этапа. Его тут же можно странслировать самим собой. Вуаля - у нас есть первый самореплицирующийся компилятор!
6) Развивая этот компилятор, можно делать язык более мощным, добавлять поддержку других языков и архитектур.
...
N+1) На каком-то этапе, начальная архитектура и языки будут совершенно не нужны, и могут быть совершенно забыты и выброшены вместе с железом, для которого они были предназначены.


Первые ИИ, разумеется, будут встроены в человечество по производственным цепочкам и в цивилизацию, как в базу накопленных знаний. Но по мере развития, не видно никаких препятствий шаг за шагом замещать интеграционные цепочки, начиная с простейших (производства) и заканчивая видимо самым последним, сложным (мотивации).

На каком-то поколении, вуаля - жидкие биосистемы окажуться не нужны. Obsoleted.

[gans2]

Мне кажется, что мы пришли к консенсусу. 
При минимальном размере саморепликатора - петатонна - такой саморепликатор уже есть на Земле и даже в десятках экземпляров.
То что эти саморепликаторы не обрели самосознания как раз не удивительно - нанаоразмерные саморепликаторы обрели самосознание на уровне сложности на три порядка высшем, чем существующие на Земле макросаморепликаторы.
Особенно последний вопрос - мотивация. Никто не хочет сформулировать зачем реплицироватся, кроме как потому что гены , котрые не замыкали цепочку реплицирования не оставили потомков.