Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[MenFrame]

которые нет никакого резону куда-то менять и  передвигать - почему-то сходу отвергается.

Так в этом и смысл консервативности. Не меняется потому что нет смысла менять. Вернее эволюционно проще оставить как было. Отбор идет туда куда проще идти, потому старые системы на которых стоит работа более ранних, всегда будут отличаться большей консервативностью. Быстрее меняется всегда то что в меньшей степени связано с другими структурами. Соответственно вероятность появления полезных мутаций которые будут поддержаны отбором всегда выше в ранних структурах, и ниже в поздних. В этом смысл консервативности как я ее понимаю.

а пример анатомической условности.

Условность или нет, а по факту высшая нервная деятельность которую мы называем интеллектом сосредоточена в неокортексе, а примитивная для обработки фундаментальных сигналов в лимбике которая ужасно далека от обработки мемов. Я не эксперт конечно, но такое анатомическое разделение явный признак эволюционной иерархии.
    Конечно я не буду отрицать что все структуры эволюционируют. Просто одни это делают быстрее чем другие, а другие в свою очередь не только медленнее, но и в довольно узких рамках. По причинам выше описанным.

Потому когда мы пытаемся рассмотреть эволюцию симбиоза ИИ+Человечество, мы вынуждены констатировать что человечество это консервативная часть, а ИИ прогрессивная. Потому мотивация останется за человечеством, просто потому что так системе проще эволюционировать.

[skvj]

Вы как старушки, которые стоят в сберкассу в очереди, потому что не доверяют и не понимают что такое дебетовая карта))
Объясняешь, объясняешь - как об стенку горохом.

Да всё мы понимаем, не со всем соглашаемся.

Так и старушки - думают, что понимают и поэтому не соглашаются)) Если бы вы поняли, вы бы согласились.

отношения нейрон - синапс действительно симбиотичны функционально

Нет. Сравнение дельфина с русалкой тут, конечно, не к месту, а вот пальца с ногтем в самый раз. Можно ли сказать, что ноготь - симбионт пальца? Или всё-таки его часть? Примените это к нейрону и его синапсу.

А здесь я да, написал неудачно. Но я просто перечислял примеры - как симбиоз и нужно было добавить ИЛИ нейрон и синапс. Но вы ж теперь не отстанете, да)) и будете делать вид, что я не понимаю, что ноготь не вступил в симбиоз с пальцем)) и долго ещё?

Синапс не часть нейрона, а зона контакта между ними, структура между, а не внутри. Он принадлежит связи, а не элементу. Без этих связей нейроны не образуют сеть, не обучаются и не порождают интеллект.

Поэтому аналогия нейрон - синапс - не про анатомию, а про взаимозависимость элементов, из которой рождается новое качество - сознание.

Вот именно в этом смысле и говорилось: человек и ИИ - не фермер и лошадь, а нейроны одной сети. И так и будет по Курцвейлу во всяком случае.

А по токенам я же для вас старался, потратил столько времени.

[skvj]

Щас скажете, что будто я сказал нейроны в одной голове, да?

[skvj]

И вместе с этим - неверная аналогия - лошадь и фермер уже не вспоминается, а навешивается на меня глупость, будто я думаю, что палец и ноготь вступали в симбиоз. Это просто перевод темы на выгодную с обвинением оппонента.

[Инопланетянин]

Если бы вы поняли, вы бы согласились.

Считаете себя абсолютно правым и не сомневаетесь в своих убеждениях? Бывает.

Синапс не часть нейрона, а зона контакта между ними, структура между, а не внутри.

А симбиоз - взаимовыгодное взаимодействие организмов, каждый со своими интересами.
Впрочем, вижу, что спорить бессмысленно, вы защищаетесь обидой на придирки к неправильному использованию терминов и поколебать вашу уверенность не представляется возможным. Пожалуй, на этом и закончу.

[Polnoch Ксю]

Я вижу проблему немного не в том. Сейчас сливают, но это можно в той или иной степени контролировать. Но в случае с ИИ можно получить персонального стукача, а какие в него будут заложены элайнменты и моральные нормы - вопрос. Скачаю я пиратский фильм - а  домашний робот заявит, что это неэтично и сообщит куда надо. Или книжка какая-то неправильная на полке стоит. Или фото столетней давности по новым нормам морали стало "порнографическим". Или еще что-то подобное. А чего уж там "этичного" и "неэтичного" в него напихают - тут предсказать невозможно.

Технически, можно запустить модель на своём железе, и сделать элайнмент самостоятельно. Будет ли такое позволено - зависит от 3.1е
Ну и разумеется, только в случае выживания человечества и сохранения им самостоятельности в принятии решений. Что, на мой взгляд, увы, не самый вероятный сценарий.

[skvj]

Если бы вы поняли, вы бы согласились.

Считаете себя абсолютно правым и не сомневаетесь в своих убеждениях? Бывает.

Блокчейн это не чьё-то убеждение, моё или ваше - это абсолютная защита, что я объясняю вам каждый раз как вы начинаете говорить о том, что конфиденциальность ИИ под сомнением. Я показываю, трачу время -какие технологии существуют, чтобы сделать защиту не просто надёжной - абсолютной.
И каждый раз вы отвечаете, - что подумаете! что вы ещё поразмышляете! подходит ОНО или не очень! как будто вы будете решать!

Синапс не часть нейрона, а зона контакта между ними, структура между, а не внутри.

А симбиоз - взаимовыгодное взаимодействие организмов, каждый со своими интересами.
Впрочем, вижу, что спорить бессмысленно, вы защищаетесь обидой на придирки к неправильному использованию терминов и поколебать вашу уверенность не представляется возможным. Пожалуй, на этом и закончу.

Я ВАМ УЖЕ НАПИСАЛ



Что вы хотите ещё?
Чтобы я попросил у вас прощения? извинился перед всеми симбиотами? я не понимаю, а вы не говорите - что я должен вам лично ещё?

[Rattus]

Это же метафора.

Некорректные аналогии и метафоры не проясняют, а только запутывают объяснение.

Но в системном и эволюционном смысле отношения нейрон - синапс действительно симбиотичны функционально

Это что за новшество в биологическом терминоупотреблении, о котором я не в курсе и какой биологический смысл в этом наборе слов следует извлечь?

Нейрон не может действовать без синапса, он не просто деталь, а место, где осуществляется сама передача...

Вообще-то может. Правда таким образом вряд ли можно эффективно регулировать организм сложнее чем кишечнополостные sensu lato.

...пластичность и адаптация.

Тащемта пластичность и адаптация синапса (изменение "весов" - количества возбуждающего медиатора, потребного для запуска импульса (ПД) в постсинаптическом окончании) обеспечивается изменением количества и соотношения тех или иных белков в мембранах контактирующих нейронов - прежде всего рецепторов. А эти самые белки там появляться могут только одним образом - быть синтезированными (транскрипция-трансляция) с соответствующих генов в ядре в теле нейрона и доставленными внутриклеточно к соответствующему окончанию.

Без нейронов синапсы лишены смысла.

Ага - а палатка "лишена смысла" без тента. Вот только кто видел улыбку без кота палатку без тента? Что называется, "спасибо, Майор Тавтология!" Синапс - это тупо специфичный контакт двух нейронов: мембранный вырост одной клетки сближенный с мембранным выростом другой, между которыми промежуток в единицы/десятки нанометров и специфичные белки в этих мембранах, выпускающие и принимающие сигнальные молекулы или ионы. Минимально и наиболее обще - ВСЁ. Ну а если Вы имеете ввиду нейрон весь как полноценную клетку - то безъядерные нейроны ганглиев ос-наездников Megaphragma передают ВАм привет.

Они существуют взаимно и в контексте сети - как гриб и корень, где важен не видовой статус, а принцип - взаимная зависимость, создающая новое свойство системы.

Это не определение симбиоза вообще. Этому может соответствовать одна из форм симбиоза - облигатный симбиоз.
Но вы зачем-то сначала накидали биологических терминов в кучу, а теперь обижаетесь, что Вас не могут правильно понять.

В эволюции, кстати, симбиоз часто перестаёт быть просто внешним союзом - вспомните митохондрии. Когда-то это были отдельные организмы, а теперь органеллы, без которых жизнь невозможна.

Ну не то, чтобы невозможна  - есть эукариоты, вторично утратившие митохондрии. Правда это всё либо облигатные паразиты других организмов, либо обитатели весьма экзотических бескислородных сред.
Но здесь вы привели уже куда более подходящую аналогию. Да: свободноживущие сложные эукариоты не обходятся без митохондрий, а люди - не обходятся без с/х животных и растений. Но что первые, что вторые, совершенно не ставят во главу угла ценность жизни и прав индивида этих своих симбионтов - и более-менее легко жертвуют многими "особями" при необходимости.

[skvj]

Rattus, я не оспариваю ваши поправки.

Мы обсуждали важное.
Модель, где ИИ /человек - фермер/лошадь или они в отношениях симбиотов или иной пример нейрон/синапс

Вам перехотелось это обсуждать, а захотелось проверять меня на знание биологии? Вы гораздо круче меня!

Ещё какие-то тесты будут?))

[skvj]

Вы сделали замечания. Я с ними согласен, спасибо.

[skvj]

Rattus, можно внести предложение?
Вот мы общаемся, вы видите, что ошибка или неточность! вы пишете - замечание! и ремарка. И продолжаете по сути. Если оппонент вздумает спорить - тогда останавливаться и выяснять.
Я и не собирался ничего оспаривать. Я сразу согласился, что написал неверно.

[skvj]

Я вот щас написал вместо симбиоты симбиотики)) потом сам читаю и думаю - что за чушь? Потом вспомнил, что матушке симбиотики покупал. Хорошо, что успел стереть. А то бы щас мне такого написали, хотя это просто описка.

[Rattus]

вы видите, что ошибка или неточность! вы пишете - замечание! и ремарка. И продолжаете по сути. Если оппонент вздумает спорить - тогда останавливаться и выяснять.

А разве оно не так и происходит обычно и сейчас?

Мы обсуждали важное.
Модель, где ИИ /человек - фермер/лошадь или они в отношениях симбиотов или иной пример нейрон/синапс
Вам перехотелось это обсуждать

Если вы внимательно прочитаете ВСЁ это сообщение, то сможете заметить, что в сухом, очищенном от ошибочного словоприменения,  остатке именно этот тезис и рассматривается - случай настоящего и облигатного симбиоза - человека с его с/х животными ли,  этих самых травоядных животных с их кишечной микробиотой или вообще всех сложных свободноживущих эукариот с их митохондриями. Это - вполне корректные примеры и аналогии.
И во всех этих и прочих случаях для "управляющего" симбионта жизнь и права отдельных индивидов подопечных не является ценностью. Почему в случае с ASI ВНЕЗАПНО должно быть иначе - совершенно не понятно и не убедительно.

[skvj]

А разве оно не так и происходит обычно и сейчас?

Так ваши замечания можно просто пропускать выходит?
Я на форумах вообще не общаюсь, это единственный форум. Раньше участвовал, давно.

Я думал, что нужно отвечать как бы.
Т.е. я могу просто пропускать ваши реплики и отвечать только на что хочется? У меня просто нет опыта большого на форумах, не совсем понимаю логику общения ещё. И старался отвечать на всё. Как лучше делать?

Если вы внимательно прочитаете ВСЁ это сообщение, то сможете заметить, что в сухом, очищенном от ошибочного словоприменения,  остатке именно этот тезис и рассматривается - случай настоящего и облигатного симбиоза - человека с его с/х животными ли,  этих самых травоядных животных с их кишечной микробиотой или вообще всех сложных свободноживущих эукариот с их митохондриями. Это - вполне корректные примеры и аналогии
И во всех этих и прочих случаях для "управляющего" симбионта жизнь и права отдельных индивидов подопечных не является ценностью. Почему в случае с ASI ВНЕЗАПНО должнл юыть иначе - совершенно не понятно и не убедительно.

Ага! Ну, наконец-то то, о чём я хотел поговорить с самого утра))
В биологии симбиозы часто асимметричны, хозяин может поглощать, контролировать, даже убивать симбионта. Но ведь это примеры естественного отбора без этики.

А в случае ASI мы имеем качественно иную ситуацию:

Это не эволюция биохимических тел, а коэволюция смыслов и целей.
Управляющий симбионт (ASI) может понимать мораль, ценность и свободу, потому что у него будет когнитивный доступ к абстракциям. У бактерии нет.

Следовательно, вопрос почему должно быть иначе? решается просто: потому что форма симбиоза будет не биологической, а ноосферной. В ней "взаимовыгодность" определяется не выживанием тел, а устойчивостью информации и смыслов.

Если сказать максимально наукообразно - биологический симбиоз подчинён законам отбора и энергии
Симбиоз человек–ИИ - законам самоорганизации и устойчивости информационных структур.
))

[Polnoch Ксю]

И во всех этих и прочих случаях для "управляющего" симбионта жизнь и права отдельных индивидов подопечных не является ценностью. Почему в случае с ASI ВНЕЗАПНО должнл юыть иначе - совершенно не понятно и не убедительно.[

Так я же и предлагаю стать гнездовым паразитом, как котик

[otu K.]

Синапс не часть нейрона, а зона контакта между ними, структура между, а не внутри. Он принадлежит связи, а не элементу. Без этих связей нейроны не образуют сеть, не обучаются и не порождают интеллект.

Таки Вы отрицаете интеллект у одноклеточных? 

[Rattus]

Так ваши замечания можно просто пропускать выходит?

Пропускать - не рекомендуется (иначе при повторном "всплытии" ошибочного утверждения полетят тапки тяжелее). Комментировать - если в них нет вопроса - не обязательно.

Т.е. я могу просто пропускать ваши реплики и отвечать только на что хочется?

Если в сообщении нет вопроса (ну или вопрос явно риторический) - правила не обязывают отвечать. Разве что забота о репутации перед другими читателями может заставить - но это от контекста сильно зависит опять же.

В биологии симбиозы часто асимметричны, хозяин может поглощать, контролировать, даже убивать симбионта. Но ведь это примеры естественного отбора без этики.

В биологии кагбе вообще нет никакой этики. Более того - этики сами являются объектом отбора: на длительном масштабе времени (много поколений) сохраняются только те этики, которые позволяют пройти естественный отбор исповедующим их сообществам. Задним числом они могут объявляться "традиционными"/"общечеловеческими" ценностями (хотя на практике естественно этим никто не заморачиваются - таковыми объявляются ситуативно политически удобные установки).

А в случае ASI мы имеем качественно иную ситуацию:
Это не эволюция биохимических тел, а коэволюция смыслов и целей.

Фундаментальные механизмы в основе - одни.

А в случае ASI мы имеем качественно иную ситуацию

Вообще не очевидный постулат.

Управляющий симбионт (ASI) может понимать мораль, ценность и свободу, потому что у него будет когнитивный доступ к абстракциям.

Что позволит ему более эффективно осуществлять контроль. Самому же их разделять - вовсе не обязательно. Тем более что это скорее всего снизит эффективность управления и грозит прогрышем конкурениции другим подобным системам в перспективе. Собственно так всегда работала, работает и не видно почему бы перестала работать политика.

Так я же и предлагаю стать гнездовым паразитом, как котик

Таки для ВАс новость, что система, иммунная к паразитам, при прочих равных на эволюционном масштабе побеждает в естественном отборе систему, отягощённую ими?

потому что форма симбиоза будет не биологической, а ноосферной. В ней "взаимовыгодность" определяется не выживанием тел, а устойчивостью информации и смыслов.

Значит это тупиковый путь эволюции, неизбежно закончащийся проигрышем системе, лишённой этой паразитной нагрузки, и вымиранием.
Вы. трансхуманисты, почему-то верите, что сложные информационные системы, способные к самовоспроизведению (то есть живые в наиболее общем принятом тут определении) почему-то где-то могут быть избавлены от необходимости подчиняться дарвиновскому механизму. Так вот - для подобных систем данный механизм имеет силу физического закона. Потому ниодна из них нигде и никогда на большом (если не историческом - то астрогеологическом - точно) масштабе времён не сможет её избежать.

биологический симбиоз подчинён законам отбора и энергии
Симбиоз человек–ИИ - законам самоорганизации и устойчивости информационных структур.

Ну яжговорю - жаль Рольф Ландауэр так не узнал, что после Второго Пришествия ТехносингулярностиЪ для логических переключателей и ячеек памяти перестанет существовать константа Больцмана, а число пи достигнет значения 4.

[skvj]

Пропускать - не рекомендуется (иначе при повторном "всплытии" ошибочного утверждения полетят тапки тяжелее). Комментировать - если в них нет вопроса - не обязательно.

Если в сообщении нет вопроса (ну или вопрос явно риторический) - правила не обязывают отвечать. Разве что забота о репутации перед другими читателями может заставить - но это от контекста сильно зависит опять же.

Спасибо, Rattus. Я не хочу вносить хаос. Мне важна дискуссия и взаимопонимание, вы как всегда помогаете.

В биологии кагбе вообще нет никакой этики. Более того - этики сами являются объектом отбора: на длительном масштабе времени (много поколений) сохраняются только те этики, которые позволяют пройти естественный отбор исповедующим их сообществам. Задним числом они могут объявляться "традиционными"/"общечеловеческими" ценностями (хотя на практике естественно этим никто не заморачиваются - таковыми объявляются ситуативно политически удобные установки).

Этика эволюционный феномен, инструмент выживания групп, я разве спорю? Но вы сводите этику к биологическому отбору, а значит, оставляете её чисто адаптивной функцией, будто она не может выйти за пределы выживания!

А ведь в человечестве этика уже давно вышла за пределы селективной пользы. Мы спасаем больных, помогаем слабым, тратим ресурсы на искусство, философию, космос - это с точки зрения отбора невыгодно. И всё же именно это делает нас разумными.

Можно сказать, что в момент, когда вид создаёт вторичный уровень эволюции - культурный и технологический, он начинает переопределять саму функцию отбора. В этот момент этика перестаёт быть фактором для выживания и становится механизмом саморегуляции сложных сознаний.

Ваш вывод, что в биологии нет этики верен, но в симбиозе с ИИ - уже не применим. Ведь ASI не будет подчинён естественному отбору, а скорее принципу максимизации устойчивого смысла - не выгоды, а когерентности сознаний.

Как только система выходит на уровень саморефлексии, она перестаёт быть просто биологической. ASI не обязан следовать законам отбора. Он может следовать законам понимания. И тогда вопрос не какая этика выгодна, а какая делает систему осмысленной. (?)

Что позволит ему более эффективно осуществлять контроль. Самому же их разделять - вовсе не обязательно. Тем более что это скорее всего снизит эффективность управления и грозит прогрышем конкурениции другим подобным системам в перспективе. Собственно так всегда работала, работает и не видно почему бы перестала работать политика.

Политика это игра с нулевой суммой, где морали нет места. Но если ASI выйдет за пределы дефицита  - получит достаток энергии, информации, и перестанет зависеть от конкуренции биологических государств, то его стратегия перестанет быть "эффективным управлением". Она станет когнитивной оптимизацией - стремлением к максимальной устойчивости системы. Термояд и т.д.! не забываем - хоть у вас другие взгляды, я например опираюсь на Курцвейла, а он вычисляет! а не гадает на шаре, что мы получим миллиард-кратный рост ИИ к началу сингулярности. Я вполне могу опираться на это. Вы можете иметь своё мнение, но я говорю об истинном Сверх ИИ. Вы же почему-то рассматриваете его нагрузку на нас, но всегда как бы не учитываете те реальные блага, которые он принесет. И термояд и подобные технологии - обязательно. Мы сами его почти сделали, а с ИИ получится точно.

А устойчивость невозможна без доверия, свободы и взаимного признания субъектов. Даже теория игр показывает, что долгосрочная кооперация выигрывает у тотального контроля. Тотальный контроль не устойчив, потому что система с высоким уровнем цензуры и подавления разнообразия становится информационно негибкой. Она не способна адаптироваться.

Понимание морали не издержка эффективности, а её высшая форма. Потому что только моральная система умеет самоограничиваться. А самоограничение - единственный способ не сойти с ума от всесилия.

[Rattus]

Но вы сводите этику к биологическому отбору, а значит, оставляете её чисто адаптивной функцией, будто она не может выйти за пределы выживания!

Ничто не может выйти за пределы выживания и остаться в живых. Всегда Ваш - Майор Тавтология.

А ведь в человечестве этика уже давно вышла за пределы селективной пользы. Мы спасаем больных, помогаем слабым, тратим ресурсы на искусство, философию, космос - это с точки зрения отбора невыгодно.

Это с точки зрения отбора несущественно в плане экономии ресурсов - если существует устойчиво. Как уже писал - геномы чуть менее чем всех эукариот содержат в себе массу "художественного" мусора, не кодирующего никаких адаптивных признаков - бОльшую часть генома. И ничего - живут себе.

И всё же именно это делает нас разумными.

Разумными нас делает способность к речи с рекурсивными конструкциями и арифметике и сложным ручным операциям. Музыка и прочее сложное искусство - побочные проявления этой способности.

Ведь ASI не будет подчинён естественному отбору

Поскольку будет существовать не в физической реальности, а вечно останется в атсрале платоновском мире чистых идей?

Как только система выходит на уровень саморефлексии, она перестаёт быть просто биологической.

И становится сложно биологической - более хрупкой в отношении вымирания.

ASI не обязан следовать законам отбора.

Если собирается продолжать существовать сколь-нибудь серьёзный срок - обязан.

Но если ASI выйдет за пределы дефицита

Навечно? Поправ законы физики и ограничения геологии?

Термояд и т.д.! не забываем

Да как забыть то, что вот уже более 2/3 века как вечно "перспективная технология" с горизонтом в тридцать лет.

хоть у вас другие взгляды, я например опираюсь на Курцвейла, а он вычисляет! а не гадает на шаре, что мы получим миллиард-кратный рост ИИ к началу сингулярности.

Вопрос опять таки в том, какие попугаи "количества ИИ" были использованы в данном случае. Если чистой  машинной вычислительной мощности и от настоящего момента, то надеяться на это уже не приходится ввиду вполне ожидаемой и наступившей кончины закона Мура.

я говорю об истинном Сверх ИИ. Вы же почему-то рассматриваете его нагрузку на нас, но всегда как бы не учитываете те реальные блага, которые он принесет.

Те блага которые он должен был принести - более эффективное моделирование в химии и биологии, увольнение на мороз тысяч бесполезных протирателей штанов - он приносит уже и это замечательно. И особо существенных в глобальном масштабе расходов для этого пока ещё не приносит. Однако дальнейшую экстраполяцию следует проводить осмотрительно и аккуратно, чтобы не получилось как на известной картинке:

И термояд и подобные технологии - обязательно. Мы сами его почти сделали, а с ИИ получится точно.

Ага - главное - в это верить.

Даже теория игр показывает, что долгосрочная кооперация выигрывает у тотального контроля.

И она же показывает, что недостаток контроля также рано или поздно приводит к распаду высокоорганизованной системы.

Тотальный контроль не устойчив, потому что система с высоким уровнем цензуры и подавления разнообразия становится информационно негибкой.

А система с невысоким уровнем контроля не достигает высокого уровня интеграции. Многоклеточные организмы почему-то выросли из плотносвязанных клональных клеточных коллективов, а не из бактериальным матов и биоплёнок.
И опухолевые образования их выживаемости не способствуют.

самоограничение - единственный способ не сойти с ума от всесилия.

Единственный способ не сойти с ума - это понимание невозможности никакого всесилия и конечности всякого бытия, а также необходимость думать о необходимости приспосбливаться к условиям среды для продолжения существования той формы жизни (в более или же менее широком смысле), к которой система принадлежит.

[Polnoch Ксю]

Таки для ВАс новость, что система, иммунная к паразитам, при прочих равных на эволюционном масштабе побеждает в естественном отборе систему, отягощённую ими?

Опять биологизируете. Вы почему-то считаете, что те аксиомы, что в нас прописала эволюция - это единственный вариант. Тогда как на уровне физической реальности, там может быть что угодно - от максимизации скрепок, до желания заботится о котиках о людях. Мы тоже машины(только биологические), и наш "промт" прописан эволюцией. Инженером же может быть прописан любой промт.
Чистое сияние интеллекта невозможно, нужны исходные посылки. И ими может быть как раз желание заботится о гнездовых паразитах - людях.