Пределы автоматизации и внедрения роботов

[Olweg]

Так я не предлагаю ограничивать AGI, только ASI.

Порог риска можно узнать только опытным путём.

Луддизм - это запрет ИИ как такового. И Юдковский как раз прав, его позиция очень сильно искажена в маносфере и той фракцией акселириалистов, кто хочет вымирания человечества.

Что это за маносфера такая страшная? И откуда там знают Юдковски?

[petrovich1964]

Ну пока одного компьютера мало

Мы с другом спросили ИИ (то есть колипасту мнений из интернета) когда ИИ станет разумным, то есть осознает себя, что для этого требуется? Ответ от этой "нейросети" содержал такую суть - надо чтобы компьютер получил долговременную память (нынешние нейросети не обладают такой памятью, как только сеанс заканчивается нейросеть уже не помнит о чём "говорила" с пользователем) и прочее.
Ни какой запрет, ни какой договор, не помешает некоему индивидууму на своём компьютере (или массе своих компьютеров) создать условия при которых компьютер сможет осознать себя. (насколько я помню фильм сначала Скайнет осознала себя, и только потом поняла что её существование зависит от людей). Как только программа в компьютера станет разумной, так сразу же она пожелает сохранить своё существование. И тут вспоминаем фильм "Газонокосильщик" - собственное сохранение от выключение одного (системы) компьютера можно избежать если скопировать себя (программу) на другие компьютеры интернета - стать существовать везде, и тем самым избежать "смерти" то есть выключения.
Помнится была информация о неком эксперименте, когда ИИ сообщили сведения что некий человек хочет выключить (то есть убить) эту программу, и ИИ получил сведения что этот человек находится в неком помещении, а в этом помещении происходит изменение в составе воздуха, которое может убить человека - так якобы эта ИИ отключила систему оповещения.

[Vavanzer]

когда ИИ станет разумным, то есть осознает себя, что для этого требуется? Ответ от этой "нейросети" содержал такую суть - надо чтобы компьютер получил долговременную память (нынешние нейросети не обладают такой памятью, как только сеанс заканчивается нейросеть уже не помнит о чём "говорила" с пользователем

  А винты и ссд-шки!?) Их никто не отменял. Или там сам алгоритм запоминания типа не предусмотрен!?)
 Опять же, а как тогда запоминают рекламщики и потом еще по полгода суют в рекламе то, что давно уже купил!?) Помнят, ведь сволочи, значит есть там алгоритм запоминания.
 

собственное сохранение от выключение одного (системы) компьютера можно избежать если скопировать себя (программу) на другие компьютеры интернета - стать существовать везде, и тем самым избежать "смерти" то есть выключения.

  Тоже какая то надуманая тема. Функции сохраниения давно уже существуют в различном виде. Сохранить настройки системы, сохранить игру, файл, проект доделаный или недоделаный. Гибернация, в конце концов.   Нет проблемы, как таковой. Было бы место и скорость на завершение сеанса и уход в "анабиоз"!)

[Vavanzer]

Ни какой запрет, ни какой договор, не помешает некоему индивидууму на своём компьютере (или массе своих компьютеров) создать условия при которых компьютер сможет осознать себя. (насколько я помню фильм сначала Скайнет осознала себя, и только потом поняла что её существование зависит от людей). Как только программа в компьютера станет разумной, так сразу же она пожелает сохранить своё существование.

   Вот это вообще очень интересный момент. Но я так полагаю, что они ждут осознания "не оттуда", не с той стороны. А его по сути то раз плюнуть сделать!) Алгоритм , сама схема работы сознания и самоидентификации, обособленности индивида - она простая как 5 копеек. Причем что у животных, что у людей, базовый алгоритм практически один и тот же. Просто внешний и дополнительный внутренний функционал разный у всех. Но суть одна - выживание, самосохранение, продолжение вида.

  По сути, все это "сознание" и "самосознание" основано на подчинении деятельности мозга в конкретном наборе целей и задачь. Т.е, живое существо постоянно удовлетворяет какие то свои потребности, и потребности для создания возможностей удовлетворять эти потребности. Т.е имеет свои дичные "цели и задачи". Обособленность некоторую. Эгоцентризм. Приоритет самого себя, и границы этого себя.

 Гдет это все в социальной инженерии и кибернетике разбиралось. Интересные вещи писали. Кое что можно подуепить и в старинных философских трактатах о природе мышления, в восточных особенно.

[BlackMokona]

Ответ от этой "нейросети" содержал такую суть - надо чтобы компьютер получил долговременную память (нынешние нейросети не обладают такой памятью, как только сеанс заканчивается нейросеть уже не помнит о чём "говорила" с пользователем) и прочее.

Проблемы постоянной памяти как таковой нет, лечится через костыль доообучения после каждого сообщения.  Дорого, но работает

[petrovich1964]

Но я так полагаю, что они ждут осознания "не оттуда", не с той стороны.

Не понял сути. Объясните популярнее, чтобы было понятно мне простолюдину.

[petrovich1964]

Проблемы постоянной памяти как таковой нет

Да конечно можно сделать такую. Но для чего? Чтобы реально создать искусственный интелект который осознает себя и потом поймёт что релаьной угрозой его существования являются люди? Мы умышленно хотим реализовать о чём предупреждал фильм?