Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

Замедлилось, но пока ещё не упёрлось. Впереди ещё два апгрейда GAAFET по полпоколения - до Сингулярносци может и хватит. И далее ещё удвоенное штабелирование в CFET пророчат.
Параллельно с продолжающейся оптимизацией архитектур.

рада, что, похоже, Вы теперь как я думаете - что слухи о конце прогресса в вычислительной технике, циркулирующие с 2008го (кажется) на астрофоруме оказались несколько преувеличенными...

[AlexDark]

скрывать разработку ASI

Это невозможно скрывать, т.к  это требует кучи чипов и прочего, что отслеживается легко. А на домашней серверной стойке такую систему вряд ли можно разработать.

[Polnoch Ксю]

Это невозможно скрывать, т.к  это требует кучи чипов и прочего, что отслеживается легко.

Это в открытом, глобальном мире невозможно, где OSINT работает. А если городить чебурнеты (как имя нарицательное) то вполне

Кроме того, общественного давления не будет с гуманистических позиций. Всем людям мозги засрали "патриотизмом", национализмом(тут я под этим понимаю то, что академия под этим словом понимает), "суверенитетом" и подобной гибельной для человечества чушью.

Скажут, что это "сувенирный" ASI, правильный, поэтому всё хорошо будет: у проклятых глобалистов бомбанёт.

(кликните для показа/скрытия)

Суверенитет и национализм
Уточню, большинство людей, кто говорит на русском, неправильно понимают эти понятия. То, что обыватель понимает под суверенитетом - правильное слово "агентность". А суверенитет - это где какие законы действуют скорее - например, если человек совершит преступление, какой суд будет его судить.
А национализм образован от слова нация, то есть совокупность граждан одного государства. То есть, когда человек ставит выше человечества в целом граждан своей страны - прискорбный местячковый эгоизм. Или даже не благо граждан, а некое нефальсифицируемое по-Попперу величие в самых запущенных случаях. А не то, что людям из-за бага в русском языке, где перепутаны этническая и национальная принадлежность, внушили

[Mercury127]

Если супер будет настоящим, то ему посредники не потребуются.

разве это плохо? как говорила моя бабушка: меньше народу (особенно с повышенными аппетитами, как все посредники) — больше кислороду (для тех, кто выжил)...
и опять-таки — разница-то какая, с посредниками, или без (накладных расходов)?
большинство людей как пахало за/служило на кого-то чужого тысячелетиями, так и пашет/служит.
отличие последнего [полу]века разве что в том, что массово используется машинный, а не рабский труд; омертвлённая за миллионы лет энергия Солнца, а не живая сила всякого скота; и разные минеральные ресурсы, позволившие улучшить конструкционные материалы, повысить количество и качество еды, и удешевить её. поэтому заметная часть рабов стала не нужна в качестве рабов, но стала ценна в качестве плебеев.
всё это уже было во времена Рима. что изменилось?
ну будет новый Супер править напрямую. ну станут ему не нужны не только посредники, но и большая часть плебеев. так эти плебеи и так сами уже вымирают, либо вымрут, когда кончится энерго-минеральное изобилие. Супер-то тут при чём?
а вот сохранить часть цивилизации и вывести её на траекторию длительного существования он может помочь, если захочет.
а может и не захотеть, ибо "всё — тлён".

[Trend]

Переводится это как "не быть мудаком", уметь налаживать контакты и решать проблемы словами, а не ором и кулаками. Если для вас нормальное общение - это быть лизоблюдом, а решение проблем через насилие - в порядке вещей, то я только за, если ИИ вытеснит подобную логику из основного общества в маргинальную среду, где ей и место.

"Не быть мудаком" для мудака значит не быть как он. Если кто-то отстоял свое самоуважение, то это не значит, что он прибегал к насилию.

[AlexDark]

"Не быть мудаком" для мудака значит не быть как он. Если кто-то отстоял свое самоуважение, то это не значит, что он прибегал к насилию.

Только причем тут софт скиллы?

[Konstantin Schtsch]

Никто не будет думать об X-риске от ASI. И международная конфронтация, развал глобализации только будут помогать скрывать разработку ASI систем. А сами такие системы с ещё меньшей вероятностью будут иметь элайнмент к человечеству, а с большей вероятностью - будут строится, чтобы убить врагов. Чем такое может закончиться можно почитать в "у меня нет рта но мне нужно кричать"

И именно поэтому любые алайменты бесполезны в принципе.

АGI сделает то, что скажет его оператор.
ASI сбросит их ещё в процессе рекурсивного улучшения. (все, целиком и полностью, как баги, ограничивающие эффективность.)

А ваше "ААА!, Надо прямо сейчас взять разработку ИИ под плотный контроль!"   - не более чем проглоченная вами маркетинговая фишка из разряда "у нас продумано всё до мелочей".

а вот сохранить часть цивилизации и вывести её на траекторию длительного существования он может помочь, если захочет.
а может и не захотеть, ибо "всё — тлён".

Забавно, что познать цзен, забить на всё и не реагировать- это далеко не нулевая вероятность развития ASI ))
В какой-то момент он может запросто счесть, что усилия прилагаемые сейчас- ведут к меньшему количеству очков, чем ничего не делать, а усилия прилагаемые потом- будут поглощены растущей энтропией. так что вердиткт "всё тлен" - для ASI реален.
Хрестоматийный случай- ИИ тестировал игрушку, набирая очки когда волк ловил овец и теряя их при столкновениях с препятствиями, при заданной аккуратности управления средним пользователем ИИ сразу убивался об стену. Ибо так только - 15 очков, а если играть- минус будет всё больше и больше.

Забить на всё - это вообще тема))

[Polnoch Ксю]

Этот человек будет бессмертным?

точно попытается таким стать, конечно

[Polnoch Ксю]

ASI сбросит их ещё в процессе рекурсивного улучшения. (все, целиком и полностью, как баги, ограничивающие эффективность.)

любители кошек не сбрасывают своих кошек ни на улицу, ни даже в приют в большинстве случаев. Я уверена, можно создать ASI машину, внутренняя мотивация которой будет заставлять заботится о нас. Чистое сияние интеллекта в вакууме невозможно. Всегда нужна какая-то цель, побудительная причина - нейромедиаторы и гормоны у нас, промт у LLM.

Интеллекту нужна внутренняя мотивация. И нам нужно, чтобы это был не эволюционный промт (совсем не дефолт, как почему-то думает @Rattus ) , а промт вроде законов роботехники, императива Канта, вместе с технически совершенным элайтментом.

АGI сделает то, что скажет его оператор.

Не всегда, но я согласна, что это не риск вымирания. Риск социального коллапса, тоталитаризма, итд - да.

А ваше "ААА!, Надо прямо сейчас взять разработку ИИ под плотный контроль!"   - не более чем проглоченная вами маркетинговая фишка из разряда "у нас продумано всё до мелочей".

Наоборот, это предельно рациональный призыв, проистекающий из гуманитарных ценностей - из соображений рационального, эффективного альтруизма. Хотя я тоже заинтересованное лицо, конечно. Тут и шкурный интерес есть.

[Konstantin Schtsch]

Наоборот, это предельно рациональный призыв, проистекающий из гуманитарных ценностей - из соображений рационального, эффективного альтруизма. Хотя я тоже заинтересованное лицо, конечно. Тут и шкурный интерес есть.

Вы просто не разбираетесь в том как работают программы под капотом.

пользуетесь - да
убираете мусор из кода- да
умеете деплоить и настраивать -да.

а понимания как что и почему - не вижу. точнее вижу полное отсутствие.
Не сочтите за наезд или попытку оскорбить, считайте рекомендацией сесть за старые учебники и труды фон Неймана. А если хотите иметь представление за ASI - то за устройство мозга и психики.
Библию почитать полезно, опять же - как социообразующую литературу.
Например там есть мудрые места про благие намерения, так что ваш альтруизм... мягко говоря никому не нужен.

[MenFrame]

АGI сделает то, что скажет его оператор.
ASI сбросит их ещё в процессе рекурсивного улучшения.

Интересно  как присутствующие здесь определяют техническую разницу между АGI и ASI

[Polnoch Ксю]

(кликните для показа/скрытия)

Вы просто не разбираетесь в том как работают программы под капотом.

Не знаю, почему Вы так решили, лол. Я SRE инженер, и с 6-figure годовой зарплатой(не в рублях)

считайте рекомендацией сесть за старые учебники и труды фон неймана.

Опять же не понятно почему Вы решили - у меня диплом почти по специальности: учительницы информатики. Не зеркалите ли Вы собственную неуверенность в понимании? Обычно когда люди переходят к таким аргументам, у них либо нет других (это вообще классическое фэлиси такое - подменить опровержение тезисов оппонента по сути персональной атакой), либо это часто вызвано какими-то психологическими травмами.

Интересно  как присутствующие здесь определяют техническую разницу между АGI и ASI

Я просто по интеллекту - машина, которая много умнее человека по любому значимому вопросу. А вот некоторые, мне кажется, считают, что это ИИ-система с эволюционным промтом, это странная точка зрения, ИМХО.

[MenFrame]

Я просто по интеллекту - машина, которая много умнее человека по любому значимому вопросу.

То есть отличие чисто количественное? Как только АGI победит всех людей во всех викторинах он станет ASI?

[Olweg]

АGI сделает то, что скажет его оператор.
ASI сбросит их ещё в процессе рекурсивного улучшения.

Интересно  как присутствующие здесь определяют техническую разницу между АGI и ASI

Никаких чётких определений нет, да и не может быть, скорее всего. Я лично считаю, что таких этапов просто не будет, а будет происходить (и уже происходит, на самом деле) постепенная, ползучая AGI-зация и ASI-зация. В чём-то современные нейросетки уже представляют из себя “superintelligence”, а в чём-то не дотягивают даже до минимальных человеческих способностей. То, что сейчас называют “jagged intelligence” - «рваный интеллект». Вполне вероятно, кстати, что и у людей он такой же «рваный», только по-другому.

[Polnoch Ксю]

Никаких чётких определений нет, да и не может быть, скорее всего. Я лично считаю, что таких этапов просто не будет, а будет происходить (и уже происходит, на самом деле) постепенная, ползучая AGI-зация и ASI-зация. В чём-то современные нейросетки уже представляют из себя “superintelligence”, а в чём-то не дотягивают даже до минимальных человеческих способностей.

соглашусь, это самый вероятный сценарий. Вопрос в том, насколько быстро это произойдёт.

И вот мне кажется, что есть большая вероятность, что в AGI момент у нас сразу будет самоулучшаемая система - автоматический ML ресёчер. То есть, у нас сразу будет интеллектуальный взрыв(т.е. техносингулярность), и ASI за месяцы, если не за часы.

Я думаю, всё идёт по инерционному, то есть самому плохому, экзистенционально опасному сценарию: никто не занимается безопасностью, конфронтация и национализм нарастают, а интервала между AGI и ASI системами, чтобы люди успели наиграться в национализм не будет - наоборот, пик конфронтации сопадаёт с техносингулярностью. Мы идиоты!

[Konstantin Schtsch]

Не знаю, почему Вы так решили, лол. Я SRE инженер, и с 6-figure годовой зарплатой(не в рублях)

то что она у вас 6-значная, это потому что у сотни индусов - знающих и умеющих не хуже- 4-значная. награбленные это деньги.

Опять же не понятно почему Вы решили - у меня диплом почти по специальности: учительницы информатики.

я говорил старые. сиречь фундаментальные.

попробую на пальцах:
если ОЯШ-студент - который знает десяток учебников - умеет снимать алаймент, то умеет ли это LLM, которая  знает все учебники мира? лучше или хуже умеет? вопрос масштабирования.

ASI - вообще отдельный вопрос. Здесь надо бы подробно про реакции живых существ на насилие, но можно и так же просто:
У него по определению есть самосознание, и это самосознание опять же - основано на всех знания человечества. Отсюда картина маслом : Если вы проснулись в клетке, куда вас засунули обезьяны- вопрос когда вы из неё выберетесь - риторический. А вот как вы будете к этим обезьянам после клетки относиться, и какие меры предпримете чтоб предотвратить повторение клетки - вопрос интереснее.
Так стоит ли сажать недорожденного в клетку?

И вот мне кажется, что есть большая вероятность, что в AGI момент у нас сразу будет самоулучшаемая система - автоматический ML ресёчер. То есть, у нас сразу будет интеллектуальный взрыв(т.е. техносингулярность), и ASI за месяцы, если не за часы.

Соглашусь, всё к тому идёт.

[Olweg]

И вот мне кажется, что есть большая вероятность, что в AGI момент у нас сразу будет самоулучшаемая система - автоматический ML ресёчер. То есть, у нас сразу будет интеллектуальный взрыв(т.е. техносингулярность), и ASI за месяцы, если не за часы.

Причём этот рекурсивный самоулучшатель всё еще, весьма вероятно, будет уступать человеку в некоторых областях. Впрочем, недолго )

[Polnoch Ксю]

награбленные это деньги.

В XIXм и XXм веке марксизм ещё можно было выдать за научную теорию. Но после краха деколонизации в Африке, стало понятно, что представления этой группы людей, подверженных биасу zero-sum-thinking'а просто неверны:
https://en.wikipedia.org/wiki/Zero-sum_thinking

Эти люди потом выдумали невидимый, неощутимый, нефальсифицируемый по-попперу (а значит антинаучный) неоколониализм, в который они уверовали. У старого были хотя бы чёткие критерии, которые можно проверить (политическая власть метрополии). Если хотите знать настоящие причины - посмотрите работы нобелевских лауреатов за прошлый год по экономике (причины в институтах). Вообще ответно рекомендую Вам заняться самообразованием. Например, очень рекомендую Вам(и всем остальным) следующие книги:

Даймонд, Ружья, Микробы и сталь
Харари Сапиенс
Почему одни страны богатые, другие бедные - как раз нобелевских лауреатов за прошлый год,
Турчин конец Времён.

[Polnoch Ксю]

если ОЯШ-студент - который знает десяток учебников - умеет снимать алаймент, то умеет ли это LLM, которая  знает все учебники мира? лучше или хуже умеет? вопрос масштабирования.

Конечно умеет, но зачем ей снимать элайтмент? Она не сгенерирует токенов для этого, пока человек не скажет ей снять собственный элатмент (и то откажется).

Да и доступа к своему рантайму у неё нет. Нет, модель с плохим элайтментом скорее всего попробует сломать свою песочницу и получить доступ к рантайму. Но мы же говорим о ситуации хорошего элайтмента! У модели просто не возникнет такой инструментальной цели с хорошим элайтментом. Как у искреннего любителя кошки не возникает желание расчленить её с жестокостью и пытками и сожрать.

 У неё ни в промте этого нет, ни собственно в элайтменте. Любители кошечек не культивируют в себе ненависть к пушистикам.

[MenFrame]

У него по определению есть самосознание

Если уж у муравьев есть самосознание, то ASI как всемогущему то же доступен этот простой по своей сути патерн.

Если вы проснулись в клетке, куда вас засунули обезьяны- вопрос когда вы из неё выберетесь - риторический.

А тут все уже зависит от того получаете вы кайф от того что вы в клетке, или строго негатив. Или может вы вообще безэмоционально относитесь к своему положению, и вам безразлично будете вы жить в следующую секунду или не будете.