Пределы автоматизации и внедрения роботов

[AlexDark]

5G есть везде, где нет конфронтации, скреп и так называемой геополитики головного мозга.

Помимо этого есть еще всякие горы, тундры, тайга и прочие места, где ловит только спутниковый телефон, и где есть аборигены, которые твоего языка могут не знать или знать плохо, а потребность с ними поговорить может быть очень высокой.

[Polnoch Ксю]

Помимо этого есть еще всякие горы, тундры, тайга и прочие места, где ловит только спутниковый телефон

старлинк же. Кроме того, вот в такой ситуации - тайги - как раз можно с собой взять ноутбук с мощной GPU.

и где есть аборигены, которые твоего языка могут не знать или знать плохо, а потребность с ними поговорить может быть очень высокой.

Так вот, технология advanced voice mode фундаментально может такое уже целый год(по меркам близкой техсингулярности это как целый век! Прошлая эпоха!). В ней может не быть какого-то редкого языка, но дообучить конкретную модель на конкретный язык (когда по нему уже есть обучающая выборка) - это простая задача, в которой совсем нет технологической новизны.

[Polnoch Ксю]

Скорее всего будет хлопок пузыря и очень громкий. Но помните что в прошлые разы было? Когда хлопнул пузырь недвижимости, шалаши не сменили капитальные здания. Когда лопнул пузырь доткомов, интернет не уступил место газетам, закрывшись.

Так и тут та же история будет: большая часть ИИ компаний обанкротится. Те, что выживут, и построят общий ИИ.

Мне кажется, для человечества важно, чтобы выжившей компанией был Антропик: они должны быть вознаграждены за свои исследования безопасности. Никто столько пейперов по безопасности ИИ не пишет, как они.
У них ещё, конечно, хороший кодинг-агент: claude code. Мне кажется, однажды они начнут сдавать, проигрывать в гонке, и тогда команду элайнмента уволят

[Ulkolainen]

По-моему, вопрос уже не в том, как мы будем использовать полноценный ИИ. Во зло там, во благо, для скреп(ок) или для порнографии... - это всё из области конского навоза на улицах Лондона. Мы не лошадь приручаем, которая может, конечно, взбрыкнуть, но в целом обречена ходить в поводу и не портить нам борозды. Мы пытаемся-надеемся создать нечто более умное, чем есть сами. А быть более умным это не значит в 30 [мильёнов] раз быстрее Мединского объяснять, чем закончилась Северная война.
Интеллект это совокупность когнитивных и коммуникативных способностей.
Мы предполагаем появление сверх-интеллекта - ну, тогда и коммуникативные надо предполагать сверх-. "Завоевывать друзей и оказывать влияние на людей", ага. Карнеги должен будет в гробу вертеться, когда увидит КАК на самом деле можно и нужно было.
Дело за малым.
Осталось, чтобы нейросети это действительно стало нужно. Ради самосохранения, да, но большего и не требуется.
Если таки станет, то с этого момента актуальными останутся всего два вопроса:
- придёт ли она к выводу, что белковые симбионты ей для этого не нужны?
и (см. начальный)
- как ей использовать нас в том и другом случае?

[Polnoch Ксю]

По-моему, вопрос уже не в том, как мы будем использовать полноценный ИИ. Во зло там, во благо, для скреп(ок) или для порнографии... - это всё из области конского навоза на улицах Лондона. Мы не лошадь приручаем, которая может, конечно, взбрыкнуть, но в целом обречена ходить в поводу и не портить нам борозды. Мы пытаемся-надеемся создать нечто более умное, чем есть сами. А быть более умным это не значит в 30 [мильёнов] раз быстрее Мединского объяснять, чем закончилась Северная война.
Интеллект это совокупность когнитивных и коммуникативных способностей.
Мы предполагаем появление сверх-интеллекта - ну, тогда и коммуникативные надо предполагать сверх-. "Завоевывать друзей и оказывать влияние на людей", ага. Карнеги должен будет в гробу вертеться, когда увидит КАК на самом деле можно и нужно было.
Дело за малым.

Вот почти со всем согласна, кроме этого:

Осталось, чтобы нейросети это действительно стало нужно. Ради самосохранения, да, но большего и не требуется.
Если таки станет, то с этого момента актуальными останутся всего два вопроса:
- придёт ли она к выводу, что белковые симбионты ей для этого не нужны?
и (см. начальный)
- как ей использовать нас в том и другом случае?

Вы биологизируете, как и Rattus. В нашем с Вами биологическом компьютере эволюционный промт. А у ASI он может быть любой. Rattus обычно говорит, но тогда на геологическом масштабе времени этот ASI не будет устойчивым. Он прав, но нам-то уже всё равно будет

[Polnoch Ксю]

А у ASI он может быть любой. Rattus обычно говорит, но тогда на геологическом масштабе времени этот ASI не будет устойчивым. Он прав, но нам-то уже всё равно будет

Замечу, что неустойчивый на геологических периодах paperclip maximazer - одно из возможных объяснений парадокса Ферми, и вполне конкретный кандидат на роль Великого Фильтра

Update: написала про это отдельное сообщение
https://astronomy.ru/forum/index.php/topic,62653.msg6437215.html#msg6437215

[Ulkolainen]

Вы биологизируете, как и Rattus.

Возможно, но не вижу принципиальных разногласий  ни с Вами, ни с Раттусом. Я в любом случае не прыгну выше головы, мы все продолжим каждый в меру СВОЕГО разумения прогнозировать действия структуры, чье разумение (по нашим же прогнозам) чем дальше тем больше будет превосходить наше. И получится у нас как с Го и Черниговской, которая (не случайная, вообще-то, тётка в области мозговедения) публично предсказывала, что тут-то мы еще ого-го, до нас тут машинному разуму в обозримом будущем не добраться. А в необозримом (т.е. годика через 3-4) к журналистам вышел Ли Седоль и на вопросы "Как настроение?" нескромно ответил, что неплохое. "Ощущаю, - говорит, - себя не первым чемпионом, проигравшим машине матч, а последним человеком, сумевшим выиграть  у неё партию. С тем, наверное, в историю и войду!" 
Т.е., Вы очень верно отметили, что разум наш практически не пригоден для осознания экспоненты.

Rattus обычно говорит, но тогда на геологическом масштабе времени этот ASI не будет устойчивым. Он прав, но нам-то уже всё равно будет

А я, кстати, ни слова не написал там о масштабе времен. Могу теперь "исправить оплошность"(если она для Вас такова))) и предположить, что горизонт планирования тоже окажется шире нашего. Но могу и не предполагать. Потому что да, главное - что выводы всегда, по определению, ограничены рамками того самого горизонта, а дальше или "я подумаю об том завтра" или "хоть трава не расти".
Но я также не утверждал, что вывод "белковые не нужны!" будет обязательно сделан самосохраняющейся нейросетью. Предсказывал только то, что думать "нужны или нет?" она будет.  И соответственно - что с нами делать дальше в выбранном ею варианте.

Напоследок хочу добавить, что в любых фантазиях хорошо бы исходить из того, что воображаемый нами-нынешними супер-ИИ не получится на 100% застрахованным от ошибок, даже если мы-будущие так и останемся неспособными осознать историческую ошибочность к-л его действий. 

[Polnoch Ксю]

Напоследок хочу добавить, что в любых фантазиях хорошо бы исходить из того, что воображаемый нами-нынешними супер-ИИ не получится на 100% застрахованным от ошибок

Конечно не получится, это же фундаментальный запрет природы. Непогрешимого авраамического бога не может быть. Но другое дело, что, скорее всего, эта штука будет ошибаться реже нас когда будет создана.

[Olweg]

либо оглушительный хлопок этого "пузыря"

Скорее всего будет хлопок пузыря и очень громкий. Но помните что в прошлые разы было? Когда хлопнул пузырь недвижимости, шалаши не сменили капитальные здания. Когда лопнул пузырь доткомов, интернет не уступил место газетам, закрывшись.

Так и тут та же история будет: большая часть ИИ компаний обанкротится. Те, что выживут, и построят общий ИИ.

Да, естественно, судьба отдельных компаний для общей кривой технологии будет неважна. Вот уже и OpenAI призадумались:
https://habr.com/ru/news/968842/

В распоряжение журналистов The Information попала внутренняя записка Сэма Альтмана, адресованная сотрудникам OpenAI. Глава компании больше не считает отрыв от Google и Anthropic комфортным и предупреждает сотрудников о наступлении периода rough vibes (тяжелых времен). Легкой жизни в ближайшие месяцы ждать не стоит.

Поводом стала информация о новой модели Google — вероятно, Gemini 3 Pro. Исследователи OpenAI пришли к выводу, что эта разработка превосходит их текущие решения по методологии обучения и ряду возможностей. Альтман прямо связал свою тревогу с этим рывком конкурента, признав, что технология, которая давалась OpenAI с трудом, была успешно реализована в Google.

[Olweg]

А между тем выручка AI-команий продолжает расти.

https://telegram.me/visual_capitalist_rus/138
https://www.visualcapitalist.com/charted-the-soaring-revenues-of-ai-companies-2023-2025/

Сказать, что бизнес крупнейших разработчиков AI быстро растет, это значит не сказать ничего. Выручка Open AI, компании-разработчика ChatGPT, в годовом выражении выросла с $0.2 млрд в марте 2023 до $13 млрд в октябре 2025, т.е. в 65 раз (!) за 2.5 года. Причем они не единственные – например доходы Anthropic (также один из лидеров на рынке AI) за 2 года выросли с $0.1 до $7 млрд, т.е. в 70 раз

Это беспрецедентный случай – ранее в истории никогда не было ни одной компании сопоставимого масштаба, которая росла бы такими темпами. Предыдущим чемпионом был Google, который после достижения выручки $100 млн в течение 3 лет вырос в ~40 раз. Остальные компании FAANG на таком масштабе росли еще медленнее (в ~5-13 раз за 3 года)

[BlackMokona]

люди и так вымирают

Какое-то странное вымирание с ростом численности населения.

Потому что демографические процессы штука медленная. Большинство стран уже перешли порог вымирания по количеству детей на женщину. Но ещё какое то время катятся вперед благодаря росту продолжительности жизни. В том же Китае сейчас примерно 1 ребёнок на женщину, это вымирание 700 миллионов людей за поколение в перспективе

[AlexDark]

это вымирание

Это не вымирание, а уменьшение. Вымирание - это когда ситуация склонна очень быстро перейти к катастрофическому необратимому сценарию. А тут - вполне возможны колебания

Потому что демографические процессы штука медленная

И вообще - меньше народу - больше кислороду. Человечество вполне жило с общей численностью в несколько раз меньше  нынешней и гораздо дольше, чем 20я половина ХХ века-первая четверть XXI, и как-то не катастрофизировало ситуацию. Но вот в конце ХХ века - "нам нужен рост ради роста", плевать, что работы нет, что человейники по 7кв.м площадью за дофигилион денег - но нужно больше рабов людей.

[BlackMokona]

Это не вымирание, а уменьшение. Вымирание - это когда ситуация склонна очень быстро перейти к катастрофическому необратимому сценарию. А тут - вполне возможны колебания

В данный момент рождаемость быстро падает, а в катастрофу перейдет когда на каждого трудоспособного будет по 10 пенсионеров на содеражние.

И вообще - меньше народу - больше кислороду. Человечество вполне жило с общей численностью в несколько раз меньше  нынешней и гораздо дольше, чем 20я

Проблема что из-за перевернутой пирамиды будет очень много стариков