Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[BlackMokona]

Что-то мне подсказывает, что в такой системе будет очень быстрый рост уровня внутреннего бреда (ошибок, вызванных в результате обучения на ошибках)

Это смотря насколько качественные синтетические данные будут. АльфаЗеро обучали на 100% синтетике однако он разгромил Рыбку которая имела все человеческие наработки мира

Кстати, а почему никто не  вбухивает столько же денег в разработки варп-двигателя или в иные идеи из научной фантастики?

Потому как многообещающих прототипов нет. Кстати по термояду там полного стартапов с хорошим финансированием, которые как раз по последними технологиям работают.

Эти 100% не оправдают трудозатрат.

Ну тут стандартное, чем ближе к 100% тем дороже, а дороже стремиться к бесконечности

Синтетика - это, конечно, хорошо, но проблема в том, что в ней нет никакой принципиально новой информации, только хорошо структурированная старая

Цель ИИ при обучении не информацию получить, а научится с ней работать. После чего сам может порождать новую информацию.

А начинают принимать идею,что точнее чем человек достаточно.

Они и раньше это прекрасно понимали, ибо работают с людьми уже долго.

Абсолютно нет, досих пор огромные толпы непонимающих. И требующих 100% точности, например повсюду не беспилотные автомобили только по этому. Пусть беспилотники ездят лучше чем средний человек, но все хотят полную безаварийность

[Olweg]

Перечитывая книгу в разном возрасте, человек находит в ней каждый раз что-то новое, хотя информация в ней одна и та же,

Это потому что человек занимается анализом информации, на предмет его текущего понимания полезности.

Совсем необязательно это какой-то сознательный анализ. Просто с возрастом прочитанное вызывает в мозгу совсем другие ассоциации и ложится на другой, более сложный контекст, чем в молодости. То есть чем больше человек получил новой информации (жизненного опыта), тем больше ассоциаций и связей у него срабатывает в ответ на тот же самый текст. То же и с моделями - по идее, чем больше информации они усвоят, тем более сложные взаимосвязи между её элементами могут возникать. Это могут быть ассоциации по аналогии или новая информация о тех же объектах или понятиях в другом ракурсе или контексте (фотка Джексона в профиль).

А если эта тысяча просто генерация на основе уже имеющегося архива?

Так это и будет уже синтетика.

[Olweg]

Другое дело, что только по учебникам научится жизни невозможно.

Особенно если учесть что они для этого и не предназначены.

Для квалификации учебники тоже - только база. Без реального собственного опыта работы они пустой балласт. Значит ли это, что модели тоже должны получать собственный опыт? В принципе, в какой-то степени уже получают через обучение рассуждений с подкреплением, но насколько эффективно всё это работает, пока не очень понятно.

[Olweg]

Это смотря насколько качественные синтетические данные будут. АльфаЗеро обучали на 100% синтетике однако он разгромил Рыбку которая имела все человеческие наработки мира

Цель ИИ при обучении не информацию получить, а научится с ней работать. После чего сам может порождать новую информацию.

Конечно, синтетика тоже полезна. Но до определённого предела. В го очень простой мир - доска 19х19, белые и чёрные фишки, несколько простых правил. АльфаГо смогла создать достаточное количество комбинаций для обучения, чтобы начала работать "чуйка", как и у опытных игроков. Реальный мир несколько сложнее. Проблема ещё и в том, что часто непонятны правила и функция вознаграждения. Поэтому, наверное, обучение с подкреплением долго было ограничено узкими областями - игры, сборка белков.

[BlackMokona]

В го очень простой мир - доска 19х19, белые и чёрные фишки, несколько простых правил.

Таких простых, что все проигрыши Альфы это как раз непонимание правил подсчёта очков. Таких простых, что лучшие спортсмены России по ГО которые комментили игру, были такие. Похоже Альфа сломался, он отдаёт всё больше и больше. Каждый ход серьёзная ошибка. Эммм.. Тут сообщили, что Китайский чемпион пишет что Ли уже вдрызг проиграл и Альфа его закапывает без шансов. 

Реальный мир несколько сложнее

Законов и правил намного больше, получить точную инфу для формул сложнее. Но всё равно, всё имеет свои правила. Которые можно вычислить и использовать как для анализа происходящего так и для генерации синтетики для обучения. Например та же математика, химия, физика и прочие точные науки позволяют генерировать столько синтетики сколько душа пожелает. А учитывая, что именно в точных науках у ИИ проблемы. То в целом проблема нехватки информации сильно преувеличена. Ведь ему нужно ещё не миллиард примеров рассказов и болтовни в чатах, а именно много данных точных наук

[Olweg]

И вообще, можно ли назвать данные АльфаГо чистой синтетикой? Ведь он взаимодействовал с внешней средой (доской). А когда ллм создаёт новый текст или картинку, она с окружающим миром никак не взаимодействует. Можно провести такую аналогию. Представим молодого талантливого автора (МТА), решившего одарить мир своим литературно-художественным произведением. Это, в общем, та же синтетика. И какова будет ценность созданной им информации? Скорее всего, невелика, если не отрицательна, потому что жизненного опыта и знания психологии у него маловато. Другое дело, что, набравшись опыта и не пропив талант, он может создать действительно что-то ценное, потому что теперь книга будет гораздо точнее описывать реальность, да ещё и помноженную на его восприятие (а это уже уникальный опыт).

В общем, синтетика может лучше структурировать уже усвоенное (по аналогии с теми же учебниками). Но только на ней, скорее всего, далеко не уедешь.

[BlackMokona]

И вообще, можно ли назвать данные АльфаГо чистой синтетикой? Ведь он взаимодействовал с внешней средой (доской).

Для него доска не внешний мир, для него доска это как раз его внутренний, весь его мир это доска и ходы на нём. С момента рождения и до смерти, только и делал что пытался на ней выграть сначала со своими бесчисленными копиями, а потом и с людьми. Ему внешний мир совсем не нужен, ведь он и без внешнего мира может точно определить какой результат лучше, а какой хуже давая возможность себе обучаться.

А когда ллм создаёт новый текст или картинку, она с окружающим миром никак не взаимодействует.

А вот с картинками и текстом дело сложнее. Ведь правил люди не придумали, какой текст или картинка хорошая, а что плохое. Хуже того один человек будет с пеной у рта орать ШЕДЕВР, а другой брезгливо обходить эти экскрименты интеллектуального труда. От чего ИИ замкнутый сам на себя, не может стать мастером писателем или ультрохудожником. Каждый желает своего и ему нужно приспосабливаться к аудитории. И тут уже просто нужны команды оценки, которыми сейчас выступает большая часть человечества. Когда вы что-то запрашиваете у ИИ, множество алгоритмов следят за вашей реакцией чтобы понять где решение ИИ было верным, а где нет. Тем самым постоянно давая фидбэк ИИ.

[Olweg]

Таких простых, что все проигрыши Альфы это как раз непонимание правил подсчёта очков. Таких простых, что лучшие спортсмены России по ГО которые комментили игру, были такие. Похоже Альфа сломался, он отдаёт всё больше и больше. Каждый ход серьёзная ошибка. Эммм.. Тут сообщили, что Китайский чемпион пишет что Ли уже вдрызг проиграл и Альфа его закапывает без шансов.

А это другое (с). Эвристики там, наверное, тоже были, но это второстепенно, а что касается комментов, так люди тут также опирались на свой опыт и чуйку (отродясь так играли). А у машины чуйка оказалась сильнее.

Для него доска не внешний мир, для него доска это как раз его внутренний, весь его мир это доска и ходы на нём.

Ну, тут вопрос уже философский - что считать внешним миром, а что внутренним. Так-то и у человека есть только внутренний мир, с которым он работает. Но доска в го - это среда, и в ней АльфаГо, можно сказать, проводил свои эксперименты, а была ли эта доска деревянной или виртуальной, как вы понимаете, не суть важно.

А вот с картинками и текстом дело сложнее. Ведь правил люди не придумали, какой текст или картинка хорошая, а что плохое. Хуже того один человек будет с пеной у рта орать ШЕДЕВР, а другой брезгливо обходить эти экскрименты интеллектуального труда.

Ну да. И это только одна из проблем.

[BlackMokona]

А это другое (с). Эвристики там, наверное, тоже были, но это второстепенно, а что касается комментов, так люди тут также опирались на свой опыт и чуйку (отродясь так играли). А у машины чуйка оказалась сильнее.

Просто спортсмены не понимали правила Го. Они учили и считали, что движение к победе в ГО это рост разницы в очках между игроками. Но вот машина и лучшие игроки мира, считали что побеждает тот у кого большая вероятность закончить игру хотя бы с минимальным перевесом. Тем самым машина активно сливала свои очки преимущества, чтобы отрезать у противника любые шансы на отыгрыш. Тем самым разменивая столь ценимое Российскими спортсменами преимущества, на проценты победы. Или как говорят в Дотке, это не играя про убийство героев, а игра про ломание трона. Часто люди в играх ставят неправильные цели, от чего их тактика и стратегия строиться на получении не того что действительно нужно. Или ещё аналогия, как играть в шахматы с целью получить перевес по фигурам, а не поставить мат. От чего ряд жертв ради матовой позиции, кажется чередой провалов. Ведь враг получает много сладкого преимущества.

[BlackMokona]

Я к тому, что это не исходные правила (которые очень просты), а уже выученная стратегия.

Всё же это правила игры, определение победителя. Так же проигранный машиной матч, так же произошёл из-за того что программа оценки очков просто давала сбой. Не давая машине нужный Альфе кто побеждает. А после того как алгоритм пересчитал очки правильно, уйдя из этой серой зоны оценки. То тут же машина обнаружила что полностью вдрызг выигранный матч, на самом деле уже катастрофический провал и Альфа начал спамить уже ололо тактики. Потому как в них была последняя его надежда.
Конечно беда в том что правила были подменены опытом, но всё же правила.

[Rattus]

Кстати, а почему никто не  вбухивает столько же денег в разработки варп-двигателя или в иные идеи из научной фантастики?

Потому что идеи - не технологии. Техническая реализуемость единственной сколь-нибудь физически-непротиворечивой модели "варп-двигателя" - Алькубьерре - по сути уже опровергнута окончательно несколькими сравнительно недавними работами.
Потому под сказочную идею в принципе денег не даст ни один сколь-нибудь вменяемый фонд/инвестор, а вот под технологию - даже наоборот устаревшую - пожалуйста: например производство виниловых граммофонов, ламповых усилителей и золочёных проводов для состоятельных поциентов с аудиофилией головного мозга.

А в искусственного идиота финансирование льется рекой, не потому ли, что человечество в очередной раз решило почувствовать себя богом и что-то "сотворить"?

Ещё раз - нет никакого "человечества" - это только биологическая условность. Но есть цивилизация - расширенный фенотип человеческих популяций, требующий довольно больших ресурсов для своего развития и поддержания. Некоторые процессы в ней носят автокаталитический, самоподдерживающийся характер, что с точки зрения наблюдателя выглядит как целеполагание/мотивация некоего Левиафана.

Только на выходе в лучшем случае получится чудовище Франкенштейна. И то не факт.

Правовые системы империй могут сущестовать столетиями, при том что представляют собой лишь жёсткие примитивные скрипты. Привнесение в систему интеллектуальной адаптивности - наделение Левиафана разумом - не противоречит никаким законам природы.

Это смотря насколько качественные синтетические данные будут. АльфаЗеро обучали на 100% синтетике однако он разгромил Рыбку которая имела все человеческие наработки мира

Нейросеть успешно обучили на "синтетических" данных самосыгранных партий в синтетическом же полностью формализованном мире дискретной игры. У-ди-ви-тельная "эффективность математики в описании законов природы" и точность бомбы попадающей в свою воронку!

Ему внешний мир совсем не нужен

Похоже техноэнтузазисты-ITшнеги действительно органически неспособны отличать физическую реальность от идеального "платоновского" мира информационных систем, либо эта самая реальность им совсем не нужна (пока кто-то кладёт продукты в ближайший магазин, видимо).

Ну, тут вопрос уже философский - что считать внешним миром, а что внутренним.

На самом деле вопрос вполне ясный и довольно простой. Все правила дискретных игр и цельновиртуальные миры - внутренние. В ряде случаев симуляция может довольно неплохо описывать некоторые реально существующие явления. Но в реальном мире таких явлений - огромнейшее количество и далеко не под всех из них есть описывающие модели удовлетворительной полноты.

[BlackMokona]

В ряде случаев симуляция может довольно неплохо описывать некоторые реально существующие явления

И чем лучше будут симуляции, тем больше можно синтетики запихивать в обучающий набор ИИ

[Rattus]

И чем лучше будут симуляции, тем больше можно синтетики запихивать в обучающий набор ИИ

"Лучшесть" симуляции во многом прямо зависит от её объёма потому его применение уже и есть по сути "запихивание больше синтетики" в единственно материально-значимом смысле - объеме памятей и вычмощностей. Что называется - "Спасибо, Капитан Тавтология!"

[BlackMokona]

"Лучшесть" симуляции во многом прямо зависит от её объёма потому его применение уже и есть по сути "запихивание больше синтетики" в единственно материально-значимом смысле - объеме памятей и вычмощностей. Что называется - "Спасибо, Капитан Тавтология!"

И вот мы приходим к этим самым мега датацентрам огромным. Больше, больше и ещё раз больше. 

[Rattus]

Но прямая зависимость результата от вложенных ресурсов рано или поздно (и очень часто - скорее рано чем поздно) достигает своего насыщения.
Ну так когда там GPT-5 продемонстрирует стратосферные высоты своего могучего интеллекта?

[BlackMokona]

Но прямая зависимость результата от вложенных ресурсов рано или поздно (и очень часто - скорее рано чем поздно) достигает своего насыщения.

Но вот пока не насытилось и левиафан жрёт, жрёт и жрёт, требует всё больше. Пока жрёт будут кормить, как уже толку давать не будет накидывание очередной лопатой дата центров, то будут искать другие пути.

[MenFrame]

Пусть беспилотники ездят лучше чем средний человек, но все хотят полную безаварийность

Нет, это просто пример неповоротливости государственной машины которая не хочет брать лишнюю ответственность. Для регулятора проще запретить, чем расхлебывать последствия которые по факту могут быть вполне приемлемыми и оправданными. Это проблема ответственности за решения ИИ, и реакция общества на эти решения. Грубо говоря это заморочки людей и государственной машины, а не требования конкретного работодателя.

Совсем необязательно это какой-то сознательный анализ.

Бессознательный тоже.

Просто с возрастом

Просто в психике не чего не происходит, она эволюционировала как механизм выживания. Потому основная ее задача фильтрация информации на предмет ее субъективной полезности. Разный опыт, дает разное представление о полезности. Да и с возрастом у любого организма меняються эволюционные задачи.

Значит ли это, что модели тоже должны получать собственный опыт?

Это проблема людей, которые не имеют подробного(сенсорного) описания навыков, потому вынуждены постоянно их нарабатывать на собственном опыте.

В го очень простой мир - доска 19х19, белые и чёрные фишки, несколько простых правил.

Именно, игра оказалась достаточно простой для эволюционного перебора. А в том же старкрафте сдулась уперлась в ловушку локального максимума.

Ну, тут вопрос уже философский - что считать внешним миром, а что внутренним.

Разделять мир на внешний и внутренний нужно сугубо для регистрации различий на основе которых внутренний мир усложняется учитывая новые данные. А доска она и в африке доска.

Ведь правил люди не придумали, какой текст или картинка хорошая, а что плохое.

У людей есть интуитивное представление о мире. Цель обучения предать это представление на основе примеров(размеченных данных)

Хуже того один человек будет с пеной у рта орать ШЕДЕВР,

А это пример плохой разметки, малоинформативной. Но даже такая разметка, на уровне(нравиться, не нравиться) может быть полезной на большой статистике.

[BlackMokona]

Нет, это просто пример неповоротливости государственной машины которая не хочет брать лишнюю ответственность. Для регулятора проще запретить, чем расхлебывать последствия которые по факту могут быть вполне приемлемыми и оправданными. Это проблема ответственности за решения ИИ, и реакция общества на эти решения. Грубо говоря это заморочки людей и государственной машины, а не требования конкретного работодателя.

Ну таки пример государства, общества.. И тут внезапно у нас 99% этого самого человечества, которое требует идеальности. Да и компании часто так же себя ведут. Сколько уже компаний свернуло разработку беспилотников после первых неудач? Тот же Убер как пример.

У людей есть интуитивное представление о мире. Цель обучения предать это представление на основе примеров(размеченных данных)

И интуиция одного говорит что шедевр, а интуиция другого что экстрименты. Поэтому уже на текущем уровни развития нужно уже понимание конкретного запрашивающего, для правильного ответа

А это пример плохой разметки, малоинформативной. Но даже такая разметка, на уровне(нравиться, не нравиться) может быть полезной на большой статистике.

Уже прошли в целом уровень когда это было полезно. Сейчас уже работают по конкретным желанием групп.

[MenFrame]

Сколько уже компаний свернуло разработку беспилотников после первых неудач? Тот же Убер как пример.

Видимо все ждут пример от Илона Маска, без него ни как. Задавать тренды могут не только лишь все.

И интуиция одного говорит что шедевр, а интуиция другого что экстрименты.

Мне кажется что задача создания общего интеллекта слабо связана с разбором завихов конкретных гуманитариев. Если конечно не стоит задача создания Искусственного Идиота, всего такого спонтанного и непредсказуемого.

Сейчас уже работают по конкретным желанием групп.

И каковы критерии разделения этих групп?

[BlackMokona]

Видимо все ждут пример от Илона Маска, без него ни как. Задавать тренды могут не только лишь все.

Гугл вполне нормально справляется. Они конечно медленно масштабируются, а их машины стоят намного дороже Тесел. Но всё же у них уже есть рабочий бизнес по беспилотным перевозкам людей. С точки зрения бизнеса сейчас они на парочку шагов впереди Маска.
Только жаль что кроме Ваймо никого особо и не видно. Китайцы недавно очень бодро росли, но партия наконец обратила на их усилия внимание и всех задавила как клопов.

И каковы критерии разделения этих групп?

Профессиональные. Программисты, писатели, обыватели и тд.