Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[MenFrame]

Только быстрее думать? Ну ускорит это прогресс на 10%.

В принципе любой могучий ИИ очень быстро упрется в недостаток экспериментальных данных. Но при этом будет местный всплеск генерации идей за счет высокого уровня междисциплинарности. Так что будет не сингулярность, а ВАУ эффект.

[Olweg]

Ну вот появились ЭВМ 80 лет назад. Ну стали быстрее решать всякие уравнения.
Ускорило ли это технический прогресс? Да - но не намного.

В чем будет проявляться сверхразум? Только быстрее думать? Ну ускорит это прогресс на 10%.

Тут есть принципиальная разница. ЭВМ просто расширили возможности человека, но не усилили его интеллект. Они позволили быстрее находить, накапливать, обрабатывать информацию, но не могли расширить бутылочное горлышко генератора идей, которым остаётся (пока) человеческий мозг со всеми его ограничениями. Поэтому накопленная цивилизацией информация остаётся, скорее всего, недоиспользованной. Сверхразум сможет весь этот информационный навес гораздо эффективнее перелопатить.

Ну и, как я уже писал выше, машинное обучение, видимо, позволяет по крайней мере часть экспериментов проводить виртуально гораздо эффективнее. Поэтому время внедрения новых технологий может сократиться. Тут может сработать кумулятивный эффект, который невозможно заранее предсказать. Посмотрим

Я лично вижу сингулярность (повторюсь) как "стенку" логистической функции прогресса, участок его максимального ускорения. При этом предыдущие несколько десятилетий можно считать периодом некоторого его замедления - из-за того самого информационного затора, когда человеческие мозги перестали справляться с валом новых знаний. Но никто же не обещал, что всё будет идти по идеальной кривой, вспомним Римскую империю. В общем, я вижу нас на кривой прогресса где-то тут (на рисунке).

[Metatron]

Вопрос в вертикальности линии этой кривой - там где наступает сингулярность.

Мне таки кажется - что не будет этой вертикальности. Будет намного более пологая кривая.
А это значит - что и не будет непредсказуемости прогресса (ключевая характеристика сингулярности).

И вообще - по большому счету все что возможно придумать - люди уже придумали. Хотя бы описали в фантастике.
Сверхразум не сможет придумать что-то еще, что никто не придумал до него.

Мы получим более совершенные версии разных машин. Но не получим чего-то абсолютно нового.

[Olweg]

Мне таки кажется - что не будет этой вертикальности. Будет намного более пологая кривая.
А это значит - что и не будет непредсказуемости прогресса (ключевая характеристика сингулярности).

Вообще говоря, есть некоторое противоречие между тем, что я написал выше, и прогнозами сингулярности. Не только в том, что функция перегибается, но и в самом характере функции: до определёного момента логистическая функция почти неотличима от экспоненты, а у экспоненты нет предела. Прогнозы сингулярности оперируют гиперболическими кривыми, и там-то стенки вполне вертикальные. Прогресс как гиперболическая функция с перегибом? Не знаю, честно говоря, есть ли такие.

И вообще - по большому счету все что возможно придумать - люди уже придумали. Хотя бы описали в фантастике.
Сверхразум не сможет придумать что-то еще, что никто не придумал до него.

Этого никогда нельзя утверждать наверняка.

[СТОкрат]

Фейнман, Швингер и Томонага независимо и одновременно создали КЭД. Любой существующий сейчас во вселенной сверхразум понимает, что контакты с другим сверхразумом в галактике в плане научных перспектив совершенно бессмысленны ибо плоды размышлений всех сверхразумов идентичны?

[Metatron]

История развития, условия развития - все будет другим (скорее всего).
Так что гуманитарные научные данные - будут отличаться.

[СТОкрат]

гуманитарные научные данные

Это что, псевдотензор психосоматики? Эпюра напряжений социума?

[Rattus]

Любой существующий сейчас во вселенной сверхразум понимает, что контакты с другим сверхразумом в галактике в плане научных перспектив совершенно бессмысленны ибо плоды размышлений всех сверхразумов идентичны?

Да - и это уже не раз обсуждалось в Разделе. Поскольку фундаментальные законы, открытые в одной звёздной системе также едины для всех остальных систем в галактике и законы, действующие на уровне галактики, также едины для всех галактик в наблюдаемой области согласно всем полученным к настоящему моменту данным (что закреплено даже в Тезаурусе Правил ВЖР), то и истинное знание о них также должно быть на всех одним и рано или поздно открываемым всеми, кто достаточно упорен в изучении природы.

Так что гуманитарные научные данные - будут отличаться.

Как и конкретные геологические и биоэволюционные для каждой планеты и биосферы соответственно. Но массив относительно сырых данных сам по себе не особенно полезен. Плюс пропускная способность каналов связи на межзвёздных расстояниях не очень-то позволит слать гигабайты сырых данных.

Единственная цель размножения - это естественный отбор.

А путь самурая - это смерть. К биологической и прочим наукам эти сентенции равно не имеют отношения.

Но, - естественный отбор уже не актуален.

Ну-ну - упраздняем сбор медицинской статистики за ненадобностью: ведь выживаемость новорожденных уже давно - 100%, дети и молодые люди также выздоравливают на 100% как мухи, если попадают в больницу.
 

У ИИ таких проблем не будет вообще. Он вечен и способен к само-перепроектированию и улучшению.

Поскольку сделан из чистого унобтаниума и легирован философским камнем, а к нему напрямую подключены из того же сделанные роботы со скатертями-самобранками.

Человек очень капризное устройство, которое требует постоянно обслуживания, не подлежит дешевому ремонту, требует минимум 10 лет с момента появления на свет, прежде чем сможет выполнять хоть какую-то работу и т.д. В общем, роботам он совсем не конкурент.

Будто роботы с универсальными и точными манипуляторами сильно менее капризны и дёшевы в производстве и обслуживании! Человеку разве нужен сверхчистый кремний и килограммы цветных металлов для воспроизводства? А контроллеры и точные манипуляторы роботов без них невозможны. Есть манипуляторы, которые служат без ремонта и смазки несколько десятилетий к ряду? А человеческие конечности именно таковы.

Отличительная особенность что AGi что ASI - они безинициативны, у них нет и  не может быть собственных желаний. Они только выполняют желания людей.

https://3dnews.ru/1111122/chatgpt-neogidanno-zagovoril-pervim-no-openai-operativno-ustranila-sboy

Комментарий модератора раздела

Оффтоп отделён в соответствующие темы.

[Olweg]

Интересный прогноз от Дарио Амодеи, главы Anthropic (главного конкурента OpenAI):
https://darioamodei.com/machines-of-loving-grace

Он использует термин «мощный ИИ» (powerful AI) Такой ИИ будет «умнее лауреата Нобелевской премии в большинстве соответствующих областей — биологии, программировании, математике, инженерии, литературе и т. д.»

Дальше выборочные цитаты из вступления:

Ресурсы, используемые для обучения модели, могут быть перенаправлены на запуск миллионов ее экземпляров (это соответствует прогнозируемым размерам кластеров к ~2027 году), а модель может поглощать информацию и генерировать действия примерно в 10-100 раз быстрее человеческой скорости. (Это примерно текущая скорость систем ИИ — например, они могут прочитать страницу текста за пару секунд и написать страницу текста примерно за 20 секунд, что в 10-100 раз превышает скорость, с которой люди могут делать эти вещи. Со временем более крупные модели, как правило, делают это медленнее, но более мощные чипы, как правило, делают это быстрее; на сегодняшний день эти два эффекта примерно компенсированы).

Каждая из этих миллионов копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе, так же, как сотрудничают люди, возможно, с различными субпопуляциями, настроенными на то, чтобы быть особенно эффективными в выполнении определенных задач.
Мы могли бы кратко охарактеризовать это как «страну гениев в центре обработки данных».

Очевидно, что такая сущность была бы способна решать очень сложные проблемы, очень быстро, но нетривиально выяснить, насколько быстро. Две «экстремальные» позиции кажутся мне ложными. Во-первых, вы можете подумать, что мир мгновенно преобразится в масштабе секунд или дней («Сингулярность»), поскольку высший интеллект сам себя достраивает и решает все возможные научные, инженерные и операционные задачи почти мгновенно. Проблема в том, что существуют реальные физические и практические ограничения, например, вокруг создания оборудования или проведения биологических экспериментов. Даже новая страна гениев упрется в эти ограничения. Интеллект может быть очень мощным, но это не волшебная пыльца.

Во-вторых, и наоборот, вы можете полагать, что технический прогресс насыщен или ограничен по скорости данными реального мира или социальными факторами, и что интеллект, превосходящий человеческий, добавит очень мало. Мне это кажется столь же неправдоподобным — я могу вспомнить сотни научных или даже социальных проблем, где большая группа действительно умных людей радикально ускорила бы прогресс, особенно если бы они не ограничивались анализом и могли бы заставлять вещи происходить в реальном мире (что может наша предполагаемая страна гениев, в том числе направляя или помогая командам людей).

Дальше под спойлером приведу большой кусок из главы про биологию и медицину. В статье ещё четыре главы: нейробиология, экономика, политика, работа и смысл жизни, но там уже много воды, мне они показались не особо интересными, а вот главу про медицину действительно стоит почитать.

(кликните для показа/скрытия)

1. Биология и здоровье

…
На языке «ограничивающих факторов» предыдущего раздела основными проблемами прямого применения интеллекта к биологии являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три связаны друг с другом). Человеческие ограничения также играют роль на более поздней стадии, когда речь идет о клинических испытаниях. Давайте рассмотрим их по одному.

Эксперименты на клетках, животных и даже химических процессах ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток или просто ожидание химических реакций, и это иногда может занять дни или даже недели, без очевидного способа ускорить это. Эксперименты на животных могут занять месяцы (или больше), а эксперименты на людях часто занимают годы (или даже десятилетия для долгосрочных исследований результатов). В некоторой степени это связано с тем, что данных часто не хватает — не столько по количеству, сколько по качеству: всегда не хватает четких, недвусмысленных данных, которые изолируют интересующий биологический эффект от других 10 000 сбивающих с толку вещей, которые происходят, или которые причинно вмешиваются в данный процесс, или которые напрямую измеряют какой-то эффект (в отличие от выведения его последствий каким-то косвенным или шумным способом). Даже массивные количественные молекулярные данные, такие как данные протеомики, которые я собрал, работая над методами масс-спектрометрии, содержат много шума и упускают многое (в каких типах клеток находились эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Частично эти проблемы с данными вызваны внутренней сложностью: если вы когда-либо видели диаграмму, показывающую биохимию человеческого метаболизма, вы знаете, что очень сложно выделить влияние любой части этой сложной системы, и еще сложнее вмешаться в систему точным или предсказуемым образом. И, наконец, помимо внутреннего времени, которое требуется для проведения эксперимента на людях, реальные клинические испытания включают в себя множество бюрократии и нормативных требований, которые (по мнению многих людей, включая меня) добавляют ненужное дополнительное время и задерживают прогресс.

Учитывая все это, многие биологи долгое время скептически относились к ценности ИИ и «больших данных» в целом в биологии. Исторически математики, специалисты по информатике и физики, которые применяли свои навыки в биологии за последние 30 лет, были довольно успешны, но не оказали по-настоящему преобразующего воздействия, на которое изначально надеялись. Часть скептицизма была уменьшена крупными и революционными прорывами, такими как AlphaFold (который только что заслуженно принес своим создателям Нобелевскую премию по химии ) и AlphaProteo, но все еще существует мнение, что ИИ полезен (и будет продолжать быть) только в ограниченном наборе обстоятельств. Распространенная формулировка такова: «ИИ может лучше анализировать ваши данные, но он не может производить больше данных или улучшать качество данных. Мусор на входе, мусор на выходе».

Но я думаю, что эта пессимистическая точка зрения — неправильное представление об ИИ. Если наша основная гипотеза о прогрессе ИИ верна, то правильным способом думать об ИИ будет не как о методе анализа данных, а как о виртуальном биологе, который выполняет все задачи, которые выполняют биологи, включая разработку и проведение экспериментов в реальном мире (управляя лабораторными роботами или просто сообщая людям, какие эксперименты проводить — как главный исследователь своим аспирантам), изобретение новых биологических методов или методов измерения и так далее. Именно за счет ускорения всего процесса исследований ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, которое возникает, когда я говорю о способности ИИ преобразовывать биологию: я не говорю об ИИ просто как об инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, руководства и улучшения практически всего, что делают биологи.

Чтобы конкретнее сказать, откуда, по моему мнению, может прийти ускорение, удивительно большая доля прогресса в биологии произошла из действительно небольшого числа открытий, часто связанных с широкими измерительными инструментами или методами, которые позволяют точное, но обобщенное или программируемое вмешательство в биологические системы. Возможно, происходит ~1 из этих крупных открытий в год, и в совокупности они, вероятно, обеспечивают >50% прогресса в биологии. Эти открытия настолько сильны именно потому, что они прорываются через внутреннюю сложность и ограничения данных, напрямую увеличивая наше понимание и контроль над биологическими процессами. Несколько открытий, совершаемых за десятилетие, сделали возможным как большую часть нашего базового научного понимания биологии, так и появление многих из самых мощных медицинских методов лечения.

Вот некоторые примеры:

- CRISPR: метод, позволяющий редактировать любой ген в живых организмах в режиме реального времени (замена любой произвольной последовательности гена на любую другую произвольную последовательность). С момента разработки оригинального метода постоянно вносились усовершенствования для нацеливания на определенные типы клеток, повышения точности и сокращения редактирования неправильного гена — все это необходимо для безопасного использования на людях.
- Различные виды микроскопии для наблюдения за происходящим на точном уровне: современные световые микроскопы (с различными видами флуоресцентных технологий, специальной оптикой и т. д.), электронные микроскопы, атомно-силовые микроскопы и т. д.
- Секвенирование и синтез генома, стоимость которых за последние пару десятилетий снизилась на несколько порядков.
- Оптогенетические методы, позволяющие заставить нейрон активироваться, направляя на него свет.
- мРНК-вакцины, которые, в принципе, позволяют нам разрабатывать вакцину против чего угодно, а затем быстро адаптировать ее (мРНК-вакцины, конечно, стали популярны во время COVID).
- Клеточная терапия, такая как CAR-T , позволяет извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, на что угодно.
- Концептуальные идеи, такие как микробная теория болезней или осознание связи между иммунной системой и раком.

Я перечисляю все эти технологии, потому что хочу сделать важное заявление: я думаю, что скорость их открытия могла бы быть увеличена в 10 раз или больше, если бы было гораздо больше талантливых, креативных исследователей. Или, другими словами, я думаю, что отдача от интеллекта для этих открытий высока, и что все остальное в биологии и медицине в основном вытекает из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые мы должны привыкнуть задавать, когда пытаемся определить «отдачу от интеллекта». Во-первых, эти открытия, как правило, делаются небольшим числом исследователей, часто одними и теми же людьми неоднократно, что предполагает мастерство, а не случайный поиск (последнее может означать, что ограничивающим фактором являются длительные эксперименты). Во-вторых, их часто «могли бы сделать» на годы раньше, чем они были: например, CRISPR был естественным компонентом иммунной системы у бактерий, который был известен с 80-х годов, но потребовалось еще 25 лет, чтобы люди поняли, что его можно перепрофилировать для общего редактирования генов. Они также часто задерживаются на много лет из-за отсутствия поддержки со стороны научного сообщества для многообещающих направлений …. В-третьих, успешные проекты часто бывают разрозненными или представляют собой запоздалые мысли, которые люди изначально не считали многообещающими, а не масштабно финансируемые усилия. Это говорит о том, что не только огромная концентрация ресурсов является движущей силой открытий, но и изобретательность.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (вам нужно сначала сделать открытие A, чтобы иметь инструменты или знания для открытия B) — что опять же может создать экспериментальные задержки — многие, возможно, большинство, являются независимыми, то есть над многими сразу можно работать параллельно. Оба эти факта, и мой общий опыт биолога, настоятельно предполагают, что сотни таких открытий ждут своего часа, если ученые будут умнее и лучше устанавливать связи между огромным объемом биологических знаний, которыми обладает человечество (снова рассмотрим пример CRISPR). Успех AlphaFold / AlphaProteo, которые решают важные проблемы гораздо эффективнее, чем люди, несмотря на десятилетия тщательно разработанного физического моделирования, обеспечивает доказательство принципа (хотя и с узким инструментом в узкой области), который должен указать путь вперед.

Таким образом, я предполагаю, что мощный ИИ может по крайней мере в 10 раз увеличить скорость этих открытий, что даст нам следующие 50-100 лет биологического прогресса за 5-10 лет. Почему не в 100 раз? Может быть, это возможно, но здесь важны как последовательная зависимость, так и время эксперимента: для достижения 100 лет прогресса за 1 год требуется много вещей, которые должны идти правильно с первого раза, включая эксперименты на животных и такие вещи, как проектирование микроскопов или дорогостоящего лабораторного оборудования. Я на самом деле открыт для (возможно, абсурдно звучащей) идеи, что мы можем получить 1000 лет прогресса за 5-10 лет, но очень скептически отношусь к тому, что мы можем получить 100 лет за 1 год. Другими словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и проектирование оборудования имеют определенную «задержку» и должны быть повторены определенное «неснижаемое» количество раз, чтобы узнать вещи, которые не могут быть выведены логически. Но сверх этого возможен и массовый параллелизм.

А как насчет клинических испытаний? Хотя с ними связано много бюрократии и замедления, правда в том, что большая часть (хотя далеко не вся!) их замедления в конечном итоге проистекает из необходимости строго оценивать препараты, которые едва работают или работают неоднозначно. К сожалению, это относится к большинству современных методов лечения: среднестатистический препарат от рака увеличивает выживаемость на несколько месяцев, при этом имея существенные побочные эффекты, которые необходимо тщательно измерять (похожая история и с препаратами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической мощности) и сложным компромиссам, в которых регулирующие органы обычно не очень хороши, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает действительно хорошо, оно работает намного быстрее: есть ускоренный путь одобрения, и простота одобрения намного выше, когда размеры эффекта больше. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее обычного темпа. Тем не менее, даже в этих условиях клинические испытания все еще слишком медленные — мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца. Но такие задержки (~1 год от начала до конца для препарата) в сочетании с массивной параллелизацией и необходимостью некоторой, но не слишком большой итерации («несколько попыток») вполне совместимы с радикальной трансформацией за 5–10 лет. Еще более оптимистично, возможно, что биологическая наука с поддержкой ИИ снизит необходимость итерации в клинических испытаниях за счет разработки лучших экспериментальных моделей животных и клеток (или даже симуляций), которые точнее предсказывают, что произойдет у людей. Это будет особенно важно при разработке препаратов против процесса старения, который длится десятилетиями и где нам нужен более быстрый цикл итерации.

Наконец, говоря о клинических испытаниях и социальных барьерах, стоит прямо указать, что в некоторых отношениях биомедицинские инновации имеют необычайно прочный послужной список успешного внедрения, в отличие от некоторых других технологий. Как упоминалось во введении, многие технологии сдерживаются социальными факторами, несмотря на то, что они хорошо работают технически. Это может указывать на пессимистический взгляд на то, чего может достичь ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно громоздкий, после разработки они, как правило, успешно внедряются и используются.

Подводя итог вышесказанному, мой основной прогноз заключается в том, что биология и медицина с поддержкой ИИ позволят нам сжать прогресс, которого биологи-люди достигли бы за следующие 50-100 лет, до 5-10 лет. Я буду называть это «сжатым 21-м веком»: идея о том, что после разработки мощного ИИ мы за несколько лет достигнем всего прогресса в биологии и медицине, которого достигли бы за весь 21-й век.

Интересно послушать мнение специалистов

[Combinator]

Думаю, многие (но не все, конечно) биологические эксперименты можно будет ставить и виртуально, в режиме компьютерной симуляции.

[Foma]

Интересно послушать мнение специалистов

Вот интересное мнение на тему:  Напророчили. Когда подтвердятся предсказания нобелевских лауреатов по химии
Если вкратце, то здесь много обещаний, много лукавства и пока нет больших успехов и в решении собственно прикладных задач - предсказании аминокислотной последовательности для белка нужной структуры.

...нейросети уже собрали базу данных, которая сейчас насчитывает более 200 миллионов структур. Это примерно в 1000 раз больше, чем доступно в PDB — базе кристаллографических структур. Пользоваться этими данными ученым приходится на свой риск: когда нейросеть предсказывает структуры неизвестных белков, никто не знает, как выглядит правильный ответ. И нельзя сказать наверняка: машина выдала правдивую структуру или галлюцинацию. Когда нейросеть играет в го или шахматы, странности игры простительны. Вопиющие причуды в игре, вроде невозможных шахматных ходов, которые делают начинающие модели, видны даже посторонним. Менее очевидные ошибки должен опровергнуть соперник (если сможет). Но в науке ошибки нейросетей, прогнозирующих, скажем, невозможные структуры белков, непростительны — в соперниках у алгоритма объективная истина.

...калитка алгоритма работает в обе стороны: можно по аминокислотной последовательности предположить трехмерную структуру, а можно, напротив, исходя из желаемой трехмерной структуры, узнать, какая у нее должна быть аминокислотная последовательность. Благодаря этому в 2003 году лаборатория Бейкера фактически придумала белок Top7: это цепочка из 93 аминокислот, компактно уложенная в клубок из двух альфа-спиралей и бета-складчатого слоя. Совершенно новая молекула — и с точки зрения структуры, и по аминокислотной последовательности. У Top7 был один недостаток: абсолютно новый белок ничего не умел делать.
...
Вероятно, не до конца проверенные структуры белка, созданные AlphaFold, действительно верны — и ученые на самом деле научились предсказывать структуру белка. Решение обратной задачи — предсказывать нужную для конкретной структуры аминокислотную последовательность — тоже, похоже, часто возможно. Но как эти структуры трансформируются в функцию? Насколько уверенно белок с определенной структурой превращается в белок с определенной функцией?

Подвох, пожалуй, сейчас как раз в том, насколько хорошо мы понимаем связь между конкретной функцией и расположением конкретных атомов в пространстве. Даже к дизайну с помощью искусственного интеллекта сериновых протеаз, одного из самых изученных семейства ферментов, лаборатория Дэвида Бейкера, одного из лауреатов, подобралась только-только.

Получается, от создания Tоp7 до функционального искусственного фермента без дополнительных надстроек лаборатория Бейкера потратила 20 лет. Сколько ждать надежного и достоверного применения AlphaFold — неизвестно. Может потребоваться 20 лет, а может — 2 года. Нобелевский комитет решил этого непредсказуемого момента не ждать.

[Бобр-99]

AlphaFold..

Во первых, химия тут даже отдаленно не причем.

Во вторых, под предсказанием тут имеется в виду сравнительный поиск по базе. Нет в базе нет и "предсказания", ибо физики/химии AlphaFold не знает. Это обычный поиск корреляций, просто более изощрённый.

В третьих, процент успешного предсказания улучшился в пару раз. По базе, не вообще. См. выше.

И наконец. Это не центральная проблема
биологии. Если она будет решена на 100%, вы этого не почувствуете.

[Olweg]

Во вторых, под предсказанием тут имеется в виду сравнительный поиск по базе. Нет в базе нет и "предсказания", ибо физики/химии AlphaFold не знает. Это обычный поиск корреляций, просто более изощрённый.

Что вы имеете в виду под «сравнительным поиском по базе»?

[Бобр-99]

Есть база экспериментальных данных по пространственным структурам белков. Задача - найти закономерности, затем предсказать структуру нового белка, ориентируясь на подобие с известными.

[Rattus]

Если вкратце, то здесь много обещаний, много лукавства и пока нет больших успехов и в решении собственно прикладных задач - предсказании аминокислотной последовательности для белка нужной структуры.

а можно, напротив, исходя из желаемой трехмерной структуры, узнать, какая у нее должна быть аминокислотная последовательность.

Решили неукоснительно соблюсти взаимоисключающие параграфы?
В целом дело может и правда сейчас обстоит подобным образом, но то, как об этом написано тут, меня, например, совершенно не удовлетовряет. Например:

У Top7 был один недостаток: абсолютно новый белок ничего не умел делать.

Что значит "ничего"? Доказанное полное отсутствие любой каталитической активности и специфичного связывания других биомакромолекул или таки только известных активностей в отношении какого-то пусть большого, но всё же ограниченного набора субстратов? И даже если белок - не фермент, не ингибитор, не опсонин, не мембранный канал - это разве полный список типов функций глобулярных или мембранных белков? Неопределённость значения применяемого квантора всеобщности есть верный признак злокачественного журнализма.

Но в науке ошибки нейросетей, прогнозирующих, скажем, невозможные структуры белков, непростительны — в соперниках у алгоритма объективная истина.

И что? Постановка каждого проверяющего эксперимента стоит как запуск космонавтов на МКС что ли? А без такой системы отбора кандидатов на искомую структуру/функцию проходил не менее эффективно что ли? А если нет - то в чём тут претензия?

Но как эти структуры трансформируются в функцию? Насколько уверенно белок с определенной структурой превращается в белок с определенной функцией?

Здесь ещё вопрос в том - а какие собственно функции вам нужны? Разнообразие биологических функций белков может быть больше чем звёзд в галактике - что вам конкретно нужно от системы предсказания?

Даже к дизайну с помощью искусственного интеллекта сериновых протеаз, одного из самых изученных семейства ферментов, лаборатория Дэвида Бейкера, одного из лауреатов, подобралась только-только.

Вот это - уже конкретика. Здесь хоть что-то становится ясно, но всё равно этого очень мало для понимания целостной картины современных возможностей.

Это не центральная проблема биологии.

Также как обыграть человека в Го - не центральная проблема построения сильного искусственного интеллекта. Но это одна из наиболее чётко формализованных задач в ряду, ведущем к. А значит - над ней и работа будет идти в первую очередь.

[sharp]

Предлагаю обсудить, как будет выглядеть мир, в случае и после достижения технологической сингулярности. Такой предлагаю считать не мир, в котором создан общий искусственный интеллект (AGI), а мир, в котором создан ASI (artificial super intellegence).

Начали, к сожалению, с сомнительного определения. Технологическая сингулярность - это состояние цивилизации, при котором интеллектуальный контроль над функционированием и развитием цивилизации не преднадлежит человеку, а всецело находится в руках ИИ. Нужен ли для этого некий гипотетический ASI - большой вопрос. Вероятнее всего, если это когда-либо произойдёт, это произойдёт гораздо раньше, чем он будет создан.

Другой вопрос - что считать этим самым ASI? По сути, нейросеть с когнитивными способностями, сопоставимыми с наиболее интеллектуальными людьми, но при этом обладающая доступом к огромной вычислительной мощности и банкам данных - уже будет превосходить человека на порядок по интеллектуальной мощи. Просто за счет скорости обработки информации. Не знаю, сколько это будет в IQ - нужно будет придумывать тесты какого-то совсем другого уровня, чтобы поставить такую систему перед хоть какими-то трудностями.

Так что можно сказать, что AGI, прилинкованный к мощному суперкомпьютеру и банкам данных - это уже ваш ASI. ASI, прилинкованный к средствам управления экономикой, политикой и производством, и заменяющий интеллектуальный труд основной массы современных управленцев - это ключевой элемент технологической сингулярности.

Ну а куда конкретно выльется такая технологическая сингулярность - это вопрос, конечно, интересный. Но, так как, по сути, это будет уже цивилизация машин, а не цивилизация людей - вероятнее всего, человечество постепенно будет отмирать за ненадобностью. Хотя возможны варианты, что людям будут вживлять нейролинки во младенчестве, и они будут в качестве биороботов встраиваться в новый мировой порядок. Но не уверен, что потребуется аж цельных 8 миллиардов. 800 миллионов хватит за глаза. Куда денутся остальные - думаю, сами понимаете.

[Olweg]

Другой вопрос - что считать этим самым ASI? По сути, нейросеть с когнитивными способностями, сопоставимыми с наиболее интеллектуальными людьми, но при этом обладающая доступом к огромной вычислительной мощности и банкам данных - уже будет превосходить человека на порядок по интеллектуальной мощи. Просто за счет скорости обработки информации. Не знаю, сколько это будет в IQ - нужно будет придумывать тесты какого-то совсем другого уровня, чтобы поставить такую систему перед хоть какими-то трудностями.

Так что можно сказать, что AGI, прилинкованный к мощному суперкомпьютеру и банкам данных - это уже ваш ASI.

Тут вспоминается аргумент про пятиклассника, посаженного за суперкомпьютер. Много он полезного сделает? И какие факторы вообще определяют силу интеллекта? Общая производительность - да, конечно, как и скорость прохождения сигналов, но вот сам по себе доступ к информации вряд ли усиливает интеллект. Иначе в современном мире с глобальным интернетом все были бы уже гениями ) Думаю, это справедливо и для ИИ.

[Olweg]

Интеллект это в основном - сколько вы можете держать концепций в своей голове.
Условно говоря - на сколько ходов вперед вы можете думать.

Компьютерный аналог - регистры для хранения переменных.

Хм… Вы уверены? Если бы всё было так просто, наверное, ИИ бы уже давно создали. Переменные используются жёстко предзаданным алгоритмом. Мозг работает иначе. В работе интеллекта важны абстракции, взаимосвязи (не всегда чёткие), аналогии. Человек может работать или просто удерживать в рабочей памяти всего несколько элементов («волшебное число семь плюс-минус»). Аналог рабочей памяти у трансформеров, которые сейчас используются в языковых моделях - контекстное окно. Но сколько в него может поместиться «концепций»? Или просто элементов. Прямые аналогии тут, наверное, невозможны, потому что отличается принцип работы.

[Olweg]

Да, возможно, у умных людей величина рабочей памяти в среднем по больнице шире, чем у прочих (восемь объектов вместо шести-семи), но только этим вряд ли можно объяснить. В конце концов, IQ распределяется по довольно гладкой гауссиане, значит, и факторы, определяющие интеллект, должны меняться довольно плавно.

[MenFrame]

у ИИ не должно быть кроме целей заложенных разработчиком.

Программы, не говоря уже об ИИ, ведут себя как полагали разработчики?..
 

Программы бывает сбоят и глючат, но это фиксят по мере возможностей.