ВНИМАНИЕ! На форуме начался конкурс - астрофотография месяца ИЮНЬ!
0 Пользователей и 1 Гость просматривают эту тему.
По поводу IQ - ещё в 2022 старый ChatGPT набирал 147 баллов. Но, правда, в вербально-лингвистическом тесте. С математикой у этих моделей до сих пор слабовато…
Причина, по которой я думаю, что это не просто предсказание следующего символа, заключается в том, что если вы спрашиваете: "что нужно сделать, чтобы предсказать следующий символ?", особенно если вы задаете мне вопрос, а затем первым словом ответа становится следующий символ, вы должны понимать вопрос. Поэтому я думаю, что предсказание следующего символа совсем не похоже на старомодное автозаполнение. При старомодном автозаполнении вы сохраняете как бы тройки слов, а затем, если вы сортируете пару слов, вы видите, как часто разные слова занимали третье место, и таким образом вы можете предсказать следующий символ, и это то, на что, по мнению большинства людей, похоже автозаполнение. Это уже совсем не так. Чтобы предсказать следующий символ, вы должны понимать, что было сказано, поэтому, я думаю, вы заставляете его понимать, вынуждая его предсказывать следующий символ, и я думаю, что оно понимает во многом так же, как и мы. Многие скажут вам, что эти штуки не такие как мы, они просто предсказывают следующий символ, они рассуждают не так, как мы, но на самом деле, чтобы предсказать следующий символ, нужно провести некоторые рассуждения, и теперь мы убедились, что если вы создаете большие модели, не добавляя никаких специальных средств для рассуждения, они всё же могут делать некоторые умозаключения, и я думаю, что по мере того, как вы будете их увеличивать, они смогут делать все больше и больше умозаключений.
Что такое язык?Как вы думаете, человеческий мозг эволюционировал, чтобы хорошо работать с языком, или вы считаете, что язык эволюционировал, чтобы хорошо работать с человеческим мозгом?Я думаю, что вопрос о том, эволюционировал ли язык для работы с мозгом или эволюционировал ли мозг для работы с языком, я думаю, это очень хороший вопрос. Думаю, что произошло и то, и другое. Раньше я считал, что мы можем совершать большую часть когнитивной работы, вообще не прибегая к языку, но теперь я немного изменил свое мнение, поэтому позвольте мне изложить вам три разных взгляда на язык и на то, как он соотносится с познанием. Существует старомодный символический взгляд, согласно которому познание заключается в использовании цепочек символов на каком-то очищенном логическом языке, где нет двусмысленности, и применении правил вывода, и это и есть познание, это просто символические манипуляции с вещами, которые похожи на цепочки языковых символов. Итак, это одна из крайних точек зрения. Противоположная точка зрения - нет, нет, как только вы проникнете в голову, там будут одни лишь векторы. Поступают символы, вы преобразуете эти символы в большие векторы, и все, что находится внутри, выполняется с помощью больших векторов, а затем, если вы хотите получить выходные данные, вы снова создаете символы. Примерно в 2014 году в машинном переводе наступил момент, когда люди начали использовать рекуррентные нейронные сети: в них поступают слова, у них есть скрытое состояние, и они продолжают накапливать информацию в этом скрытом состоянии, поэтому, когда они доходят до конца предложения, у них появляется большой скрытый вектор, который фиксирует значение этого предложения, который затем может быть использован для создания предложения на другом языке, который называется вектором мысли. И это своего рода второй взгляд на язык: вы превращаете язык в большой вектор, который совсем не похож на язык, и в этом суть когнитивных процессов. Но есть и третья точка зрения, которой я придерживаюсь сейчас, которая заключается в том, что вы берете эти символы и преобразуете их в эмбеддинги, используя несколько слоев, чтобы получить очень вместительные эмбеддинги. Но эмбеддинги по-прежнему привязаны к символам в том смысле, что у вас есть большой вектор для этого символа и большой вектор для того символа, и эти векторы взаимодействуют, создавая вектор для символа следующего слова, и это и есть понимание. Понимание - это знание того, как преобразовать символы в эти векторы и как элементы вектора должны взаимодействовать, чтобы предсказать вектор для следующего символа. Вот что такое понимание как в этих больших языковых моделях, так и в нашем мозге. И это пример, который находится как бы посередине: вы остаетесь с символами, но интерпретируете их как большие векторы, и в этом заключается вся работа. И все знания заключаются в том, какие векторы вы используете и как элементы этих векторов взаимодействуют, а не в символических правилах. Но это не значит, что вы полностью отказываетесь от символов, это значит, что вы превращаете символы в большие векторы, но остаетесь при этом с поверхностной структурой символов. И вот как работают эти модели, и это кажется мне более правдоподобной моделью человеческого мышления.
От себя могу сказать, что, посмотрев видео про работу трансформеров, склонен с ним согласиться. Чем поиск координат вектора в семантическом пространстве языковой модели принципиально отличается от поиска истинного смысла слова или смысла текста в человеческом мозге?
Получается, что понимание и сознание - вещи совершенно необязательно связанные между собой, просто ещё один антропоморфизм.
Отличается хотябы тем что текст не существует в мозге. Вообще никак.
Эти вещи жестко связанные. Попробуйте что-нибудь понять находясь в бессознательном состоянии.
Может быть. Тогда это второй вариант того, о чём он говорит.
Жёстко связанные у человека.
Попробуйте что-нибудь понять находясь в бессознательном состоянии.
Векторы? И вообще, это он про механику познания пытается рассказать в трех вариантах. Когда он говорит это похоже на цитата "символические манипуляции с вещами, которые похожи на цепочки языковых символов" Прям по фрейду. Манипуляции, одним словом. Сам не в курсе, но ведь похоже и никто не проверит.
Цитата: Olweg от 27 Мая 2024 [17:00:52]Жёстко связанные у человека.У рыбок тоже.
А что не так с векторами? Почему в человеческом мозгу так не может работать? Причём семантическое пространство, пространство смыслов можно построить не только из слов, но и, например, из картинок. Объекты той или иной категории будут располагаться в нём в одной области.
Кстати, тут прочитал, что достаточно большие модели вполне умеют обучаться с одного раза. Это так называемое обучение без примера, zero-shot learning (есть ещё one-shot и few-shot learning, с одной или несколькими подсказками). Хорошо предобученная сеть уже «понимает», в какие категории попадают объекты на картинке, а если дать подсказку, запомнит название этих объектов.
Согласен, в основе мышление невербально, но у человека всё-таки речь оказывает на мышление сильное воздействие, поэтому у людей всё не так однозначно.
Текст он только в мозге и существует, как и вся прочая субъективная реальность.
Приведу пример....как то собирал клюкву на болоте, увидел кочку просто усыпанную крупными ягодами. Уже потянул руки чтобы собирать... Далее мой организм совершенно безсознательно отошел от кочки на метр, и только тогда я увидел что на кочке лежит змея. Мое сознание было настолько сконцентрировано на ягодах что змеи я просто не заметил. А мое бессознательное прекрасно все понимало и правильно отреагировало. Так что в чуйке, интуиции, бессознательном понимание прекрасно работает...Я уже молчу про опыты с расщепленном мозгом, там доказательной базы про понимание в обход сознания вообще полно.
Так что в чуйке, интуиции, бессознательном понимание
Лингвистика это одно, в ней есть и семантика и другие области. Реальные нейросети это совсем про другое.
А что разве могло быть по другому?
В чем достижение то?
Про сознание говорили. Медицинский темин если что. У рыбки примитивная обработка входящих сигналов. Это значит, что она мало информации из них извлекает. Но например, себя она может узнать по изображению.
Если любая искусственная система не может даже этого, значит слово интеллект в её названии лишнее.
Текст как раз объективная реальность!
Объективная реальность – это плоские листы целлюлозы, на которых нанесены черные пятнышки сложной формы.
Это будет "текст"?
Зависит от интерпретатора.
Цитата: vika vorobyeva от 28 Мая 2024 [12:01:41]Объективная реальность – это плоские листы целлюлозы, на которых нанесены черные пятнышки сложной формы.Попробуйте посадить обезьяну за пишущую машинку, и она вам произведёт именно такую "объективную реальность". Это будет "текст"?
С точки зрения объективной реальности текст, настуканный обезьяной, и текст, например, Л.Н.Толстого ничем отличаться не будут. Точнее, слегка будут отличаться формой пятнышек типографской краски. На мой взгляд, это очевидно.
С учетом этого, наличие осмысленного содержания в случайном наборе символов принципиально невыявляемо.
Автор
Тема: Пределы автоматизации и внедрения роботов (Прочитано 226879 раз)
