Два джентльмена в одном сарае или стагнация НТП?

[postoronim]

Скорее не средства, а физического явления в Природе.

А как же это пресловутое колебание "струн"?

[pppppppo_98]

>Никаких помехоустйчивых кодов Шеннон не придумывал - не царское это дело.

Да он доказал теорему о существовании корректирующих кодов в 44, а в 47 Хамминг подобный код изобрел.


>любое сообщение по-определению вероятностное, иначе нафига его вообще передавать.

кроме вероятностной природы передатчика , есть еще вероятностная природа искажения передаваемого сообщения средой передачи - вот  об этой второй ,а не о первой вероятности мы вроде как бы разговаривали

[andy gontchev]

...корректирующих кодов в 44, а в 47 Хамминг подобный код изобрел.

Что-то я не припомню у Клода такой теоремы...


кроме вероятностной природы передатчика , есть еще вероятностная природа искажения передаваемого сообщения средой передачи - вот  об этой второй ,а не о первой вероятности мы вроде как бы разговаривали

Безусловно...
Прим. "среду передачи" принято называть "направляющей системой"

[bob]

кроме вероятностной природы передатчика , есть еще вероятностная природа искажения передаваемого сообщения средой передачи - вот  об этой второй ,а не о первой вероятности мы вроде как бы разговаривали

Шеннон не подозревал ещё об одной забавной детали. Если эталонный приёмник и эталонный передатчик развести по сторонам большого пространственно-временного интервала, то помехи гарантированного приёма через идеальный вакуум будут нарастать примерно пропорционально интервалу за счёт повреждения приёмного эталона ростом энтропии, относительно точки разведения. Рано или поздно, при превышении порогового значения, достоверно принятый эталонным приёмником сигнал невозможно будет интерпретировать никаким способом. То есть, мы будем нечто наблюдать, но интерпретировать наблюдение не сможем по фундаментальным причинам.

[andy gontchev]

Шеннон не подозревал ещё об одной забавной детали. Если эталонный приёмник и эталонный передатчик развести по сторонам большого пространственно-временного интервала, то помехи гарантированного приёма через идеальный вакуум будут нарастать примерно пропорционально интервалу за счёт повреждения приёмного эталона ростом энтропии, относительно точки разведения

У Шеннон вообще нет понятий "эталонных", т.к. все его теоремы - математические. Понятие "передатчик" он не использовал, равно как и  "прииемник": есть решающее устройство. И с чего вдруг будет расти энтропия?

[pppppppo_98]

>Что-то я не припомню у Клода такой теоремы...

If the correction channel has a capacity equal to H_y(x) it is possible to so encode the correction data as to send it over this channel and correct all but an arbitrarily small fraction of the errors.This is not possible if the channel capacity is less than H_y(x) 

[pppppppo_98]

>Понятие "передатчик" он не использовал, равно как и  "прииемник": есть решающее устройство.

В каком смысле не использовал, не рассматривал?

[andy gontchev]

В каком смысле не использовал, не рассматривал?

В "Математической Теории Связи" Шеннона есть "сообщение" - "канал" - "оптимальная фильтрация"-"решающее устройство". Передатчик/приемник - инжнерные железки, не математические понятия.
Так почему энтропия должна расти?

[andy gontchev]

"If the correction channel has a capacity equal to Hy(x)...."
Шеннон? ИХМО Хэмминг (хотя не уверен)

[pppppppo_98]

Шеннон? ИХМО Хэмминг (хотя не уверен)

Mathematical theory of communication, 1948....И там же есть transmitter, receiver

[andy gontchev]

Mathematical theory of communication, 1948....И там же есть transmitter, receiver

наверное мы с Вами читали разного Шеннона? я его публикации от 1943-45 годов
А вообще о чем спорим?

[pppppppo_98]

>Так почему энтропия должна расти?

Ващет надо задавть вопрос нужно утверждающему...Ну попробую за него - в сооответствии с 0 и  2 законом термодинамики - стстема стремится к термодинамическому равновесию, а все спонтанные процессы протекают с неуменьшением энтропии и только в бесконечно медленныых роцессах измененме энтропии равно 0...как-то вероятно так, поэтому эталоны всегда и деградируют

[andy gontchev]

>Так почему энтропия должна расти?

Ващет надо задавть вопрос нужно утверждающему...Ну попробую за него - в сооответствии с 0 и  2 законом термодинамики - стстема стремится к термодинамическому равновесию, а все спонтанные процессы протекают с неуменьшением энтропии и только в бесконечно медленныых роцессах измененме энтропии равно 0...как-то вероятно так, поэтому эталоны всегда и деградируют

Я и задал его Бобу.
Речь не о Втором Начале Термодинамики, а о росте информационной энтропии, которая "по Бобу" растет при увеличении протяженности канала связи (если я правильно понял его мысль)

[pppppppo_98]

>наверное мы с Вами читали разного Шеннона? я его публикации от 1943-45 годов

http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf


>А вообще о чем спорим?

О том, что любой процесс вычислений по принципиальным причинам на реальном оборудовании вероятностный...И только корректирующими цепями можно свести вероятность ошибки вычисления к практически приемлимой величине...Только почему-то многда инженеры об этом забывают ( после чего у них возгикает возникают идеи вычислений без выделения теплоты ну и т.д. и т.п.)

[pppppppo_98]

>Речь не о Втором Начале Термодинамики, а о росте информационной энтропии, которая "по Бобу" растет при увеличении протяженности канала связи (если я правильно понял его мысль)

Да нет речь то как раз идет об Втором начале . Эталон ведь тоже разрушается потихоньку - я так его понял

[andy gontchev]

О том, что любой процесс вычислений по принципиальным причинам на реальном оборудовании вероятностный...И только корректирующими цепями можно свести вероятность ошибки вычисления к практически приемлимой величине...Только почему-то многда инженеры об этом забывают ( после чего у них возгикает возникают идеи вычислений без выделения теплоты ну и т.д. и т.п.)

Это у меня не вызывает ни малейших сомнений, хотя споры о том, возможны ли ошибки на ВОЛС - до сих пор не утихают (хотя никто на исправном оборудовании их в принципе не видел, и без всякой избыточности, попрошу заметить).
Теплота будет выделяться всегда, хоть при помехоустойчивмм кодированием, хоть без, КПД=100% по-определентю не достижим (по указанным Вами выше причинам) при чем тут теория иформации и пр.?

[andy gontchev]

Да нет речь то как раз идет об Втором начале . Эталон ведь тоже разрушается потихоньку - я так его понял

Эталон разумеется деградирует, но что мешает его воссоздать? Он же из Природы берется, а ее законы вроде как незыблимы (как утверждает базисная парадигма)

[bob]

В "Математической Теории Связи" Шеннона есть "сообщение" - "канал" - "оптимальная фильтрация"-"решающее устройство". Передатчик/приемник - инжнерные железки, не математические понятия.

Так на практике работают железки, а не математические понятия. Математические понятия их должны хорошо описывать. Шеннон описывал только свойства модулированных сигналов. В изрядной идеализации. Поэтому его построения весьма неполны.

Так почему энтропия должна расти?

Потому что второе начало.

[andy gontchev]

Боб
Не скажите: работает именно математика в алгоритмах обработки, но не суть.
А при чем тут 2е Начало? Перетерали уже этот вопрос применительно к длительному хранению информации. Что мешает постоянно регенерировать без потерь?

[bob]

А при чем тут 2е Начало? Перетерали уже этот вопрос применительно к длительному хранению информации. Что мешает постоянно регенерировать без потерь?

Второе начало. Или Вы знаете волшебный механизм регенерации, способный работать без сбоев? Может быть даже прсле тепловой смерти, когда последний протон распадётся?