Войти в мой кабинет
Регистрация
ГОТОВЫЕ РАБОТЫ / РЕФЕРАТ, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

Информационный смысл энтропии

cool_lady 140 руб. КУПИТЬ ЭТУ РАБОТУ
Страниц: 14 Заказ написания работы может стоить дешевле
Оригинальность: неизвестно После покупки вы можете повысить уникальность этой работы до 80-100% с помощью сервиса
Размещено: 03.02.2021
Данная тема актуальна, так как трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента первого рождения всего лишь “интегралом Клаузиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клаузиузус, первым же положил начало применению введенного им для, казалось бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях. Термин “информация” замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Это приводило и приводит ко многим недоразумениям/ Данную тему опишем с помощью следующих методов: синтеза, анализа, индукции, дедукции, сравнения и расчетного метода.
Введение

Ресурсом работы является энтропия и информации. Целью этой работы является изучение энтропии, информация и применения данных понятий с рискам. Данная поставленная цель ставит решение следующих задач: рассмотрения энтропии, статистического смысла этой понятия, энтропии как меры и степени неопределенности, понятия об информации применения, теоремы Шеннона о кодировании при наличии помех, использование энтропии в прогнозировании и применения энтропии к рискам.
Содержание

Введение §1. Понятие энтропии. Энтропия как мера степени неопределенности §2. Понятие об информации. Измерение информации §3. Теорема Шеннона о кодировании при наличии помех §4. Пример использования энтропии в прогнозировании и ее значение для прогнозирования. Применение к рискам Заключение Список использованной литературы
Список литературы

1. Дмитриев В.Н. Прикладная теория информации. М: Высшая школа,1989. 2. Колмогоров А.Н. Теория информации и теория алгоритмов.М:Наука,1987. 3. Колмогоров А.Н . Три подхода к определению понятия “количество информации” // Проблемы передачи информации. 1965. Т.1. №1. 4.Р.Л.Стратонович, М.С.Полякова, Элементы молек. физ., термодин. и стат. физ., 1981, §25; 5.Д.И.Нагирнер, Кв.мех. и стат. физ. для астр., 2004, с.200.
Отрывок из работы

§1. Понятие энтропии. Статистический смысл понятия энтропии. Энтропия как мера степени неопределенности Энтропия (от греч. entropia - поворот, превращение) - мера неупорядоченности больших систем. Впервые понятие "энтропия" введено в XIX в. в результате анализа работы тепловых машин, где энтропия характеризует ту часть энергии, которая рассеивается в пространстве, не совершая полезной работы (отсюда определение: энтропия - мера обесценивания энергии Однако распространение на всю Вселенную законов, установленных для закрытых систем, не имеет убедительных научных оснований. В XX в. понятие " энтропия " оказалось плодотворным для исследования биосистем, а также процессов передачи и обработки информации. Это служит важным руководящим принципом и при разработке современных технологических процессов, при проектировании технических систем. Количественная мера информации формально совпадает с "отрицательно определенной " энтропией. Но глубокое понимание соответствия энтропии физической и информационной остается одной из кардинальных недостаточно исследованных проблем современной науки. Ее решение послужит одним из важных факторов становления нового научно-технического мышления. Теория информации возникла для описания передачи и приёма сообщений в процессе деятельности человека. Во всех её задачах присутствуют понятия передатчика и приёмника, сигнала-сообщения, событий и их вероятностей. Существование цели передачи информации в теории информации выражается тем, что вводится понятие известного заданного события. Для него может быть определена вероятность р0 наступления до приёма сообщения и р1 после приёма. Существование неопределённости связано с участием вероятностей в осуществлении событий. Устранение неопределённости есть увеличение вероятности наступления того, что задано как цель. Поэтому вероятности должны участвовать в математической При математическом описании неопределённости (например способом Хартли) в случае равновероятных результатов можно перейти от их числа n к обратной величине - вероятности р одного из них. В терминах связи конкретно говорят о вероятности переданного сообщения р0 у приёмника до приёма сообщения. Устранение неопределённости выражается тем, что вероятность переданного сообщения у приёмника после приёма сигнала возрастает и становится р1 . Тогда количественная мера s полученной информации (устранённой неопределённости) выражается логарифмом отношения вероятностей: Оно равноправно по отношению к любому конкретному сообщению и имеет разную величину в зависимости от величин р0 и р1 для него. В частном случае, когда при передаче полностью отсутствую шумы и сбои, искажающие сигнал, вероятность р0 равна единице. Недостаток этого определения в том, что оно справедливо в приближении равновероятности всех исходов. Это выполняется далеко не всегда. В пределе в этом определении невероятному исходу приравнивается неизбежный. В 1948 г. это исправил К. Шеннон, который определил в качестве меры неопределённости выражение: где есть вероятности отдельных исходов. Он предложил называть эту величину "энтропией", не поясняя связей и различий этого термина с общеизвестой энтропией в физике. Знак минус в предыдущей формуле отражает тот факт, что вероятности всегда меньше единицы, а энтропия знакопостоянная функция, для которой привычно задан положительный знак. Определение Шеннона сокращённо зависывают в виде: , подразумевая как очевидное, что признаки (аргументы), по отношению к которым определены события и их вероятности, могут быть существенно разными, а в эта формула (суммирование в ней) справедлива только для однородных признаков. §2. Понятие об информации. Измерение информации Понятие информации (informatio - разъяснение, осведомление, изложение) является одним из основных, ключевых понятий не только в информатике (в информологии - области знаний, изучающей проявление информации, её представление, измерение и т.д.), но и в математике, в физике и др. Понятие “информация” - плохо формализуемое и структурируемое понятие. В силу его всеобщности, объёмности, расплывчатости оно часто понимается неточно и неполно не только обучаемыми. Как правило, это понятие в курсе информатики не определяется, принимается как исходное базовое понятие, неопределяемый терм. Информация трактуется по разному, например, как: • любая сущность, которая вызывает изменения в некоторой информационно-логической (инфологической - состоящей из данных, знаний, абстракций и т.д.) модели системы (математика, системный анализ); • сообщения, полученные системой от внешнего мира в процессе адаптивного управления, приспособления (теория управления, кибернетика); • отрицание энтропии, отражение меры хаоса в системе (термодинамика); • связи, устраняющие неопределённость в системе (теория информации); • отражение материи, атрибут сознания, “интеллекта” системы (философия). Но существует более полное понятие. Информация - это некоторая последовательность (налицо упорядоченность) сведений, знаний, которые актуализируемы (получаемы, передаваемы, преобразуемы, сжимаемы или регистрируемы) с помощью некоторых знаков (символьного, образного, жестового, звукового, сенсомоторного типа). Это приращение, развитие, актуализация знаний, возникающее в процессе целеполагающей интеллектуальной деятельности человека. Никакая информация, никакое знание не появляется сразу - этому предшествует этап накопления, осмысления, систематизации опытных данных, взглядов. Знание - продукт такого процесса. Мышление - необходимый атрибут такого процесса. Информация может оказаться и вредной, влияющей негативно на сознание, например, воспитывающей восприятие мира от безразличного или же некритического - до негативного, "обозлённого", неадекватного. Информационный поток - достаточно сильный раздражитель. Пример. Негативной информацией - раздражителем может быть информация о крахе коммерческого банка, о резком росте (спаде) валютного курса, об изменении налоговой политики и др. Если рассматривается система, которая может принимать одно из n возможных состояний, то актуальна задача оценки такого выбора, исхода. Такой оценкой может стать мера информации (или события). Мера - это некоторая непрерывная действительная неотрицательная функция, определённая на множестве событий и являющаяся аддитивной т.е. мера конечного объединения событий (множеств) равна сумме мер каждого события. 1. Мера Р. Хартли . Пусть имеется N состояний системы S или N опытов с различными, равновозможными последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определённой длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это возможно или мера разнообразия множества состояний системы задаётся формулой Р. Хартли: H=k log а N, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры. Если измерение ведётся в экспоненциальной системе, то k=1, H=lnN (нат); если измерение - в двоичной системе, то k=1/ln2, H=log2 N (бит); если измерение - в десятичной системе, то k=1/ln10, H=lgN (дит). Формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы (качества информации, содержащейся в системе, в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная положительная сторона этой формулы. Но имеется и основная отрицательная сторона: формула не учитывает различимость и различность рассматриваемых N состояний системы. Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы. 2.Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла: n I = — a pi log2 pi , i=1 где n - число состояний системы; рi – вероятность (или относительная частота) перехода системы в i-ое состояние, причем сумма всех pi равна 1. Если все состояния равновероятны (т.е. рi =1 /n), то I=log2 n. К. Шенноном доказана теорема о единственности меры количества информации. Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли. Справедливость и достаточная универсальность формул Хартли и Шеннона подтверждается и данными нейропсихологии. Пример. Время t реакции испытуемого на выбор предмета из имеющихся N предметов линейно зависит от log2N: t=200+180log2 N (мс). По аналогичному закону изменяется и время передачи информации в живом организме. В частности, один из опытов по определению психофизиологических реакций человека состоял в том, что перед испытуемым большое количество раз зажигалась одна из n лампочек, которую он должен указать. Оказалось, что среднее время, необходимое для правильного ответа испытуемого, пропорционально не числу n лампочек, а именно величине I определяемой по формуле Шеннона, где pi - вероятность зажечь лампочку номер i.
Не смогли найти подходящую работу?
Вы можете заказать учебную работу от 100 рублей у наших авторов.
Оформите заказ и авторы начнут откликаться уже через 5 мин!
Похожие работы
Реферат, Информационные технологии, 22 страницы
220 руб.
Реферат, Информационные технологии, 8 страниц
250 руб.
Реферат, Информационные технологии, 14 страниц
300 руб.
Реферат, Информационные технологии, 14 страниц
300 руб.
Реферат, Информационные технологии, 12 страниц
200 руб.
Служба поддержки сервиса
+7(499)346-70-08
Принимаем к оплате
Способы оплаты
© «Препод24»

Все права защищены

Разработка движка сайта

/slider/1.jpg /slider/2.jpg /slider/3.jpg /slider/4.jpg /slider/5.jpg