уровень где рассматриваются внутренние свойства сообщений отношения между знаками

Мера информации синтаксического уровня

Рис. 2.1. Этапы обращения информации

Сбор информации- процесс идентификации и получения информации от различных источников и представление в форме необходимой для дальнейшей передачи и обработки или регистрации.

Под передачей данных понимают процесс перемещения, пересылку данных от источника к приемнику. Схема передачи информации включает в себя передатчик, канал связи и приемник. Для передачи сообщения используют физический процесс (звуковая волна, электрический ток, световой поток, магнитное поле и.т.д.).

Регистрацией называется запись информации на носитель в целях ее сохранения и последующего использования.

Поиском информации называют совокупность операций, методов и процедур, результатом выполнения которых является отбор данных, хранящихся в запоминающем устройстве по заданной теме или запросу.

Отображение и вывод информации изЭВМ- визуальное представление выводимых данных, вывод в форме речи или звуков.

Под информационной технологией понимают совокупность методов, производственных и программно-технологических средств, объединенных в технологическую цепочку, обеспечивающую сбор, хранение, обработку, вывод и распространение информации.

Понятие информатики

Термин «информатика» (computer science) обозначает совокупность научных направлений, изучающих информацию, информационные процессы в природе, обществе, технике, формализацию и моделирование как методы познания, способы представления, накопления, обработки и передачи информации с помощью технических средств. Информатика стала развиваться с середины нашего столетия, когда появились специальные устройства — компьютеры, ориентированные на хранение и преобразование информации, и произошла компьютерная революция.

В информатике можно выделить восемь основных направлений:

кибернетика;

информатика в обществе;

информатика в природе.

Основные направлениями информатики являются теория информации; разработка новых аппаратных средств (hardware); разработка программного обеспечения (software); языки программирования; компьютерные сети; робототехнические средства и системы искусственного интеллекта.

Материальной и технологической базой развития современного общества стали различного рода системы на базе компьютерной техники и компьютерных сетей, информационные технологии, телекоммуникационные системы.

Как наука, информатика изучает общие закономерности, свойственные информационным процессам (в самом широком смысле этого понятия). Когда разрабатываются новые носители информации, каналы связи, приемы кодирования, визуального отображения информации и многое другое, конкретная природа этой информации почти не имеет значения. Для разработчика системы управления базами данных (СУБД) важны общие принципы организации и эффективность поиска данных, а не то, какие конкретно данные будут затем заложены в базу многочисленными пользователями. Эти общие закономерности есть предмет информатики как науки.

Объектом приложений информатики являются самые различные науки и области практической деятельности, для которых она стала непрерывным источником самых современных технологий, называемых часто «новые информационные технологии» (НИТ). Многообразные информационные технологии, функционирующие в разных видах человеческой деятельности (управлении производственным процессом, проектировании, финансовых операциях, образовании и т.п.), имея общие черты, в то же время существенно различаются между собой.

Характеристики, меры и единицы измерения информации

Сообщения как совокупность знаков с точки зрения семиотики изучается на трех уровнях:

синтаксический уровень, где рассматриваются отношения между знаками;

семантический уровень, где анализируется отношения между знаками и обозначаемыми ими предметами;

прагматический уровень, где рассматриваются отношения между знаками и получателем сообщений.

Мера информации синтаксического уровня

Количественная мера оценки информации этого уровня не связана со смыслом информации, ее содержанием. Для измерения информации на синтаксическом уровне используют характеристики объема и количества информации.

Рассмотрим понятие объема информации. Пусть задан алфавит, включающий множество символов, каждый из которых занимает в памяти объем равный u и, допустим, что информация содержится в сообщении, состоящим из Nсимволов. Тогда объем информации сообщения можно определить, используя выражение:

V=N×u (единица объема).

Под количеством информации понимают меру снятия неопределенности ситуации при получении сообщения.

Хартли в 1928 году предложил степень неопределенности ситуации с N исходами характеризовать числом: log N. Если в результате получения сообщения количество исходов ситуации уменьшается до M, то количество информации в полученном сообщении определяется выражением:

где H₀ = log N ¾неопределенность ситуации x до получения сообщенияy, H₁ = log M ¾неопределенность ситуации, оставшаяся после получения сообщения.

Для определения количества информации, содержащегося в сообщении, необходимо выполнить следующие действия:

2. Найти M — количество исходов ситуации после получения сообщения;

3. Воспользоваться выражением (1) и найти количество информации, содержащиеся в сообщении.

I =log 2 ¾ log 1 =1 бит.

Применяемые единицы измерения количества информации приведены в таблице 1.

Рассмотрим пример определения количества информации содержащегося в сообщении.

Обозначим через x, y и z количество автомобилей черного, серого и белого цвета. Тогда в княжестве имеется x + y + z автомобилей.

Степень неопределенности при попадании одного автомобиля в аварию равна:

Степень неопределенности при попадании в аварию автомобиля не черного цвета (серого и белого автомобиля) равна:

Количество информации, содержащиеся в сообщении «В аварию попал автомобиль не черного цвета», равно:

Степень неопределенности при попадании в аварию серого автомобиля равна:

Количество информации, содержащиеся в сообщении «В аварию попал серый автомобиль», равно:

Предположим, что x + y + z = 8, а y+ z = 5 (3). Тогда из (2) находим y:

Тогда из (3) можно найтиz:

Степень неопределенности при попадании в аварию белого автомобиля равна:

Количество информации, содержащиеся в сообщении «В аварию попал белый автомобиль», равно:

Источник

Меры и единицы количества и объема информации

При реализации информационных процессов всегда происходит перенос информации в пространстве и времени от источника информации к приемнику (получателю). При этом для передачи информации используют различные знаки или символы, например естественного или искусственного (формального) языка, позволяющие выразить ее в некоторой форме, называемой сообщением.

Сообщение – форма представления информации в виде совокупности знаков (символов), используемая для передачи.

Сообщение как совокупность знаков с точки зрения семиотики (от греч. setneion — знак, признак) – науки, занимающейся исследованием свойств знаков и знаковых систем, — может изучаться на трех уровнях:

1) синтаксическом, где рассматриваются внутренние свойства сообщений, т. е. отношения между знаками, отражающие структуру данной знаковой системы. Внешние свойства изучают на семантическом и прагматическом уровнях. На этом уровне рассматривают проблемы доставки получателю сообщений как совокупности знаков, учитывая при этом тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т. п., полностью абстрагируясь от смыслового содержания сообщений и их целевого предназначения. На этом уровне информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, так как смысловая сторона при этом не имеет значения.

Современная теория информации исследует в основном проблемы именно этого уровня. Она опирается на понятие «количество информации», являющееся мерой частоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с этим иногда говорят, что современная теория информации находится на синтаксическом уровне.

2) семантическом, где анализируются отношения между знаками и обозначаемыми ими предметами, действиями, качествами, т. е. смысловое содержание сообщения, его отношение к источнику информации. Проблемы семантического уровня связаны с формализацией и учетом смысла передаваемой информации, определения степени соответствия образа объекта и самого объекта. На данном уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи, формируются понятия и представления, выявляется смысл, содержание информации, осуществляется ее обобщение.

3) прагматическом, где рассматриваются отношения между сообщением и получателем, т. е. потребительское содержание сообщения, его отношение к получателю.

На этом уровне интересуют последствия от получения и использования данной информации потребителем. Проблемы этого уровня связаны с определением ценности и полезности использования информации при выработке потребителем решения для достижения своей цели. Основная сложность здесь состоит в том, что ценность, полезность информации может быть совершенно различной для различных получателей и, кроме того, она зависит от ряда факторов, таких, например, как своевременность ее доставки и использования.

Для каждого из рассмотренных выше уровней проблем передачи информации существуют свои подходы к измерению количества информации и свои меры информации. Различают соответственно меры информации синтаксического уровня, семантического уроня и прагматического уровня.

Меры информации синтаксического уровня. Количественная оценка информации этого уровня не связана с содержательной стороной информации, а оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. В связи с этим данная мера дает возможность оценки информационных потоков в таких разных по своей природе объектах, как системы связи, вычислительные машины, системы управления, нервная система живого организма и т. п.

Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации (данных) – V_д (объемный подход) и количество информации – I (энтропийный подход).

Объем информацииV_д (объемный подход). При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита. При этом каждый новый символ в сообщении увеличивает количество информации, представленной последовательностью символов данного алфавита. Если теперь количество информации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) V_д в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении. Так как одна и та же информация может быть представлена многими разными способами (с использованием разных алфавитов), то и единица измерения информации (данных) соответственно будет меняться.

Так, в десятичной системе счисления один разряд имеет вес, равный 10, и соответственно единицей измерения информации будет дит (десятичный разряд). В этом случае сообщение в виде п-разрядного числа имеет объем данных V_д = п дит. Например, четырехразрядное число 2009 имеет объем данных V_д = 4 дит.

В двоичной системе счисления один разряд имеет вес, равный 2, и соответственно единицей измерения информации будет бит (bit (binary digit) – двоичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем данных V_д = п бит. Например, восьмиразрядный двоичный код 11001011 имеет объем данных V_д = 8 бит.

В современной вычислительной технике наряду с минимальной единицей измерения данных бит широко используется укрупненная единица измерения байт, равная 8 бит. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8 ).

При работе с большими объемами информации для подсчета ее количества применяют более крупные единицы измерения:

1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт = 1 048 576 байт;

1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт = 1 073 741 824 байт;

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт = 1 099 511 627 776 байт;

1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт = 1 125 899 906 842 624 байт.

Следует обратить внимание, что в системе измерения двоичной (компьютерной) информации, в отличие от метрической системы, единицы с приставками «кило», «мега» и т. д. получаются путем умножения основной единицы не на 10 3 = 1000, 10 6 = 1 000 000 и т. д., а на 2 10 = 1024, 2 20 = 1 048 576 и т. д.

Количество информации I (энтропийный подход). В теории информации и кодирования принят энтропийный подход к измерению информации. Этот подход основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого, количество информации в сообщении определяется как мера уменьшения неопределенности состояния данной системы после получения сообщения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т.д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н, а количество информации равно:

где, H_apr – априорная энтропия о состоянии исследуемой системы или процесса;

H_aps – апостериорная энтропия.

Апостериори (от лат. a posteriori – из последующего) – происходящее из опыта (испытания, измерения).

Априори (от лат. a priori – из предшествующего) – понятие, характеризующее знание, предшествующее опыту (испытанию), и независимое от него.

В случае, когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т. е. Н = 0), количество полученной информации совпадает с первоначальной энтропией

Рассмотрим в качестве исследуемой системы дискретный источник информации (источник дискретных сообщений), под которым будем понимать физическую систему, имеющую конечное множество возможных состояний <а_i>, i = .

Отдельные состояния a₁, а₂. а_n называют буквами или символами алфавита.

Такая система может в каждый момент времени случайным образом принять одно из конечных множеств возможных состояний a_i. При этом говорят, что различные состояния реализуются вследствие выбора их источником.

Получатель информации (сообщения) имеет определенное представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от этих вероятностей, количество информации в сообщении определяется тем, насколько уменьшается мера неопределенности после получения сообщения.

Поясним эту идею на примере.

Пусть у нас имеется 32 различные карты. Возможность выбора одной карты из колоды – 32. До произведения выбора, естественно предложить, что шансы выбрать некоторую определенную карту, одинаковы для всех карт. Произведя выбор, мы устраняем эту неопределенность. При этом неопределенность можно охарактеризовать количеством возможных равновероятностных выборов. Если теперь определить количество информации как меру устранения неопределенности, то полученную в результате выбора информацию можно охарактеризовать числом 32. Однако удобнее использовать не само это число, а логарифм от полученной выше оценки по основанию 2:

где m – число возможных равновероятных выборов (При m=2, получим информацию в один бит). То есть в нашем случае

Изложенный подход принадлежит английскому математику Р. Хартли (1928 г.). Он имеет любопытную интерпретацию. Он характеризуется числом вопросов с ответами «да» или «нет», позволяющим определить, какую карту выбрал человек. Таких вопросов достаточно 5.

Если при выборе карты, возможность появления каждой карты не одинаковы (разновероятны), то получим статистический подход к измерению информации, предложенный К. Шенноном (1948 г.). В этом случае мера информации измеряется по формуле:

где p_i – вероятность выбора i-го символа алфавита.

Меры информации семантического уровня.Для измерения смыслового содержания информации, т. е. ее количества на семантическом уровне, наибольшее распространение получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Действительно, для понимания и использования полученной информации получатель должен обладать определенным запасом знаний. Полное незнание предмета не позволяет извлечь полезную информацию из принятого сообщения об этом предмете. По мере роста знаний о предмете растет и количество полезной информации, извлекаемой из сообщения.

Если назвать имеющиеся у получателя знания о данном предмете тезаурусом (т. е. неким сводом слов, понятий, названий объектов, связанных смысловыми связями), то количество информации, содержащееся в некотором сообщении, можно оценить степенью изменения индивидуального тезауруса под воздействием данного сообщения.

Тезаурус — совокупность сведений, которыми располагает пользователь или система.

Иными словами, количество семантической информации, извлекаемой получателем из поступающих сообщений, зависит от степени подготовленности его тезауруса для восприятия такой информации.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя S_p изменяется количество семантической информации I_с, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. 2.1. Рассмотрим два предельных случая, когда количество семантической информации I_с равно 0:

а) при S_p = 0 пользователь не воспринимает (не понимает) поступающую информацию;

б) при S —> ∞ пользователь «все знает», и поступающая информация ему не нужна.

Рис. 1.2. Зависимость количества семантической информации,

воспринимаемой потребителем, от его тезауруса I_c=f(S_p)

Максимальное количество семантической информации потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S_p (S = S_{p opt}), когда поступающая информация понятна пользователю и несет ему ранее неизвестные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного.

При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин S и Sp.

Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему:

Меры информации прагматического уровня.Эта мера определяет полезность информации для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.

Одним из первых российских ученых к проблеме оценки информации прагматического уровня обратился А.А. Харкевич, который предложил принять за меру ценности информации количество информации, необходимое для достижения поставленной цели, т. е. рассчитывать приращение вероятности достижения цели. Так, если до получения информации вероятность достижения цели равнялась р₀, а после ее получения – p₁ то ценность информации определяется как логарифм отношения p₁/p₀:

Таким образом, ценность информации при этом измеряется в единицах информации, в данном случае в битах.

Источник

Количество и качество информации. уровни проблем передачи информации

При реализации информационных процессов постоянно происходит перенос информации в пространстве и времени от источника информации к приемнику (получателю). Наряду с этим для передачи информации применяют разные символы либо знаки, к примеру естественного либо неестественного (формального) языка, разрешающие выразить ее в некоей форме, именуемой сообщением.

Сообщение — форма представления информации в виде совокупности знаков (знаков), применяемая для передачи.

Сообщение как совокупность знаков с позиций семиотики (от греч. semeion — символ, показатель) — науки, занимающейся изучением особенностей знаков и знаковых совокупностей, может изучаться на трех уровнях:

• синтаксическом, где рассматриваются внутренние особенности сообщений, т. е. отношения между символами, отражающие структуру данной знаковой совокупности. Внешние особенности изучают на семантическом и прагматическом уровнях;

• семантическом, где анализируются отношения между символами и обозначаемыми ими предметами, действиями, качествами, т. е. смысловое содержание сообщения, его отношение к источнику информации;

• прагматическом, где рассматриваются отношения между получателем и сообщением, т. е. потребительское содержание сообщения, его отношение к получателю.

Так, учитывая определенную связь неприятностей передачи информации с уровнями изучения знаковых совокупностей, их разделяют на три уровня: синтаксический, семантический и прагматический.

Проблемысинтаксического уровнякасаются создания теоретических баз построения информационных совокупностей, главные показатели функционирования которых были бы близки к предельно вероятным, и совершенствования существующих совокупностей с целью увеличения эффективности их применения. Это чисто технические неприятности совершенствования способов передачи сообщений и их материальных носителей — сигналов. На этом уровне разглядывают неприятности доставки получателю сообщений как совокупности знаков, учитывая наряду с этим способ представления и тип носителя информации, обработки и скорость передачи, размеры кодов представления информации, точность и надёжность преобразования этих кодов и т.п., всецело абстрагируясь от смыслового содержания сообщений и их целевого назначения. На этом уровне данные, разглядываемую лишь с синтаксических позиций, в большинстве случаев именуют данными, поскольку смысловая сторона наряду с этим не имеет значения.

Современная теория информации исследует по большей части неприятности как раз этого уровня. Она опирается на понятие «количество информации», являющееся мерой частоты потребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. Вследствие этого время от времени говорят, что теория информации находится на синтаксическом уровне.

Неприятности семантического уровнясвязаны с учётом и формализацией смысла передаваемой информации, определения степени самого образа объекта и соответствия объекта. На данном уровне анализируются те сведения, каковые отражает информация, рассматриваются смысловые связи, формируются представления и понятия, выявляется суть, содержание информации, осуществляется ее обобщение.

Неприятности этого уровня очень сложны, поскольку смысловое содержание информации больше зависит от получателя, чем от семантики сообщения, представленного на каком-либо языке. На прагматическом уровнеинтересуют последствия от использования и получения данной информации потребителем. Неприятности этого уровня связаны с определением полезности и ценности применения информации при выработке потребителем ответа с целью достижения собственной цели. Главная сложность тут пребывает в том, что сокровище, полезность информации возможно совсем разной для разных получателей и, помимо этого, она зависит от последовательности факторов, таких, к примеру, как своевременность ее использования и доставки. Высокие требования в отношении скорости доставки информации довольно часто диктуются тем, что управляющие действия должны осуществляться в настоящем масштабе времени, т.е. со скоростью трансформации состояния управляемых объектов либо процессов. Задержки в доставке либо применении информации смогут иметь катастрофические последствия.

ПОВЫСИТЬ ЭФФЕКТИВНОСТЬ ОБУЧЕНИЯ. Как обучаться стремительнее и качественнее?

Источник