TIÊU CHUẨN QUỐC GIA TCVN 7563-16:2009 (ISO/IEC 2382-16:1996) VỀ CÔNG NGHỆ THÔNG TIN – TỪ VỰNG – PHẦN 16: LÝ THUYẾT THÔNG TIN

TIÊU CHUẨN QUỐC GIA

TCVN 7563-16:2009

ISO/IEC 2382-16:1996

CÔNG NGHỆ THÔNG TIN – TỪ VỰNG – PHẦN 16: LÝ THUYẾT THÔNG TIN

Information technology – Vocabulary – Part 16: Information theory

Lời nói đầu

TCVN 7563-16:2009 hoàn toàn tương đương với ISO/IEC 2382-16:1997.

TCVN 7563-16:2009 do Ban Kỹ thuật Tiêu chuẩn quốc gia TCVN/JTC 1 “Công nghệ thông tin” biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học và Công nghệ công bố.

 

CÔNG NGHỆ THÔNG TIN – TỪ VỰNG – PHẦN 16: LÝ THUYẾT THÔNG TIN

Information technology – Vocabulary – Part 16: Information theory

Mục 1: Khái quát

1.1. Phạm vi áp dụng

Tiêu chuẩn này nhằm tạo thuận lợi cho việc truyền thông quốc tế trong lý thuyết thông tin. Tiêu chuẩn trình bày bằng hai ngôn ngữ Việt-Anh các thuật ngữ và định nghĩa về những khái niệm được lựa chọn liên quan đến lĩnh vực công nghệ thông tin và xác định những quan hệ giữa các mục.

Để tạo thuận lợi cho việc dịch thuật sang các ngôn ngữ khác, các định nghĩa ở đây được biên soạn sao cho trong chừng mực có thể tránh khỏi mọi dị biệt của một ngôn ngữ.

Tiêu chuẩn này định nghĩa các khái niệm liên quan đến lý thuyết thông tin, thông điệp và truyền thông chúng các thuật ngữ đại lượng cơ bản và các thuật ngữ đại lượng dẫn xuất.

1.2. Tài liệu viện dẫn

ISO 31-0:1992, Đại lượng và đơn vị – Phần 0: Nguyên tắc chung.

ISO 1087:1990, Thuật ngữ – Từ vựng.

TCVN 7217-1:2002, Mã thể hiện tên nước và vùng lãnh thổ.

ISO 3534-1:1993, Thống kê – Từ vựng và ký hiệu – Phần 1: Xác suất và thuật ngữ thống kê chung.

IEC 27-3:1989, Ký hiệu chữ cái được sử dụng trong kỹ thuật điện – Phần 3: Đại lượng và đơn vị lôga.

IEC 50 (702):1992, Từ vựng kỹ thuật điện quốc tế – Chương 702: Dao động, tín hiệu và thiết bị liên quan.

1.3. Nguyên lý và quy tắc

1.3.1. Định nghĩa một mục

Mục 2 gồm một số mục. Mỗi mục gồm có một tập các phần tử cơ bản bao hàm một số hiệu chỉ mục, một thuật ngữ hoặc một vài thuật ngữ đồng nghĩa, và một mệnh đề định nghĩa một khái niệm. Thêm vào đó, một mục có thể bao hàm các ví dụ, chú thích hoặc minh họa nhằm tạo thuận lợi cho việc thông hiểu khái niệm.

Đôi khi, cùng một thuật ngữ có thể được định nghĩa trong các mục khác nhau, hoặc hai hoặc nhiều hơn hai khái niệm có thể được định nghĩa bởi một mục, như đã mô tả tương ứng trong 1.3.5 và 1.3.8.

Các thuật ngữ khác như từ vựng, khái niệm, thuật ngữ, và định nghĩa được sử dụng trong tiêu chuẩn này đã được định nghĩa trong ISO 1087.

1.3.2. Tổ chức của một mục

Mỗi mục bao gồm các phần tử cơ bản được định nghĩa trong 1.3.1 và các phần tử được bổ sung nếu cần thiết. Mục đó có thể bao gồm các phần tử dưới đây theo thứ tự như sau:

a) Số hiệu chỉ mục (chung cho mọi ngôn ngữ sử dụng khi công bố phần này của tiêu chuẩn);

b) Thuật ngữ hoặc thuật ngữ được ưu tiên chung trong ngôn ngữ. Sự vắng mặt của một thuật ngữ được ưu tiên chung cho khái niệm đó trong ngôn ngữ sử dụng sẽ ký hiệu bởi 5 chấm (…..); một dòng các chấm có thể dùng để chỉ báo một từ cần chọn cho mỗi trường hợp cụ thể trong một thuật ngữ;

c) Thuật ngữ được ưu tiên trong một quốc gia cụ thể (được xác định theo các quy tắc của TCVN 7217);

d) Viết tắt của thuật ngữ;

e) (Các) thuật ngữ đồng nghĩa được phép dùng;

f) Văn bản của định nghĩa (xem 1.3.4);

g) Một hoặc một số ví dụ với tiêu đề “VÍ DỤ”;

h) Một hoặc một số chú thích đặc tả các trường hợp riêng trong lĩnh vực ứng dụng các khái niệm với tiêu đề “CHÚ THÍCH”;

i) Một hình ảnh, một biểu đồ, hoặc một bảng có thể dùng chung cho vài mục.

1.3.3. Phân loại mục

Một chuỗi số gồm hai chữ số được ấn định cho mỗi phần của bộ tiêu chuẩn này, bắt đầu là 01 cho “Các thuật ngữ căn bản”.

Các mục được phân loại theo các nhóm, mỗi nhóm được ấn định một chuỗi số gồm 4 chữ số, trong đó hai chữ số đầu tiên dùng để chỉ phần của bộ tiêu chuẩn này.

Mỗi mục được ấn định một số chỉ mục gồm 6 chữ số, trong đó 4 chữ số đầu tiên dùng để chỉ phần của bộ tiêu chuẩn này và chỉ nhóm của mục. Những số trên được ấn định cho các hợp phần, các nhóm và các mục một cách giống nhau để các phiên bản của tiêu chuẩn này được nhất quán trong mọi ngôn ngữ sử dụng.

1.3.4. Lựa chọn các thuật ngữ và cách diễn đạt các định nghĩa

Việc lựa chọn các thuật ngữ và cách diễn đạt các định nghĩa, trong mức độ có thể, đã tuân theo cách sử dụng được thiết lập. Những nơi có mâu thuẫn đã được giải quyết thỏa thuận theo đa số phiếu bầu.

1.3.5. Đa nghĩa

Khi một thuật ngữ cho trước có nhiều nghĩa trong một ngôn ngữ làm việc, thì mỗi nghĩa được đưa vào một mục riêng nhằm tạo thuận lợi cho việc dịch thuật sang các ngôn ngữ khác.

1.3.6. Các viết tắt

Như đã nêu trong 1.3.2, các viết tắt hiện sử dụng chỉ được đặt ra cho một số thuật ngữ. Các viết tắt như vậy không được sử dụng trong văn bản của các định nghĩa, ví dụ hoặc chú thích.

1.3.7. Sử dụng dấu ngoặc đơn

Trong một số thuật ngữ, một hoặc nhiều từ in kiểu chữ đậm được đặt giữa các dấu ngoặc đơn. Những từ này là bộ phận của một thuật ngữ đầy đủ, nhưng có thể lược bỏ chúng khi sử dụng thuật ngữ rút gọn trong một ngữ cảnh kỹ thuật rõ ràng. Trong văn bản của một định nghĩa, ví dụ hoặc chú thích khác của tiêu chuẩn này, một thuật ngữ như vậy chỉ được sử dụng dưới dạng đầy đủ của nó.

Trong một số mục, các thuật ngữ được theo sau bởi các từ trong ngoặc đơn in với kiểu chữ thường. Những từ này không phải là bộ phận của một thuật ngữ nhưng nêu ra các hướng dẫn để sử dụng thuật ngữ đó, lĩnh vực áp dụng cụ thể hoặc dạng ngữ pháp của thuật ngữ đó.

1.3.8. Sử dụng dấu ngoặc vuông

Khi nhiều thuật ngữ có quan hệ mật thiết có thể được xác định bởi các văn bản chỉ khác nhau một vài từ, những thuật ngữ này và các định nghĩa của chúng sẽ được nhóm thành một mục đơn. Những từ cần thay thế để có các ý nghĩa khác nhau sẽ được đặt trong dấu ngoặc vuông, tức [ ], trong cùng thứ tự như trong thuật ngữ và trong định nghĩa đó. Để xác định rõ ràng các từ cần thay thế, từ cuối cùng mà theo quy tắc nói trên có thể đặt trước dấu ngoặc vuông mở, sẽ được đặt trong dấu ngoặc này ở chỗ bất kỳ có thể, và lặp lại đối với mỗi từ khác.

1.3.9. Sử dụng các thuật ngữ được in theo kiểu chữ nghiêng trong các định nghĩa và việc sử dụng dấu hoa thị

Một thuật ngữ in kiểu chữ nghiêng trong một định nghĩa, ví dụ, hoặc chú thích, sẽ được định nghĩa trong một mục khác thuộc tiêu chuẩn này, mà có thể trong một hợp phần khác. Tuy nhiên, thuật ngữ đó chỉ in kiểu chữ nghiêng khi xuất hiện lần đầu trong mỗi mục.

Kiểu chữ nghiêng cũng được sử dụng cho các dạng ngữ pháp khác của một thuật ngữ, ví dụ danh từ số nhiều và động tính từ.

Các dạng cơ sở của tất cả các thuật ngữ in kiểu chữ nghiêng tại tiêu chuẩn này được liệt kê trong bảng chỉ mục ở cuối tiêu chuẩn (xem 1.3.11).

Dấu hoa thị dùng để tách các thuật ngữ in kiểu chữ nghiêng khi có hai thuật ngữ như thế được tham chiếu trong các mục riêng và đi theo sát nhau (hoặc chỉ được tách bởi dấu ngữ pháp).

Các từ hoặc thuật ngữ in kiểu chữ thường sẽ được hiểu như đã xác định trong các từ điển hiện hành hoặc các bộ từ vựng kỹ thuật chính thức.

1.3.10. Chính tả

Trong phiên bản tiếng Anh của tiêu chuẩn này, các thuật ngữ, định nghĩa, ví dụ và chú thích đều đánh vần theo kiểu chính tả được ưu tiên ở Mỹ. Các kiểu chính tả khác cũng có thể được sử dụng mà không trái với tiêu chuẩn này.

1.3.11. Tổ chức chỉ mục theo thứ tự ABC

Trong mỗi ngôn ngữ sử dụng sẽ có một chỉ mục xếp theo thứ tự ABC ở cuối hợp phần. Chỉ mục này gồm mọi thuật ngữ được định nghĩa trong hợp phần. Những thuật ngữ đa từ sẽ xuất hiện theo thứ tự ABC dưới mỗi từ khóa của chúng.

Mục 2: Thuật ngữ và định nghĩa

16. Lý thuyết thông tin

16.01. Thuật ngữ chung

16.01.01. Lý thuyết thông tin

Ngành học liên quan tới các đơn vị đo định lượng thông tin.

16.01.02. Lý thuyết truyền thông

Nguyên tắc toán học đề cập đến các đặc tính xác suất của việc truyền thông điệp trong môi trường có tạp nhiễu và tạp âm khác.

16.01.03. Thông tin (trong lý thuyết thông tin)

Tri thức dùng để giảm bớt hoặc loại bỏ tính bất định về việc xuất hiện sự kiện cụ thể trong một tập các sự kiện có thể đã cho.

CHÚ THÍCH

– Trong lý thuyết thông tin, khái niệm “sự kiện” được hiểu giống như trong lý thuyết xác suất. Ví dụ, sự kiện có thể là:

– Sự có mặt của phần tử cụ thể trong một tập các phần tử đã cho;

– Sự xuất hiện của một ký tự hoặc một từ cụ thể trong một thông điệp đã cho hoặc tại một vị trí xác định của thông điệp;

– Bất kì một kết quả sai khác nào đó trong số những kết quả có thể xảy ra của một thí nghiệm.

16.02. Thông điệp và truyền thông điệp

16.02.01. Thông điệp (trong lý thuyết thông tin và lý thuyết truyền thông)

Trình tự có thứ tự các ký tự để truyền đạt thông tin.

16.02.02. Nguồn thông điệp

nguồn thông tin

Một phần của hệ thống truyền thông mà từ đó thông điệp được tạo ra.

16.02.03. Đích thông điệp

đích thông tin

Một phần của hệ thống truyền thông mà tại đó nhận thông điệp.

16.02.04. Kênh (trong lý thuyết truyền thông)

Một phần của hệ thống truyền thông để kết nối nguồn thông điệp và đích thông điệp.

CHÚ THÍCH 1: Có thể chèn thiết bị mã hóa (encoder) vào giữa nguồn thông điệp và đầu vào kênh, thiết bị giải mã (decoder) vào giữa đầu ra kênh và đích thông điệp. Thông thường, hai thiết bị này không được xem là thành phần của kênh. Tuy nhiên, trong những trường hợp cụ thể, chúng có thể được xem là thành phần của nguồn thông điệp và đích thông điệp.

CHÚ THÍCH 2 – Trong lý thuyết thông tin, theo Shannon, kênh có thể được định dạng bởi tập các xác suất có điều kiện của việc tất cả các thông điệp phát ra từ nguồn thông điệp đều được nhận được tại đích thông điệp.

16.02.05. Kênh nhị phân đối xứng

Kênh được thiết kế để truyền các thông điệp bao gồm các ký tự nhị phân và có thuộc tính là các xác suất có điều kiện của việc chuyển đổi bất kỳ một ký tự này thành một ký tự khác là như nhau.

16.02.06. Nguồn thông điệp ổn định

nguồn thông tin ổn định

Nguồn thông điệp mà xác suất xảy ra của mỗi thông điệp phát ra từ đó không phụ thuộc vào thời gian xảy ra của sự kiện.

16.03. Thuật ngữ định lượng cơ bản

16.03.01. Lượng quyết định

Loga số lượng các sự kiện trong một tập hữu hạn các sự kiện loại trừ lẫn nhau có ký hiệu toán học là:

H_o = log n

trong đó n là số lượng các sự kiện.

CHÚ THÍCH 1: CHÚ THÍCH ở điều 16.01.03 phù hợp với định nghĩa này.

CHÚ THÍCH 2: Cơ số của loga quyết định đơn vị được sử dụng.

Thông thường đơn vị được sử dụng là:

shannon (ký hiệu: Sh) cho loga cơ số 2,

đơn vị tự nhiên (ký hiệu: nat) cho loga cơ số e,

hartley (ký hiệu: Hart) cho loga cơ số 10.

Bảng chuyển đổi

1 Sh = 0,693 nat = 0,301 Hart

1 nat = 0,434 Hart

1 = 2,303 nat

CHÚ THÍCH 3: Lượng quyết định không phụ thuộc vào xác suất xảy ra của các sự kiện.

CHÚ THÍCH 4: Số lượng của quyết định cấp b cần lựa chọn một sự kiện cụ thể ra khỏi một tập hữu hạn các sự kiện loại trừ lẫn nhau có giá trị bằng với số nguyên nhỏ nhất, thỏa mãn lớn hơn hoặc bằng lượng quyết định được xác định bởi loga cơ số b. Điều này đúng khi b là một số nguyên.

VÍ DỤ: Cho {a,b,c} là một tập gồm 3 sự kiện. Lượng quyết định của nó là:

H_o = (Ib 3) Sh = 1,580 Sh

= (ln 3) nat = 1,098 nat

= (Ig 3) Hart = 0,477 Hart

16.03.02. Lượng thông tin

Đơn vị đo định lượng thông tin về sự xuất hiện của một sự kiện có xác suất xác định được tính bằng loga giá trị nghịch đảo của xác suất này, ký hiệu toán học là:

l(x) = log= – log p(x)

ở đây p(x) là xác suất của sự kiện xảy ra x.

CHÚ THÍCH 1: CHÚ THÍCH thứ 3 ở điều 16.01.03 phù hợp với định nghĩa này.

CHÚ THÍCH 2: Trong một tập các sự kiện có xác suất ngang nhau, lượng thông tin của mỗi sự kiện bằng với lượng quyết định của tập.

VÍ DỤ: Cho {a,b,c} là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Lưựng thông tin của 3 sự kiện này là:

l(a) = lbSh = 1 Sh

l(b) = lbSh = 2 Sh

l(c) = lbSh = 2 Sh

16.03.03. Entrôpi

lượng thông tin trung bình

negentropy (không dùng)

Giá trị lượng thông tin trung bình của các sự kiện trong một tập hữu hạn các sự kiện loại trừ lẫn nhau và các sự kiện đầy đủ, ký hiệu trong toán học là:

trong đó X = {x₁ ... x_n} là tập các sự kiện x_i (i = 1 … n), l(x_i) là lượng thông tin của các sự kiện x_i và p(x_i) là xác suất xảy ra các sự kiện này, với giả thuyết là

VÍ DỤ: Cho X = {a,b,c} là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện này là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Entrôpi của tập này là:

H(X) = p(a) l(a) + p(b) l(b) + p(c) l(c)= 1,5 Sh

16.03.04. Entrôpi tương đối

Tỉ lệ H_r của entrôpi H và lượng quyết định H_o được ký hiệu trong toán học là:

H_r = H/H_o

VÍ DỤ: Cho {a,b,c} là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện này là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Entrôpy tương đối của tập này là:

H_r = (1,5 Sh) / (1,580 Sh) = 0,95

16.03.05. Độ dôi (trong lý thuyết thông tin)

Giá trị thực R bằng lượng quyết định H_o trừ đi entrôpi H; ký hiệu là:

R = H_o – H

CHÚ THÍCH: Thường thường việc sử dụng các mã thích hợp có thể tạo ra thông điệp với số ký tự ít hơn; độ dôi có thể coi là một đơn vị đo mức độ giảm độ dài trung bình của thông điệp khi được thực hiện bằng bộ mã thích hợp.

VÍ DỤ: Cho {a,b,c} là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện này là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Độ dôi của tập này là:

R = 1,58 Sh – 1,50 Sh = 0,08 Sh

16.04. Các thuật ngữ định lượng dẫn xuất

16.04.01. Độ dôi tương đối

Tỉ lệ r của độ dôi R với lượng quyết định H_o được ký hiệu toán học là:

r = R/H_o

CHÚ THÍCH: Độ dôi tương đối cũng bằng phần bù của entrôpi tương đối H_r:

r = 1 – H_r

16.04.02. Lượng thông tin có điều kiện

Một đơn vị đo định lượng thông tin liên quan tới sự xuất hiện sự kiện x với điều kiện xảy ra của sự kiện y được tính bằng loga giá trị nghịch đảo của xác suất có điều kiện p(x/y) của sự kiện x với điều kiện xảy ra của sự kiện y, ký hiệu toán học là:

l(x/y) = log

CHÚ THÍCH: Lượng thông tin có điều kiện cũng bằng giá trị thực của lượng thông tin chung của cả hai sự kiện trừ đi lượng thông tin của sự kiện thứ 2:

l(x/y) = l(x,y) – l(y)

16.04.03. Lượng thông tin chung

Đơn vị đo định lượng thông tin liên quan tới sự xuất hiện của hai sự kiện x và y được tính bằng loga giá trị nghịch đảo của xác suất chung p(x,y) khi hai sự kiện xảy ra:

l(x/y) = loga

16.04.04. Entrôpy có điều kiện

lượng thông tin có điều kiện trung bình

Giá trị lượng thông tin trung bình có điều kiện của các sự kiện trong một tập hữu hạn các sự kiện loại trừ lẫn nhau và các sự kiện đầy đủ với điều kiện xảy ra của các sự kiện trong trong một tập các sự kiện loại trừ lẫn nhau và các sự kiện đầy đủ khác có ký hiệu toán học là:

trong đó X = {x₁… x_n} là tập các sự kiện x_i (i = 1… n), Y= {y₁… y_m} là tập các sự kiện y_j (i = 1… m), l(xi/yi) là lượng thông tin chung của sự kiện x_i với điều kiện sự kiện y_i đã cho, và p(x_i,y_j) là xác suất chung khi cả hai sự kiện đó xảy ra.

16.04.05. Sự mập mờ

Các entropy có điều kiện của một tập cụ thể của thông điệp tại một nguồn thông điệp cho một tập cụ thể các thông điệp tại thông điệp đích, nơi mà nó kết nối với nguồn thông điệp của một kênh cụ thể.

CHÚ THÍCH – Sự mập mờ có nghĩa là nội dung thông tin bổ sung mà phải được cung cấp cho mỗi thông điệp ở đích thông điệp để sửa các thông điệp đã nhận được tác động bởi một kênh nhiễu.

16.04.06. Tính không thích hợp

trước biến thiên (prevarication)

sự phổ biến

Entrôpy có điều kiện của một tập các thông điệp cụ thể tại một đích thông điệp với điều kiện một tập các thông điệp cụ thể tại một nguồn thông điệp được liên kết với đích thông điệp thông qua một kênh cụ thể.

16.04.07. Thông tin y; lượng

truyền thông tin

phát thông tin

thông tin tương hỗ

Khác biệt giữa lượng thông tin l(x) được truyền bởi sự xuất hiện của sự kiện x, và lượng thông tin có điều kiện l(x,y) được truyền bởi sự xuất hiện của sự kiện x với điều kiện xảy ra của sự kiện y có ký hiệu toán học là:

T(x,y) = l(x) – I(x,y)

CHÚ THÍCH 1: Ở đây, hai sự kiện x và y là hai thông điệp tại nguồn thông điệp của một kênh và tại đích thông điệp của kênh đó.

CHÚ THÍCH 2: Chuyển lượng thông tin cũng có thể được biểu diễn như sau:

T(x,y) = l(x) + l(y) – I(x/y)

trong đó l(y) là lượng thông tin của sự kiện y. Từ điều này suy ra, x và y đối xứng với nhau:

T(x,y) = T(y,x)

16.04.08. Lượng thông tin trung bình

Giá trị lượng thông tin trung bình của hai sự kiện lấy từ hai tập hữu hạn các sự kiện loại trừ lẫn nhau và sự kiện đầy đủ, được tính bằng công thức:

trong đó X = {x₁…x_n} là tập các sự kiện x_i (i = 1… n), Y = {y₁… y_m} là tập các sự kiện y_j (j = 1… m), T(x_i,y_i) là lượng thông tin của hai sự kiện xi và yi, và p(xi,yj) là xác suất chung khi cả hai sự kiện đó xảy ra.

CHÚ THÍCH 1: Lượng thông tin trung bình đối xứng theo X và Y. Nó cũng bằng độ lệch giữa entrôpy của một trong hai tập các sự kiện với entrôpy có điều kiện của tập này với điều kiện có tập kia:

T(X,Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = T(Y,X)

CHÚ THÍCH 2 – Lượng thông tin trung bình là một đơn vị đo định lượng của các thông tin được truyền phát thông qua một kênh khi X là một tập các thông điệp cụ thể tại nguồn thông điệp và Y là một tập các thông điệp cụ thể đích thông điệp. Nó bằng độ lệch giữa entrôpy tại nguồn thông điệp và mức độ biểu thị đồng thời, hoặc độ lệch giữa entrôpy tại đích thông điệp và tính không thích hợp.

16.04.09. Lượng thông tin trung bình của ký tự

tỉ số thông tin của ký tự

Trung bình cho mỗi đặc điểm entropy của tất cả các thông điệp có thể có từ một nguồn thông điệp ổn định, được định nghĩa trong toán học bởi giới hạn:

H’ = lim_m->¥

Trong đó H_m là entrôpy của tập tất cả các dãy gồm m kí tự lấy từ nguồn.

CHÚ THÍCH 1: Đơn vị đặc điểm entrôpy trung bình có thể được biểu diễn bằng shannon/kí tự.

CHÚ THÍCH 2: Giới hạn có thể không tồn tại nếu nguồn không ổn định.

16.04.10. Tốc độ thông tin trung bình

Thương số của đặc trưng entropy trung bình H’ với khoảng thời gian trung bình của một đặc trưng ký hiệu toán học là:

H* = H’ / I(X)

trong đó X = {x₁… x_n} là một tập các ký tự x_i (i = 1… n) và

là giá trị trung bình của khoảng thời gian t(x_i) của ký tự x_i với xác suất xảy ra p(x_i).

CHÚ THÍCH: Đơn vị của tốc độ thông tin trung bình có thể được biểu diễn bằng shannon/giây.

16.04.11. Lượng thông tin trung bình của ký tự

Trung bình mỗi ký tự của lượng thông tin trung bình cho tất cả các thông điệp có thể có từ một nguồn thông điệp ổn định được ký hiệu trong toán học bằng giới hạn:

T’ = lim_m->¥

trong đó T_m là lượng thông tin trung bình cho tất cả các cặp là các dãy có m ký tự tương ứng ở đầu vào và đầu ra.

CHÚ THÍCH: Đơn vị của lượng thông tin trung bình của ký tự có thể biểu diễn bằng shannon/ký tự.

16.04.12. Tốc độ thông tin trung bình

Thương số của lượng thông tin trung bình của ký tự T’ được tính bằng khoảng thời gian trung bình một cặp các ký tự đầu vào và đầu ra, thương số này ký hiệu toán học là:

T* = T’/t(X, Y)

trong đó X = {x₁… x_n} là tập các ký tự đầu vào xi (i = 1… n), Y = {y₁… y_m} là tập các ký tự đầu ra y_j (j = 1… m) và

là giá trị trung bình của khoảng thời gian t(x_i,y_j) của cặp ký tự (x_i,y_j) với xác suất chung p(x_i,y_j).

CHÚ THÍCH: Đơn vị của tốc độ thông tin trung bình có thể biểu diễn bằng shannon/giây.

16.04.13. Dung lượng kênh

Đo lường khả năng của một kênh tùy thuộc vào các quy định cụ thể khi truyền các thông điệp từ một nguồn thông điệp quy định được thể hiện bằng cả lượng thông tin trung bình của ký tự lớn nhất có thể có và tốc độ thông tin trung bình lớn nhất có thể có, có thể đạt được một xác suất sai số nhỏ bất kỳ khi việc sử dụng của một mã thích hợp.

 

MỤC LỤC

Lời nói đầu

Mục 1: Khái quát

1.1 Phạm vi áp dụng

1.2 Tài liệu viện dẫn

1.3 Nguyên lý và quy tắc

Mục 2: Thuật ngữ và định nghĩa

16 Lý thuyết thông tin

16.01 Thuật ngữ chung

16.02 Thông điệp và truyền thông điệp

16.03 Thuật ngữ định lượng cơ bản

16.04 Các thuật ngữ định lượng dẫn xuất