[:it]
Franz Marc
La sorgente aleatoria numerica viene anche definita una sorgente aleatoria discreta, essere senza memoria significa che i simboli sono indipendenti ed identicamente distribuiti estratti da un alfabeto A di dimensione finita L.
Quindi ogni simbolo ha una certa probabilità di essere emesso.
In inglese esso è definito come:
Discrete Memoryless source, DMS[:]
[:it]
Charles S. Raleigh
Tutti questi esercizi possono essere risolti mediante l’applicazione delle relazioni definite nei posti precedenti sulla definizione di informazione, entropia, lunghezza di un messaggio, ridondanza.
1. Una sorgente discreta emette i simboli  aventi probabilità rispettivamente  .
Determinare l’informazione associata a ciascun simbolo e l’entropia della sorgente |
![\left [H=2,23\cfrac{bit}{sym} \right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-665b0fecaf5cb9cccdfbc8bfef9dea27_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
2. Calcola la ridondanza di una sorgente binaria discreta le cui probabilità di emissione sono  |
![\left [ \gamma =0,07\cfrac{bit}{sym} \right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-38ba34b4187473c8be1b4b7f5e72ccf9_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
3. Una sorgente discreta emette 5 simboli con probabilità  .
a) Calcola la ridondanza della sorgente b) La lunghezza del codice necessaria ad effettuare una corretta codifica della sorgente. |
![\left [ L=2,32,\gamma =0,1\cfrac{bit}{sym} \right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-6981a76481622cb62d5ddbf0f33f03d5_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
4. Si ha una sorgente di 6 simboli discreti con ridondanza  ; calcola:
a) L’entropia b) la lunghezza del codice c) l’efficienza della codifica |
![\left [H =1,58\cfrac{bit}{sym}; \eta=0,6\cfrac{bit}{sym},L =2,581 ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-fb852f07b1c9060a910d2452e56b0fbb_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
5. Una sorgente ha alfabeto di n=4 simboli con le seguenti probabilità di emissione:
a) Calcola l’entropia della sorgente b)Calcola il contenuto informativo dei due seguenti messaggi:
|
![\left [ H=1,922\cfrac{bit}{sym},I_{M_{1}}=7,528bit ,I_{M_{2}}=7,764bit \right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-b4ea083ecba402b061cf565bb47f0bec_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
6. Una sorgente ha un alfabeto di n=7 simboli con le seguenti probabilità di emissione:
Calcola la lunghezza media del codice |
![\left [ L=2,58 \right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-e12c65115d1e41e2a45c573b30126f1b_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
7. Una sorgente discreta emette 3 simboli statisticamente indipendenti; sapendo che  , calcolare la ridondanza  . |
 |
||||||||||||||||||||||||
8. Un alfabeto è costituito da 2 simboli  equiprobabili.
IL tempo impiegato per trasmettere il primo simbolo è a) l’entropia della sorgente b) il tempo medio per trasmettere un simbolo c) la velocità di trasmissione |
![\left [ H=1,548 \cfrac{bit}{sym},T_{s}=62,5\mu s, R=16\frac{kbit}{s} \right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-b94d970a3ab06b0a8f86f17d5d7e1ec0_l3.png "Rendered by QuickLaTeX.com") |
||||||||||||||||||||||||
[:]
[:it]
Vladimir Kush
La lunghezza media di un codice è data da quanti simboli in media sono necessari per mandare un messaggio con tali simboli ossia:
dove con 
è il numero di simboli.
oppure se si conosce la lunghezza del codice:
Per efficienza si intende:
Per ridondanza si intende quindi
ossia quanto più una sorgente ha una grande entropia (ossia fornisce molte informazioni) con un alfabeto molto basso, minore è la ridondanza ossia la necessità di trasmettere segnali simili nel canale trasmissivo.[:]
[:it]
Vladimir Kush
Che cos’è l’entropia di una sorgente?
E’ il massimo grado di informazione che può darci un opportuno codice.
In fisica l’entropia fornisce il grado di disordine di un particolare sistema, nella teoria dell’informazione quanto più un codice ha un’elevata entropia quanta più informazione esso potrà portare.
Nella teoria della probabilità, quando due eventi sono statisticamente indipendenti la probabilità che uno accada in seguito all’altro è dato dal prodotto delle loro probabilità ossia: (principio delle probabilità composte)
L’unica funzione matematica che dal prodotto permette di passare alla somma è ancora il logaritmo per cui esso compare ancora nella definizione di entropia:
L’unità di misura dell’entropia è il bit/carattere.
La velocità di trasmissione viene definita non come la frequenza con cui si trasmette ma come il prodotto tra l’entropia e la frequenza dei simboli emessi.[:]
[:it]
Vladimir Kush
L’informazione, nell’ambito delle telecomunicazioni, viene definita come la riduzione di incertezza che si poteva avere a priori sul simbolo trasmesso.
Sembra un panegirico ma, in realtà, il concetto è che se io trasmetto sempre un solo segnale sempre uguale, la probabilità di riceverlo è sempre 1. Ma tale fatto significa anche che l’informazione trasmessa è nulla.
Per trasmettere un’informazione vi è bisogno che si modifichi uno stato da luce a buio o viceversa; si pensi ai solo caratteri morse: per comunicare un messaggio, ossia un’informazione, si alternano i punti con le linee in un’opportuna combinazione.
Per dare una definizione che possa essere misurabile si utilizza la funzione logaritmo perché è l’unica che quando il suo argomento vale 1, il suo valore va a zero ed inoltre lo si caperà ancora di più quando si definisce l’entropia.
dove con 
si intende la probabilità con cui quel simbolo possa presentarsi.
Se la base del logaritmo è:
[:en]trasmesso e viene definita come la riduzione di incertezza che si poteva avere a priori sul simbolo trasmesso.
Sembra un panegirico ma, in realtà, il concetto è che se io trasmetto sempre un solo segnale sempre uguale, la probabilità di riceverlo è sempre 1. Ma tale fatto significa anche che l’informazione trasmessa è nulla.
Per trasmettere un’informazione vi è bisogno che si modifichi uno stato da luce a buio o viceversa; si pensi ai solo caratteri morse: per comunicare un messaggio, ossia un’informazione, si alternano i punti con le linee in un’opportuna combinazione.
Per dare una definizione che possa essere misurabile si utilizza la funzione logaritmo perché è l’unica che quando il suo argomento vale 1, il suo valore va a zero ed inoltre lo si caperà ancora di più quando si definisce l’entropia.
dove con si intende la probabilità con cui quel simbolo possa presentarsi.
Se la base del logaritmo è:
2 l’informazione si misura in bit
10 l’informazione si misura in hartley
e (numero di Eulero) l’informazione si misura in nat[:de]trasmesso e viene definita come la riduzione di incertezza che si poteva avere a priori sul simbolo trasmesso.
Sembra un panegirico ma, in realtà, il concetto è che se io trasmetto sempre un solo segnale sempre uguale, la probabilità di riceverlo è sempre 1. Ma tale fatto significa anche che l’informazione trasmessa è nulla.
Per trasmettere un’informazione vi è bisogno che si modifichi uno stato da luce a buio o viceversa; si pensi ai solo caratteri morse: per comunicare un messaggio, ossia un’informazione, si alternano i punti con le linee in un’opportuna combinazione.
Per dare una definizione che possa essere misurabile si utilizza la funzione logaritmo perché è l’unica che quando il suo argomento vale 1, il suo valore va a zero ed inoltre lo si caperà ancora di più quando si definisce l’entropia.
dove con si intende la probabilità con cui quel simbolo possa presentarsi.
Se la base del logaritmo è:
2 l’informazione si misura in bit
10 l’informazione si misura in hartley
e (numero di Eulero) l’informazione si misura in nat[:]
[:it]
| 1. Lanciando due monete qual è la probabilità di ottenere due teste? | ![\left [\cfrac{1}{4}\right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-175dc83eb4e12930db13ff26f6234671_l3.png "Rendered by QuickLaTeX.com") |
| 2. Si lanciano due dadi. Trova la probabilità che escano due 3; che escano un 3 e un 4; che escano due numeri pari. | ![\left [\cfrac{1}{36},\cfrac{1}{18},\cfrac{1}{4}\right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-a7e343e044e002bf895dce4e19b0f2f0_l3.png "Rendered by QuickLaTeX.com") |
| 3. Calcola la probabilità che lanciando una moneta esca testa | ![\left [\cfrac{1}{2}\right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-9cc8dea2d868498b4d50883488b5e019_l3.png "Rendered by QuickLaTeX.com") |
| 4. Calcola la probabilità che lanciando 1 dado esca il numero 1. | ![\left [\cfrac{1}{6}\right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-5feab28d0309ce0a992638a80be3bea3_l3.png "Rendered by QuickLaTeX.com") |
| 5. Calcola la probabilità che lanciando 1 dado esca un numero divisibile per 2 | |
| 6. Determina la probabilità che, lanciando 3 volte di seguito 1 moneta, si verifichi l’evento “esca almeno una croce”, sapendo che il primo lancio ha dato testa. | ![\left [\cfrac{3}{4}\right ]](https://www.whymatematica.com/wp-content/ql-cache/quicklatex.com-64d658f77be8ae19eb960c34848b496e_l3.png "Rendered by QuickLaTeX.com") |
| 7. Da un’urna contenente 9 palline nere e 7 bianche si estraggono successivamente 3 palline, rimettendo ogni volta nell’urna la pallina estratta. Qual è la probabilità che siano tutte e tre nere? Che siano tutte e 3 bianche? Che siano le prime 2 bianche e la terza nera? Che siano bianche e 1 nera? |  ; ; ; |
[:]
[:it]
Samy Charnine
Dal post sulle probabilità condizionate si è affermato che:
che è uguale a scrivere:
ma nel caso in cui si abbiano eventi indipendenti
per cui si ha il principio delle probabilità composte ossia
Questa relazione è alla base della definizione di Entropia nell’ambito delle telecomunicazioni.
Esempio di applicabilità
Si vuole sapere qual è la probabilità che esca testa, nel lancio di una moneta due volte, sapendo che prima è uscita testa.
In questo caso si è in presenza di eventi indipendenti per cui la probabilità che esca testa al primo lancio è 
, la probabilità che esca nuovamente testa è , per cui la probabilità che in due lanci mi esca due volte testa vale 
.[:]
[:it]
Samy Charnine
Due eventi sono indipendenti se il verificarsi dell’uno non influisce sul calcolo della probabilità del verificarsi dell’altro
Due eventi sono dipendenti se il verificarsi dell’uno influisce sul calcolo della probabilità del verificarsi dell’altro.
Sono molto importanti queste due definizioni perché influiscono moltissimo nel caso in cui dovessi prevedere la trasmissione di un messaggio e quindi la necessità di trasmetterlo solo una volta o ritrasmetterlo.
Il primo esempio di eventi indipendenti potrebbe essere quello dell’estrazione di una pallina bianca da un’urna contente palline bianche e nere. In questo caso se dopo l’estrazione rimetto all’interno la pallina bianca estratta avrò eventi INDIPENDENTI ossia calcolare la probabilità di estrarre un’altra pallina bianca non dipende dall’estrazione precedente.
Se invece la pallina bianca non viene reintrodotta dall’urna allora tale fatto ha reso dipendente l’estrazione successiva da quella precedente.[:]
[:it]
Samy Charnine
E’ il caso in cui spesso si può trovare anche nell’ambito delle telecomunicazioni; se nella trasmissione di un fax , qual è la probabilità che essendo stato trasmesso un carattere bianco si possa avere un altro carattere bianco o un carattere nero?
In questo caso si è quindi nella situazione di probabilità subordinata o condizionata.
La probabilità che capiti l’evento A in seguito al fatto che si è verificato l’evento B è detta probabilità subordinata o probabilità condizionata e si indica con 
e si legge probabilità di A dato che si è verificato B.
Si può dimostrare facilmente che si calcola nella seguente maniera:
dove con 
si intende intersezione dei due eventi
in maniera analoga
.
Esempio:
E’ stata lanciata una moneta 3 volte ( o lanciate 3 monete in una volta sola). Qual è la probabilità che siano uscite tutte con la stessa faccia, sapendo che sono uscite meno di 2 teste?
La prima cosa che faccio è analizzare tutti i casi possibili del lancio di una moneta con i relativi risultati (esso si chiama spazio campionario o spazio degli eventi).
L’evento monete tutte con la stessa faccia A={
}
L’evento monete su tre lanci almeno due teste B={
}
[:]
e 
mentre 
, calcolare:
Anno2015