\documentclass[compress,10pt]{beamer}
\PassOptionsToPackage{subsection=false}{beamerouterthememiniframes}
\usetheme{Szeged}
\usecolortheme{beaver}

\usepackage{t1enc}
\usepackage[utf8]{inputenc}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{mnsymbol}
\usepackage{enumerate}
\usepackage{mathtools}
\usepackage{palatino}
\usepackage{overpic}
\usepackage[magyar]{babel}	
%\input{tex_definitions}


\title[Pszichoakusztikus audiokódolások vizsgálata]{Veszteséges, érzeti alapú audio forráskódolási eljárások vizsgálata}
\subtitle{MPEG Audio kódolók}
\author{}
\institute[BME-HIT]{BME - Hálózati Rendszerek és Szolgáltatások Tanszék}
\date{}

\begin{document}

\titlepage
%\hittitlepage

\section{Tartalom}
\subsection{Tartalom}
\begin{frame}{Bevezetés}
\begin{block}{Tartalom}
\begin{itemize}
\item Kódolási elvek
\item Pszichoakusztikus (érzeti) alapelvek
\item Kódoló implementációk rendszertechnikai áttekintése
\item Pszichoakusztikus kódolások objektív elemzése
\end{itemize}
\end{block}
\end{frame}


\section{Kódolási elvek, pszichoakusztika}
\subsection{Pszichoakusztikai alapok}
\begin{frame}{Abszolút hallásküszöb}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/1_trshq.png}
		\caption{Abszolút hallásküszöb}
		\label{fig:1}
	\end{figure}
\end{frame}


\begin{frame}{Egyidejű (frekvenciatartománybeli) maszkolás}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/2_masking.png}
		\caption{Egyidejű maszkolás}
		\label{fig:2}
	\end{figure}
\end{frame}


\begin{frame}{Időbeli maszkolás}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/3_tempmasking.png}
		\caption{Elő- és utóelfedés}
		\label{fig:3}
	\end{figure}
\end{frame}


\begin{frame}{Egyidejű (frekvenciatartománybeli) maszkolás}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/4_masking_examples.png}
		\caption{Példák}
		\label{fig:4}
	\end{figure}
\end{frame}


\begin{frame}{Egyidejű (frekvenciatartománybeli) maszkolás}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/5_masking_examples2.png}
		\caption{Példák}
		\label{fig:5}
	\end{figure}
\end{frame}


\begin{frame}{Kritikus sávok}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/6_masking_examples3.png}
		\caption{Maszkolási küszöb két tonális maszkoló távolságának függvényében}
		\label{fig:6}
	\end{figure}
\end{frame}


\begin{frame}{Kritikus sáv szélességek}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/7_critical_bands.png}
		\caption{Ekvivalens sávszélesség modellek}
		\label{fig:7}
	\end{figure}
\end{frame}


\begin{frame}{Kritikus sáv szélességek}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/8_critical_bands2.png}
		\caption{Ekvivalens sávszélesség modellek}
		\label{fig:8}
	\end{figure}
\end{frame}


\begin{frame}{A hangmagasság érzékelése a csiga mentén}
	\begin{figure}
		\centering
		\includegraphics[width=0.6\textwidth]{figs/9_csigas.png}
		\label{fig:9}
	\end{figure}
\end{frame}


\begin{frame}{Kritikus sávok}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/10_bark1masking.png}
		\caption{Kritikus sávok a Bark skála függvényében}
		\label{fig:10}
	\end{figure}
\end{frame}


\begin{frame}{Kritikus sávok}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/11_bark2masking.png}
		\caption{Maszkolási görbék a maszkoló szintjének függvényében}
		\label{fig:11}
	\end{figure}
\end{frame}


\begin{frame}{Egyszerűsített maszkolási modell}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/12_simplemasking.png}
		\includegraphics[width=0.3\textwidth]{figs/13_simplemaskingeq.png}
		\caption{Egyszerűsített maszkolási modell}
		\label{fig:12}
	\end{figure}
\end{frame}





\begin{frame}{Általános kódolási modell}
	\begin{figure}
		\centering
		\includegraphics[width=0.9\textwidth]{figs/14_basicmodel.png}
		\caption{Általános audio kódoló blokkvázlat}
		\label{fig:14}
	\end{figure}
\end{frame}


\begin{frame}{MPEG-I Layer 3 (mp3) kódoló}
	\begin{figure}
		\centering
		\includegraphics[width=0.9\textwidth]{figs/15_mp3_1.png}
		\caption{MP3 kódoló}
		\label{fig:15}
	\end{figure}
\end{frame}


\begin{frame}{MPEG-I Layer 3 (mp3) kódoló}
	\begin{figure}
		\centering
		\includegraphics[width=0.7\textwidth]{figs/16_mp3_2.png}
		\caption{MP3 kódoló}
		\label{fig:16}
	\end{figure}
\end{frame}


\begin{frame}{MP3 kódoló}
	\begin{figure}
		\centering
		\includegraphics[width=0.5\textwidth]{figs/17_mp3_3.png}
		\caption{Ablakfüggvény típusok}
		\label{fig:17}
	\end{figure}
\end{frame}

\begin{frame}{MP3 kódoló}
	\begin{figure}
		\centering
		\includegraphics[height=0.7\textheight]{figs/hearmodelmp3.png}
		\caption{MPEG-I Hallásmodell}
		\label{fig:17}
	\end{figure}
\end{frame}

\section{Pszichoakusztikus kódolások objektív elemzése}
\subsection{Alapvelvek}
\begin{frame}{Objektív metrikák alapelvei}
\begin{columns}
\begin{column}{0.5\textwidth}
\scriptsize
\begin{itemize}
 \item\textbf{ NMR vizsgálat (Noise-To-Mask ratio)}: A referencia hangminta és a kódolt hangminta közötti különbségjel (hibajel) összehasonlítása a referencia hangmintából számított maszkolási küszöbbel. A hibajel jellemzően a veszteséges újrakvantálásból származik, és így a hibajel energiájának jelentős részét a kvantálási zaj adja. A hibajel spektrumát összehasonlítva a maszkolási küszöbbel, becsülhető, hogy a kvantálási zaj mennyire hallható.
 \item \textbf{Hallásmodell alapú értékelés}: A teljes hallójárat ''jelfeldolgozási'' folyamatainak modellezése, a fülben lévő alaphártyán létrejövő gerjesztés-ingerület kapcsolat modellezése. A teljes hallásfolyamat jelfeldolgozási modellját alkalmazva mind a referencia, mind a kódolt hangmintára értékelhető válik a két hangminta között észlelt különbség mértéke.
\end{itemize}
\end{column}
\begin{column}{0.5\textwidth}
\begin{figure}
\centering
\includegraphics[height=0.25\textheight]{figs/nmrass}
\caption{NMR vizsgálat}
\label{fig:nmrass}
\end{figure}
\begin{figure}
\centering
\includegraphics[height=0.25\textheight]{figs/earmodelass}
\caption{Hallásmodell alapú értékelés}
\label{fig:earmodelass}
\end{figure}
\end{column}
\end{columns}
\end{frame}

\begin{frame}{PEAQ model}
\begin{block}{Egyesíti az NMR és a hallásmodell alapú értékelést}
  \begin{figure}
\centering
\includegraphics[height=0.6\textheight]{figs/complete_model}
\caption{PEAQ modell}
\label{fig:complete_model}
\end{figure}
\end{block}
\end{frame}

\begin{frame}{PEAQ model}
	\begin{block}{Egyesíti az NMR és a hallásmodell alapú értékelést}
	\small
	\begin{itemize}
	\item Az NMR és a hallásmodell kimeneti változóit egy kognitív modell egyesíti egy neurális háló alkalmazásával. A neurális háló súlyozótényezőit kísérleti úton határozták meg, hogy a kimeneti változók súlyozásával a kapott objektív metrika a lehető legjobban illeszkedjen a szubjektív vizsgálatok (páros összehasonlítások) eredményeihez.
	
	\item A kognitív modell a következő jelenségeket próbálja figyelembe venni: pl. ismert hangok (pl. beszéd, zongorahang) minőségromlására érzékenyebbek vagyunk (előzetes tanulás hatása), mint ismeretlen hangokéra (pl. szintetikus hangminták)

	\item Ismert, már korábban tapasztalt torzulások (pl. ismert zajok, ismert zajjelenségek) okozta minőségromlás jobban észlelhetőek, mint ismeretlen zajok, ismeretlen torzulási termékek
	
	\item A hozzáadott zaj, illetve torzítási termékek,zavaróbbak, mintha valami hiányzik a hangból.
	
	\item Lineáris torzulások (pl. frekvenciaszelektív csillapítás, sávszélesség korlátozás) kevésbé zavaróak mint a nemlineáris torzulások
	\end{itemize}
\end{block}
\end{frame}


\begin{frame}{PEAQ model}
	\begin{columns}
		\begin{column}{0.5\textwidth}
		\small
		\begin{itemize}
		\item A modell figyelembe veszi a különböző amplitúdójú hibák detektálási valószínűségét is
		\item A referencia és a kódolt hang közötti különbség észlelése szintje (JNLD - Just Noticeable Difference) szintfüggő
		\item 20 dB SPL esetén, JNLD: 0.75 dB
		\item 80 dB SPL esetén, JNLD: 0.2 dB
		\item  A referencia és a kódolt hang közötti hibajel és az adott szinthez tartozó JNLD függvényében a kódolási hiba észlelésének valószínűsége változik. A kognitív modell ezt a hibaészlelési valószínűséget is figyelembe veszi az értékelésnél
	\end{itemize}
\end{column}
\begin{column}{0.5\textwidth}	
	\begin{figure}
\centering
\includegraphics[width=0.7\textwidth]{figs/jnldprobab}
\caption{Észlelési valószínűség a JNLD függvényében}
\label{fig:jnldprobab}
\end{figure}

\end{column}
\end{columns}
\end{frame}

		
%\begin{frame}{PEAQ model}
%	\begin{block}{Egyesíti az NMR és a hallásmodell alapú értékelést}
%		
%		\begin{itemize}
%	
%		\item	PEAQ Basic fülmodell - FFT (48 kHz, 2048 pontos FFT 50\% átfedéssel)
%		\item   Kimeneti változók:
%			\begin{itemize}
%   		\item érzékelt hangossága a nemlineáris torzításoknak
%		\item érzékelt hangossága a lineáris torzításoknak
%		\item NMR
%		\item időbeli jelleg változása (időbeli burkoló)
%		\item harmonikus komponensek jelenléte a hibajelben
%		\item Modulációs különbség
%	\end{itemize}
%	\end{itemize}
%	
%	The Just-Noticeable Level Difference (JNLD) is the detection threshold of level differences. The 
%	JNLD is influenced by the level of the input signals. For small signals, large differences are 
%	required for detection (level: 20 dBSPL, JNLD: 0.75 dB). For loud signals the sensitivity to small 
%	differences is much higher (level: 80 dBSPL, JNLD: 0.2 dB). These numbers are based on 
%	amplitude modulation experiments. 
%\end{block}
%\end{frame}



\begin{frame}{Hallásmodell alapú értékelés - modell elemei}
	\begin{columns}
		
		\begin{column}{0.5\textwidth}
			\scriptsize
			\begin{itemize}
				\item\textbf{ Külső fül modell}: 
						
							\begin{itemize}
									\scriptsize
								\item \textbf{Abszolút hallásküszöb}, mely a külső fül és a középfül átviteli függvényének eredője
								\item \textbf{Belső zaj}, mely a fülön belüli vérkeringésből, és spontán (gerjesztés nélküli) idegi aktivitásból származik
							\end{itemize}
								\scriptsize
								\item\textbf{ Csiga (cochlea) modell}: A csiga járatában a hang különböző frekvenciakomponensei állóhullámokat generálva különböző helyeken ingerlik a csiga hallósejtjeit (szőr sejtek). Ennek végeredménye a hangmagasság-érzékelés. 
				\item \textbf{Magasabb szintű feldolgozás modellje}. Kognitív modell, neurális háló alapú modell  
			\end{itemize}
		\end{column}
		
		\begin{column}{0.5\textwidth}
			\begin{figure}
				\centering
				\includegraphics[height=0.25\textheight]{figs/ATHM.png}
				\caption{Abszolút hallásküszöb}
				\label{fig:XXXX}
			\end{figure}
			\begin{figure}
				\centering
				\includegraphics[height=0.25\textheight]{figs/barkexc.png}
				\caption{Gerjesztési modell szinuszos gerjesztés esetén}
				\label{fig:YYY}
			\end{figure}
		\end{column}
	\end{columns}
\end{frame}




\begin{frame}{ Külső fül modell - csiga}
	\begin{columns}
		
		\begin{column}{0.5\textwidth}
			\scriptsize
			\begin{itemize}
				\scriptsize
				\item\textbf{ Csiga (cochlea) modell}: 
				A csiga tulajdonképpen egy nemlineáris frekvencia-hely (a gerjesztés helye a csigán belül)	leképzést valósít meg. Ennek egyik elterjedt modellje a Bark skála, mely a 20 Hz-15 kHz tartományt 24 nem átfedő tartományra bontja.
				a csiga szőrsejtjei idegi aktivitással válaszolnak az alaphártya rezgéseire. Szinuszos gerjesztésre az idegi aktivitás a csiga mentén háromszög jelleggörbéjű. Tehát a szinuszos hang frekvenciája alatti, és a fölötti frekvenciáknak megfelelő helyek is gerjesztett állapotba kerülnek. A hang frekvenciája alatt a gerjesztés jelleggörbéje 27 dB/Bark, a fölött -5 dB/Bark-tól -30dB/Barkig terjed a hangnyomás szintjétől függően. 
			\end{itemize}
		\end{column}
		
		\begin{column}{0.5\textwidth}
			\begin{figure}
				\centering
				\includegraphics[height=0.25\textheight]{figs/ATHM.png}
				\caption{Abszolút hallásküszöb}
				\label{fig:XXXX}
			\end{figure}
			\begin{figure}
				\centering
				\includegraphics[height=0.25\textheight]{figs/barkexc.png}
				\caption{Gerjesztési modell szinuszos gerjesztés esetén}
				\label{fig:YYY}
			\end{figure}
		\end{column}
	\end{columns}
\end{frame}


\begin{frame}{ Külső fül modell - csiga}
	\begin{columns}
		
		\begin{column}{0.5\textwidth}
			\scriptsize
			\begin{itemize}
				\scriptsize
			
			\item Hallásküszöb
			\begin{multline*}
			A(f) [dB] = -0.6 \times 3.64 (f [kHz])^{-0.8} + \\
			 + 6.5 \times exp^{-0.6 (f [kHz] -3.3)^2} - 10^{-3} (f [kHz])^4
			\end{multline*}
			\item Frekvencia (kHz - Bark-skála) leképzés
			\begin{equation*}
			f[kHz] = 650 sinh \left(\frac{z[Bark]}{7}\right)
			\end{equation*}
			Hozzáadott zaj:
			\begin{equation*}
			N[dB]=0.4 \times 3.64 (f[kHz])^{-0.8}
			\end{equation*}
			
			
			\item Frekvencia elmosás (gerjeztési modell)
			alsó:
			24 dB/Bark
			felső:
			\begin{equation*}
			SLOPE [dB/Bark] = -24  - \frac{230 Hz}{f_c} + 0.2 L [dB]
			\end{equation*}
			
			\end{itemize}
		\end{column}
		
		\begin{column}{0.5\textwidth}
			\begin{figure}
				\centering
				\includegraphics[height=0.25\textheight]{figs/ATHM.png}
				\caption{Abszolút hallásküszöb}
				\label{fig:XXXX}
			\end{figure}
			\begin{figure}
				\centering
				\includegraphics[height=0.25\textheight]{figs/barkexc.png}
				\caption{Gerjesztési modell szinuszos gerjesztés esetén}
				\label{fig:YYY}
			\end{figure}
		\end{column}
	\end{columns}
\end{frame}


\begin{frame}{ Külső fül modell - csiga}
	\begin{columns}
		
		\begin{column}{0.5\textwidth}
			\scriptsize
			\begin{itemize}
				\scriptsize
				
				
				\item Sávok energiáinak nem-lineáris összegzése
				\begin{equation*}
				E_k = \left( \sum_i E_{i,k}^{0.4} \right)^{1/0.4}
				\end{equation*}
				
				Sávok energiájának időbeli elmosása (időbeli maszkolás)
				\begin{equation*}
				\tau(f_c) = \tau_{min} + \frac{100Hz}{f_c}(\tau_{100}-\tau_{min})
				\end{equation*}
				
				ahol $\tau_{min}=8 ms$ és $\tau_{100}=30ms$.
				
				Exponenciális súlyozás a keretek energiáira:
				\begin{equation*}
				E_f[k,n]= a E_f[k,n-1] + (1-a)E[k,n]
				\end{equation*}
				
				ahol
				\begin{equation*}
				a=exp^{\frac{4}{187.5\tau}}
				\end{equation*}
				
			\end{itemize}
		\end{column}
		
		\begin{column}{0.5\textwidth}
			\begin{figure}
\centering
\includegraphics[height=0.6\textheight]{figs/burst_smearing}
\caption{Fehérzaj burst (a) időbeli elmosás nélkül (b) időbeli elmosással}
\label{fig:burst_smearing}
\end{figure}
\end{column}
	\end{columns}
\end{frame}


\begin{frame}{ Spektrális burkoló változásának (moduláció) figyelembevétele}
Spektrális burkoló modulációja:
\begin{equation*}
E_{\Delta}(f,t)=\int_{t'=0}^{t} \left|\frac{d E(f,t')}{dt}\right|  exp^{(t'-t)/\tau(f)} \ dt'
\end{equation*}
\begin{equation*}
\bar{E}(f,t)=\int_{t'=0}^{t} \left| E(f,t')\right| exp^{(t'-t)/\tau(f)} \ dt'
\end{equation*}

ebből a moduláció:
\begin{equation*}
mod(f,t)=\frac{E_{\Delta}(f,t)}{1+ (1/c_1)\bar{E}(f,t)}
\end{equation*}

Modulációs különbség a referencia és a kódolt hangminta között:
\begin{equation*}
\mathrm{moddiff}(f,t)=w \frac{|mod_{proc}(f,t)-mod_{orig}(f,t)|}{|mod_{orig}(f,t)|}
\end{equation*}
\end{frame}






\end{document}
