SIKIŞTIRILMIŞ SAYISAL GÖRÜNTÜ VE VİDEO İÇİN HATA

SIKIŞTIRILMIŞ SAYISAL GÖRÜNTÜ VE VİDEO İÇİN HATA

T.C.
SAKARYA ÜN VERS TES
FEN B L MLER ENST TÜSÜ
SIKI TIRILMI SAYISAL GÖRÜNTÜ VE V!DEO
!Ç!N HATA G!ZLEME
YÜKSEK L SANS TEZ
Elk.-Elektr.Müh. Seyhan A"AO"LU
Enstitü Anabilim Dalõ
Enstitü Bilim Dalõ
Tez Danõ!manõ
:
:
:
ELK.-ELEKTR MÜH.
ELEKTRON K
Yrd. Doç. Dr. Cabir VURAL
Haziran 2005
T.C.
SAKARYA ÜN VERS TES
FEN B L MLER ENST TÜSÜ
SIKI TIRILMI SAYISAL GÖRÜNTÜ VE V!DEO
!Ç!N HATA G!ZLEME
YÜKSEK L SANS TEZ
Elk.-Elektr.Müh. Seyhan A"AO"LU
Enstitü Anabilim Dalõ
Enstitü Bilim Dalõ
:
:
ELK.-ELEKTR. MÜH.
ELEKTRON K
Bu tez 15/06/2005 tarihinde a!a"õdaki jüri tarafõndan Oybirli"i ile kabul
edilmi!tir.
Yrd. Doç. Dr. Cabir VURAL
Doç. Dr. Saadettin AKSOY
Yrd.Doç.Dr. Ayhan ÖZDEM R
Jüri Ba!kanõ
Üye
Üye
TE EKKÜR
Tezin hazõrlanmasõ a amasõnda bana her türlü deste!i veren danõ man hocam sayõn
Yrd. Doç. Dr. Cabir Vural`a ve her zaman bana destek olan aileme ve özellikle
küçük karde im Soner’e ayrõca test programlarõnõn yazõmõ a amasõnda yardõmlarõnõ
esirgemeyip görü lerini benimle payla an en yakõn arkada õm Evren Cesur`a
te ekkürü bir borç bilirim.
ii
Ç NDEK LER
TE EKKÜR..............................................................................................................
ii
!Ç!NDEK!LER.........................................................................................................
iii
S!MGELER VE KISALTMALAR L!STES!...........................................................
vi
EK!LLER L!STES!................................................................................................
ix
TABLOLAR L!STES!..............................................................................................
xiii
ÖZET........................................................................................................................
xiv
SUMMARY..............................................................................................................
xv
BÖLÜM 1.
G!R! ........................................................................................................................
1
BÖLÜM 2.
SAYISAL GÖRÜNTÜ VE V!DEO SIKI TIRMA STANDARTLARI..................
3
2.1. Giri".....................................................................................................
3
2.2. Sayõsal Görüntü Sõkõ"tõrma Standartlarõ..............................................
3
2.2.1. JPEG…….................................................................................
4
2.2.2. JPEG 2000……………………................................................
10
2.3. Sayõsal Video Sõkõ"tõrma Standartlarõ.................................................
10
2.3.1. MPEG video hiyerar"isi...........................................................
12
2.3.2. Kodlanan görüntü türleri……………………………………..
14
2.3.2.1. Ba#õmsõz görüntü (I-Görüntü)……………………….
14
2.3.2.2. Kestirilmi" görüntü (P-Görüntü)…………………….
15
2.3.2.3. !ki yönlü görüntü (B-Görüntü)………………………
15
2.3.3. Video akõ"õnõn olu"umu………………………………………
16
2.3.4. Hareket denkle"tirmesi..............................................................
17
2.3.5. I-Görüntülerde kullanõlan kodlama yöntemi…………………
20
iii
BÖLÜM 3.
HATA G!ZLEME………………………………………………………….………
22
3.1. Giri".....................................................................................................
22
3.2. Problemin Tanõmlanmasõ ve Yöntemlerin Sõnõflandõrõlmasõ .............
23
3.3. !leri Yönde Hata Gizleme……….......................................................
27
3.4. Kod Çözücüde Hata Gizleme !"lemi……………...............................
28
3.4.1. Hareket dengelemeli zamansal kestirim....................................
30
3.4.2. Maksimum olacak düzgünlükte kestirim..................................
31
3.4.3. Dõ"bükey kümeler üzerine izdü"üm…......................................
34
3.4.4. Uzamsal ve zamansal düzlemde interpolasyon.........................
35
3.4.5. Hareket vektörünün ve kodlama "eklinin kestirilmesi..............
37
3.5. Kodlayõcõ ve Kod Çözücü Etkile"imli Hata Gizleme..........................
38
BÖLÜM 4.
P!KSEL UZAYINDA !NTERPOLASYON.............................................................
40
4.1. Giri".....................................................................................................
40
4.2. Basit !nterpolasyon…………………………......................................
40
4.3. Yönlü !nterpolasyon…………………………....................................
43
4.5. Simülasyon Sonuçlarõ………..............................................................
44
BÖLÜM 5.
DI BÜKEY KÜMELER ÜZER!NE !ZDÜ ÜM.....................................................
52
5.1. Giri"…………….................................................................................
52
5.2. Önerilen Yöntem……….....................................................................
52
5.3. Blok Sõnõflandõrma ve Kenar Yönünün Belirlenmesi.........................
52
5.4. Dõ"bükey Kümeler Üzerine !zdü"üm………………………………..
55
5.5. Simülasyon Sonuçlarõ………………………………………………..
60
BÖLÜM 6.
BLOK E LE T!RME YÖNTEM!NE DAYALI ZAMANSAL HATA G!ZLEME
69
6.1. Giri"…………….................................................................................
69
6.2. !ki Boyutlu (2-D) Hareket …………………………………………..
69
6.3. Benzerlik ve Optik Akõ"……………………………………………..
71
iv
6.4. 2-D Hareket Kestirimi……………………………………………….
72
6.5. Blok-Hareket Modelleri …………………………………………….
74
6.6. Blok E"le"tirme Yöntemi ..………………………………………….
75
6.6.1. E"le"tirme ölçütü…………………….......................................
75
6.7. Önerilen Yöntem………. ..………………………………………….
76
6.8. Simülasyon Sonuçlarõ….. ..………………………………………….
77
BÖLÜM 7.
SONUÇLAR VE ÖNER!LER..................................................................................
87
KAYNAKLAR.........................................................................................................
90
ÖZGEÇM! ..............................................................................................................
93
v
S MGELER VE KISALTMALAR L STES
2-D DCT
: ki boyutlu Ayrõk Kosinüs Dönü ümü
AC
: Alternatif Akõm
ARQ
: Otomatik Yeniden !letim !stemi
B-Görüntü
: !ki yönlü görüntü
basit
: Basit zamansal hata gizleme
basit_blok
: Blok seviyesinde basit interpolasyon
basit_mb
: Makroblok seviyesinde basit interpolasyon
C1
: Önceden bilinen bir kümeden de"erler alan i aret kümesi
C2
: Belirli bir dönü türülmü katsayõlar kümesinden de"erler
alan i aret sõnõfõ
C2, DÜZGÜN
: Düzgün bir bölge olarak sõnõflandõrõlmõ blok için
muhtemel çözüm kümesi
C2, KENAR
: Kenar bir bölge olarak sõnõflandõrõlmõ blok için
muhtemel çözüm kümesi
Cn
: Karma õk düzlem
Cb
: Makroblokta renk de"erini ifade eden matris
CCIR
: Uluslararasõ Radyo !sti ari Kurulu (Bkz. ITU-R)
CCITT
: Uluslararasõ Telefon ve Telgraf !sti ari Kurulu (Bkz.
ITU-T)
CD
: Kompakt Disk
Cr
: Makroblokta renk de"erini ifade eden matris
D0-D7
: Sekiz yönlü kenar kategorileri
dB
: Desibel
DC
: Do"ru Akõm
DCT
: Ayrõk Kosinüs Dönü ümü
FEC
: !leri Yönde Hata Düzeltme
G
: (i, j) koordinatlarõndaki gradyanõn genli"i
vi
gx
: Dikey yöndeki yerel kenar gradyan bile enleri
gy
: Yatay yöndeki yerel kenar gradyan bile enleri
H.261
: ITU-T tarafõndan belirlenmi video konferans standardõ
H.262
: ITU-T tarafõndan belirlenmi video konferans standardõ
H.263
: ITU-T tarafõndan belirlenmi video konferans standardõ
H.230
: ITU-T tarafõndan belirlenmi video konferans standardõ
HDTV
: Yüksek Çözünürlüklü TV
I-Görüntü
: Ba"õmsõz görüntü
ISDN
: Tümle ik Hizmetler Sayõsal A"õ
ISO
: Uluslararasõ Standartla tõrma Organizasyonu
ITU
: Uluslararasõ Telekomünikasyon Birli"i
ITU-R
: Uluslararasõ Telekomünikasyon Birli"i – Radyo
Haberle me Bölümü
ITU-T
: Uluslararasõ Telekomünikasyon Birli"i –
Telekomünikasyon Standartla tõrma Bölümü
iyile tirilmi
mb_interpolasyon
: Makroblok seviyesinde iyile tirilmi basit interpolasyon
JPEG
: Ortak Fotografik Uzman Grubu
JPEG 2000
: Ortak Fotografik Uzman Grubu 2000
mb_interpolasyon
: Makroblok seviyesinde basit interpolasyon
MPEG
: Hareketli Görüntü Uzman Grubu
NTSC
: Ulusal Televizyon Standartlarõ Kurulu
P1
: Bilinen de"erlere uygunluk sõnõrlamasõnõ uygulayan
izdü üm operatörü
P2
: Görüntüde kenar süreklili"ini ve düzgünlük
kõsõtlamalarõnõ sa"layan izdü üm operatörü
P-Görüntü
: Kestirilmi görüntü
PAL
: Faz De"i en Hat (50 Hz, 220 V elektrik ebekesi olan
ülkelerde kullanõlan bir televizyon yayõn standardõ)
POCS
: Dõ bükey Kümeler Üzerine !zdü üm
PSNR
: Tepe ! aret Gürültü Oranõ
PX64
: Bkz. H.261
Rn
: Gerçek uzay
vii
Sx
: Yatay yöndeki Sobel operatörü
Sy
: Dikey yöndeki Sobel operatörü
T1
: 1.544 Mbit/s hõzõndaki bit hõzlarõnõ destekleyen sayõsal
ses iletimi için Bell sistem tarafõndan geli tirilmi hat
TV
: Televizyon
Y
: Makroblokta parlaklõk de"erini ifade eden matris
yönlü_mb
: Yönlü interpolasyon
: (i, j) koordinatlarõndaki gradyanõn açõsal yönü
MSE
: Minimum karesel ortalama hata
MAD
: Minimum ortalama mutlak fark
ZBE
: Blok e le tirme yöntemine dayalõ zamansal hata gizleme
viii
EK!LLER L!STES!
ekil 2.1. (a) Kuantalama e!risi, (b) Tipik bir JPEG kuantalama matrisi..
7
ekil 2.2. 2-D DCT sonucunda önemli frekans bile"enleri dü"ük frekans
bölgesinde yo!unla"õr…………………………………………..
8
ekil 2.3. Zigzag tarama…………………………………………………..
8
ekil 2.4. MPEG sayõsal video hiyerar"isi………………………………..
12
ekil 2.5. (a) Y, Cb, Cr matrisleri arasõndaki ili"ki, (b) Y, Cb, Cr
matrislerinin yerle"imi………………………………………….
13
ekil 2.6. Makroblok yapõsõ………………………………………………
13
ekil 2.7. P-Görüntülerinin ileri yönde kestirimi…………………………
15
ekil 2.8. B-Görüntülerin iki yönlü kestirimi…………………………….
16
ekil 2.9. 1 saniyelik video dizisi içindeki mevcut I-, P- ve B-Görüntü
sayõsõ…………………………………………………………...
16
ekil 2.10. Videonun görüntülenme ve iletim esnasõnda video dizisindeki
görüntülenme sõralamasõ……………………………………….
17
ekil 2.11. Makrobloklara ayrõlmõ" bir görüntü……………………………
18
ekil 2.12. #leri yönde kestirim…………………………………………….
18
ekil 2.13. #ki yönlü kestirim………………………………………………
19
ekil 2.14. I-Görüntülerde kullanõlan kodlama yöntemi…………………..
20
ekil 2.15. Basit bir MPEG kodlayõcõ……………………………………...
21
ekil 3.1. Bir video ileti"im sisteminin fonksiyonel bir blok diyagramõ….
24
ekil 3.2. Kod çözücüde yeniden olu"turulan video kalitesi ile farklõ
kanal hata hõzlarõnda kullanõlan gizleme fazlalõ!õ arasõndaki
ili"ki…………………………………………………………….
25
ekil 3.3. #ki uzamsal düzgünlük sõnõrlamasõ [15] (a) yalnõzca DC
katsayõ kayõp oldu!unda kullanõlõr, (b) DC katsayõ ve birkaç
dü"ük frekanslõ AC katsayõ kayõp oldu!unda kullanõlõr………..
ix
32
ekil 3.4. Uyarlamalõ POCS yöntemiyle kayõp blo!un yinelemeli olarak
34
bulunmasõ………………………………………………………
ekil 3.5. Uzamsal interpolasyon (a) Blok tabanlõ, (b) Makroblok tabanlõ
36
ekil 4.1. Kayõp makroblo!a ait her bir blo!un uzamsal interpolasyon ile
elde edilmesi (N=4)…………………………………………….
41
ekil 4.2. Makroblok seviyesinde uygulanan interpolasyon (N=4)………
42
ekil 4.3. Yönlü interpolasyon (kenar yönü 45o için)…………………….
44
ekil 4.4. Orijinal I-Görüntüsü……………………………………………
46
ekil 4.5. Hatalõ I-Görüntüsü (hata oranõ %9.4)………………………….
46
ekil 4.6. Basit zamansal hata gizleme yöntemiyle elde edilen görüntü…
47
ekil 4.7. Makroblok seviyesinde basit interpolasyonla kestirilen
görüntü…………………………………………………………
47
ekil 4.8. Makroblok seviyesinde iyile"tirilmi" basit interpolasyonla
olu"turulan görüntü…………………………………………….
48
ekil 4.9. Orijinal görüntü………………………………………………..
49
ekil 4.10. Hatalõ görüntü ( % 22 hata oranõnda 16 x 16 boyutunda hatalõ
bloklar mevcut)………………………………………………...
50
ekil 4.11. Blok seviyesinde interpolasyonla olu"turulan görüntü………...
50
ekil 4.12. Makroblok seviyesinde interpolasyonla elde edilen görüntü…..
51
ekil 4.13. Yönlü interpolasyonla kestirilen görüntü………………………
51
ekil 5.1. Kayõp blok ve onu çevreleyen hatasõz kom"u bloklar………….
53
ekil 5.2. Sekiz yönlü kenar kategorileri………………………………...
54
ekil 5.3. (a) Alçak geçiren filtre, (b) Bant geçiren filtre………………..
57
ekil 5.4. Uyarlamalõ POCS yöntemiyle kayõp blo!un yinelemeli olarak
bulunmasõ………………………………………………………
58
ekil 5.5. #"aret uzayõnda dõ"bükey kümeler üzerine izdü"üm…………...
59
ekil 5.6. (a) Orijinal görüntü, (b) Hatalõ görüntü……………………….
60
ekil 5.7. (a) Basit interpolasyonla elde edilen görüntü, (b) POCS
yöntemiyle kestirilen görüntü………………………………….
61
ekil 5.8. Lena görüntüsünün genlik spektrumu………………………….
62
ekil 5.9. Orijinal görüntü (Lena)………………………………………...
63
ekil 5.10. Hatalõ test görüntü ( % 22 hata oranõnda 16 x 16 boyutunda
hatalõ bloklar mevcut)………………………………………….
x
63
ekil 5.11. Blok seviyesinde interpolasyonla olu"turulan görüntü,
PSNR = 28.671…………………………………………………
64
ekil 5.12. Makroblok seviyesinde interpolasyonla olu"turulan görüntü,
PSNR = 29.067…………………………………………………
64
ekil 5.13. Yönlü interpolasyonla olu"turulan görüntü, PSNR = 30.054….
65
ekil 5.14. POCS yöntemiyle olu"turulan görüntü, PSNR = 29.015………
65
ekil 5.15. Orijinal görüntüsü (Baboon)…………………………………...
66
ekil 5.16. Hatalõ test görüntüsü ( % 22 hata oranõnda 16 x 16 boyutunda
hatalõ bloklar mevcut)………………………………………….
66
ekil 5.17. Blok seviyesinde interpolasyonla olu"turulan görüntü,
PSNR = 24.986…………………………………………………
67
ekil 5.18. Makroblok seviyesinde interpolasyonla olu"turulan görüntü,
PSNR = 25.490…………………………………………………
67
ekil 5.19. Yönlü interpolasyonla olu"turulan görüntü, PSNR = 24.987….
68
ekil 5.20. POCS yöntemiyle olu"turulan görüntü, PSNR = 24.830………
68
ekil 6.1. Üç boyutlu (3-D) harekete kar"õ gelen iki boyutlu (2-D)
hareket…………………………………………………………
70
ekil 6.2. #zdü"üm hareketi……………………………………………….
70
ekil 6.3. Her izdü"üm hareketi optik akõ" meydana getirmez…………...
72
ekil 6.4. Her optik akõ", izdü"üm hareketine kar"õ gelmez……………...
72
ekil 6.5. #leri ve geri yöndeki benzerlik vektörlerinin kestirimi………...
73
ekil 6.6. Basit 2-D aktarõm modeli : a) örtü"mesiz bloklar, b) örtü"en
bloklar………………………………………………………….
74
ekil 6.7. Blok E"le"tirme Yöntemi………………………………………
75
ekil 6.8. Blok e"le"tirme yöntemine dayalõ zamansal hata gizleme……..
77
ekil 6.9. Orijinal görüntü……………………………………..………….
79
ekil 6.10. Referans görüntü……………………………………….………
79
ekil 6.11. ekil 6.9 ve 6.10’daki görüntüler arasõndaki hareket vektörleri
(hareketin hõzlõ oldu!u görüntü)………………………………..
80
ekil 6.12. Hatalõ görüntü………………………………………….………
80
ekil 6.13. Basit zamansal hata gizleme yöntemiyle elde edilen görüntü
(PSNR = 26.974)……………………………………………….
ekil 6.14. Zamansal blok e"le"tirme yöntemiyle kestirilen görüntü……..
xi
81
81
ekil 6.15. Makroblok seviyesinde basit interpolasyonla olu"turulan
görüntü (PSNR = 30.727)………………………………………
82
ekil 6.16. Orijinal görüntü………………………………………………...
83
ekil 6.17. Referans görüntü……………………………………………….
83
ekil 6.18. ekil 6.16 ve 6.17’daki görüntüler arasõndaki hareket
vektörleri (hareketin yava" oldu!u görüntü)…………………...
84
ekil 6.19. Hatalõ görüntü………………………………………………….
84
ekil 6.20. Basit zamansal hata gizleme yöntemiyle elde edilen görüntü
(PSNR = 42.460)………………………………………………
85
ekil 6.21. Zamansal blok e"le"tirme yöntemiyle kestirilen görüntü
(PSNR = 45.796)……………………………………………...
85
ekil 6.22. Makroblok seviyesinde basit interpolasyonla olu"turulan
görüntü (PSNR = 31.096)……………………………………..
xii
86
TABLOLAR L STES
Tablo 2.1. 256 veya 28 grilik seviyesine sahip orijinal 8 x 8 blok………..
5
Tablo 2.2. Her bir piksel de erinden 27 veya 128 çõkartõlarak elde
edilen 8 x 8 blok……………………………………………….
5
Tablo 2.3. Tablo 2.2’de verilen 8 x 8 blo a 2-D DCT i!leminin
uygulanmasõ sonucu elde edilen 8 x 8 2-D DCT katsayõlarõ…..
6
Tablo 2.4. Kuantalanmõ! 2-D DCT katsayõlarõ…………………………...
7
Tablo 4.1. Birinci deney için farklõ hata gizleme yöntemleriyle elde
edilen görüntülerin PSNR (dB) de erleri……………………..
45
Tablo 4.2. "kinci deney için farklõ hata gizleme yöntemleriyle kestirilen
görüntülerin PSNR (dB) de erleri…………………………….
48
Tablo 5.1. 48 x 48 boyutunda bir kenar blok üzerinde yapõlan
simülasyon sonucu elde edilen PSNR de erleri……………….
60
Tablo 5.2. "kinci deneyde elde edilen PSNR (dB) de erleri……………...
61
Tablo 6.1. Farklõ hata gizleme yöntemleriyle kestirilen görüntülerin
PSNR (dB) de erleri…………………………………………..
xiii
78
ÖZET
Anahtar Kelimeler : Hata Gizleme, Sayõsal Görüntü !leme, MPEG, JPEG, Hareket
Vektörü, Hareket Denkle!tirmesi, 2-D Hareket, Hareket Kestirimi, Piksel Uzayõnda
nterpolasyon, Yönlü nterpolasyon, Dõ!bükey Kümeler Üzerine zdü!üm, Basit
Zamansal Hata Gizleme, Blok E!le!tirme Yöntemine Dayalõ Zamansal Hata
Gizleme, Performans De"erlendirmesi
Internet ve kablosuz a" gibi iletim ortamlarõnõn günümüzde önem kazanmasõyla
birlikte video ve di"er çoklu ortam ürünlerinin kullanõmõna yönelik talepler de
giderek artmaktadõr. A" uygulamalarõ arasõnda en önemlilerden biriside sayõsal
görüntü iletimidir. Sõnõrlõ bant geni!li"ine sahip bu a" ortamlarõ üzerinden sayõsal
görüntü iletimini sa"layabilmek için bir sõkõ!tõrma algoritmasõ kullanõlmaktadõr.
Örne"in hareketsiz sayõsal görüntüler için JPEG, hareketli sayõlar görüntüler (video)
içinse H.263 ve MPEG-X ailesi gibi blok tabanlõ, ayrõk kosinüs dönü!ümünü (DCT)
kullanan kodlayõcõlar en yaygõn olarak kullanõlanlardõr.
Bu tip kodlayõcõlar ayrõk kosinüs dönü!ümü, blok kuantalama, hareket denkle!tirmesi
ve de"i!ken uzunlukta kodlama gibi yöntemlerin yardõmõyla sayõsal görüntüdeki
zamansal, uzamsal ve istatistiksel fazlalõklarõ atarak sõkõ!tõrma i!ini gerçekle!tirirler.
Bu sõkõ!tõrma algoritmasõ görüntüdeki fazlalõklarõ azaltõrken hatalara kar!õ daha az
toleranslõ bir bit akõ!õ olu!turur. Sõkõ!tõrma algoritmasõ de"i!ken uzunlukta kodlayõcõ
kullanõmõ yüzünden iletim ortamõndaki hatalara kar!õ çok fazla duyarlõdõr. letim
sõrasõnda tek bir bit hatasõ bile tüm görüntü blo"unun bozulmasõna sebep olabilir.
Hatta e!zamanlamanõn kaybolmasõna bile sebep olabilir ki bu da ardõndan gelen
görüntü bloklarõnõn yanlõ! !ekilde çözülmesiyle sonuçlanõr.
Hata gizleme yöntemleri i!te bu problemin üstesinden gelmek için kullanõlõr. Hata
gizleme, di"er hata düzeltme yöntemleri ile geri kazanõlamayan kayõp görüntü
bloklarõnõ telafi etmeye yarayan önemli bir teknolojidir.
Literatürde birçok hata gizleme yöntemi bulunmaktadõr. Bu tezde piksel uzayõnda
interpolasyon, yönlü interpolasyon, dõ!bükey kümeler üzerine izdü!üm yöntemleri ve
blok e!le!tirme yöntemine dayalõ zamansal hata gizleme yöntemleri sunulmu!tur.
lerleyen bölümlerde bu hata gizleme yöntemleri arasõnda birer de"erlendirme
yapõlõp üstünlükleri ve eksiklikleri belirtilmi!tir.
xiv
ERROR CONCEALMENT IN ENCODED IMAGES AND VIDEO
SUMMARY
Key words : Error Concealment, Digital Image Processing, MPEG, JPEG, Motion
Vector, Motion Compensation, 2-D Motion, Motion Estimation, Pixel Domain
Interpolation, Directional Interpolation, Projection onto Convex Sets, Simple
Temporal Error Concealment, Temporal Error Concealment Baesd on Block
Matching Principles, Performance Evaluation
The demand for video and other multimedia data continues to expand as the Internet
and wireless networks become important transmission mediums. One of the most
important network applications is digital image transmission. A compression
algorithm is used in order to transmit digital image bitstream in these networks,
which have limited bandwidth. For instance, block-based, discrete cosine transform
(DCT) codecs such as JPEG for still digital images, the H.263 and the MPEG-X
families for moving digital images (digital video) are widely used.
These types of encoders achieve compression through the elimination of temporal,
spatial and statistical redundancies with the use of motion compensation, block
quantization inside a discrete cosine transform, and variable lenght encoding. This
compression, while reducing redundancies, creates a bitstream that is much less
resilient to error. The compression algorithm is very sensitive to channel
disturbances due to the use of variable lenght coding. Even a one bit error during
transmission can cause the decoding failure of the entire image block. Bit errors can
also cause loss of synchronization and thus result in erroneous decoding of the
following image blocks.
Error concealment (EC) methods present one way of dealing with these problems.
Error concealment is an important technology to compensate for the loss of image
blocks which cannot be well recovered by other error correcting methods.
Many error concealment techniques have been proposed in the literature. In this
thesis, we present pixel domain interpolation, directional interpolation, projection
onto convex sets and temporal error concealment based on block matching
principles. In the following chapters, a performance evaluation is done among these
error concealment algorithms. Furthermore, advantages and deficiencies of these
algorithms are discussed.
xv
BÖLÜM 1. G R !
Çe itli kanal veya a! hatalarõ sõkõ tõrõlmõ
video paketlerinin iletim sõrasõnda
kaybolabilmesine ya da hasar görmesine sebep olmaktadõr. Sayõsal bir video, sayõsal
bir görüntüdeki fazlalõklara ek olarak zamansal fazlalõklar da atõlarak sõkõ tõrõlõr.
Video akõ õnõn iletim ortamõndaki hatalara kar õ çok fazla duyarlõ olmasõna sebep
olan iki neden; hareket denkle tirmesi ve de!i ken uzunlukta kodlamadõr. Hareket
denkle tirmesinin kullanõlmasõndan dolayõ bir önceki görüntüdeki hatalõ blok video
akõ õ sõrasõnda bir I-Görüntünün kodu çözülene kadar ardõndan gelen görüntüleri
olumsuz yönde etkiler. Di!er yandan de!i ken uzunlukta kodlama kullanõlõyorsa
sõkõ tõrõlmõ
bit dizinde olu abilecek tek bir bit hatasõ bile e zamanlamanõn
kaybolmasõna ve bu nedenle hatalõ bitten sonra gelen bitlerin alõcõda çözülememesine
sebep olabilir. Veri akõ õ ile sayõsal video akõ õ arasõndaki en önemli farklardan biri
de sayõsal video akõ õnõn yüksek orandaki bit hatlarõna kar õ dayanõklõ olmasõdõr.
Hasar görmü bir paketin tümüyle yok sayõlmasõ ya da yeniden iletimin kullanõlmasõ
yerine alõcõ, hata gizleme olarak adlandõrõlan bir yöntemle kayõp veriyi videonun
hatasõz alõnan kõsõmlarõndan kestirebilir. Hata gizleme algoritmalarõ görsel kaliteyi
oldukça arttõrõr. Video dizisindeki mevcut uzamsal ve zamansal fazlalõklar kayõp
bilginin kestirilmesi için bize yardõmcõ olurlar. Uzamsal ve zamansal fazlalõklarõ
kullanan hata gizleme yöntemleri sõrasõyla “uzamsal hata gizleme” ve “zamansal hata
gizleme” olarak sõnõflandõrõlmõ tõr. Bu tezde sõkõ tõrõlmõ
sayõsal görüntüler ve
videolar için kullanõlan uzamsal hata gizleme yöntemleri ele alõnmõ tõr.
Son on yõl içersinde birkaç hata gizleme yöntemi geli tirilmi tir. Piksel uzayõnda
interpolasyon, yönlü interpolasyon gibi bazõ yöntemler sezgi yoluyla ve kolay
anla õlabilirdir. Hata gizleme kayõp verinin hatasõz bir ekilde kestirilmesini sa!layan
bir çözüme sahip olmayan bir problemdir. Genellikle ön bir bilgiyi kullanan bazõ
kõsõtlamalar mümkün çözüm kümesini sõnõrlamak için kullanõlõr. Farklõ yöntemler
farklõ bakõ açõlarõna ba!lõ olarak optimum çözümü bulmaya çalõ õrlar.
2
Hata gizleme yöntemlerinin daha iyi anla õlmasõnõ ve gelecekti ara tõrmalarõn
yönünün belirlenmesini sa!layan performans de!erlendirmesi ara tõrmacõlar için
oldukça önemlidir. Farklõ yöntemler farklõ bakõ
açõlarõna ba!lõ olarak belirli
durumlarda en iyi sonuçu aldõklarõnõ iddia etmektedir. Buna ra!men literatürde bu
hata gizleme yöntemleri kar õla tõran geni kapsamlõ bir de!erlendirme mevcut
de!ildir. Bu tezde iletim hatalarõndan kaynaklanan görsel bozulmalarõ düzelten farklõ
yöntemler farklõ görüntüler üzerinde kar õla tõrõlmõ tõr.
Kar õla tõrmalar do!al görüntüler üzerinde yapõlmõ tõr. Farklõ a!lar ve farklõ
sõkõ tõrma teknikleri göz önüne alõnarak iki çe it iletim hatasõ varsayõlmõ tõr : blok
tabanlõ ve dilim tabanlõ hatalar. Yeniden olu turulan görüntünün kalitesi ve
hesaplama karma õklõ!õ performans de!erlendirmesi için kullanõlan kriterlerdir.
Kolay hesaplanmasõndan dolayõ nesnel görüntü kalitesi ölçütü olarak tepe-i aretgürültü-oranõ (PSNR) de!erleri kullanõlmõ tõr. En sonunda, görüntüler insanlar
tarafõndan de!erlendirilece!ine göre öznel ölçütler daha çok kullanõlabilir. Buna
ra!men geni çapta öznel bir görüntü kalitesi de!erlendirmesi yapmak çok zor
olaca!õndan bu tezde öncelikle nesnel ölçütler göz önüne alõnmõ tõr.
Bu tez a a!õdaki bölümlerden olu maktadõr. Bölüm 2’de sayõsal görüntü ve video
sõkõ tõrma standartlarõ hakkõnda genel bir açõklama yapõlmõ tõr. "letim hatalarõnõn
olu um sebepleri ve literatürdeki farklõ hata gizleme yöntemleri kõsaca Bölüm 3’de
anlatõlmõ tõr. Bölüm 4 ve 5’de sõrasõyla piksel uzayõnda interpolasyon ve dõ bükey
kümler üzerine izdü üm (POCS) yöntemleri tanõtõlõp bu yöntemlere ait simülasyon
sonuçlarõna yer verilmi tir. Bölüm 6’da blok e le tirme yöntemine dayalõ zamansal
hata gizleme yöntemi anlatõlmõ tõr. Bölüm 7’de varõlan sonuçlar ve gelecek
çalõ malara yönelik öneriler sunulmu tur.
BÖLÜM 2. SAYISAL GÖRÜNTÜ VE V DEO SIKI!TIRMA
STANDARTLARI
2.1. Giri"
Sayõsal görüntü için tanõmlanmõ yaygõn birçok kayõpsõz veya kayõplõ sõkõ tõrma†
yöntemi sayõsal görüntülerin sõkõ tõrõlmasõnda, iletilmesinde ve i lenmesinde önemli
rol oynamõ tõr. Bu bölümde sayõsal görüntü için JPEG ve sayõsal video için MPEG
sõkõ tõrma
standartlarõ
kõsaca
tanõtõlacaktõr.
Bu
standartlar
Uluslararasõ
Standartla tõrma Organizasyonu (ISO) ve Uluslararasõ Telefon ve Telgraf !sti ari
Kurulu (CCITT) tarafõndan onaylanmõ tõr.
2.2. Sayõsal Görüntü Sõkõ"tõrma Standartlarõ
CCITT ve ISO tarafõndan standartla tõrma sürecinden birkaç evreden geçen sayõsal
görüntü sõkõ tõrma standartlarõ hem grilik seviyesi bir görüntüye hem de renkli bir
görüntüye uygulanabilir. CCITT ve ISO bu standartlarõ olu tururken dünyanõn her
tarafõndaki çe itli
irketlerden, üniversitelerden ve ara tõrma laboratuarlarõndan
tavsiyeler almaktadõr. Tavsiyelerin kuvvetli yönleri birle tirilerek en iyi görüntü
kalitesi ve sõkõ tõrma oranõ veren bir standart olu turulmaktadõr. Sayõsal görüntüyü
bloklara
ayõrõp,
bloklarõn
ayrõk
kosinüs
dönü üm
(DCT)
katsayõlarõnõn
kuantalanmasõyla sõkõ tõrma sa"layan JPEG ve görüntünün dalgacõk (wavelet)
dönü üm katsayõlarõnõn kuantalanmasõna dayanan JPEG 2000 yaygõn sayõsal görüntü
sõkõ tõrma standartlarõdõr.
†
Kayõpsõz sõkõ tõrma hata olu umunun istenmedi"i durumlarda sadece veri fazlalõ"õnõ azaltmak için
kullanõlõr. Daha fazla sõkõ tõrma gerekli oldu"unda sõkõ tõrma oranõnõ arttõrmak için bazõ hatalarõn göz
ardõ edildi"i uygulamalarda ise kayõplõ sõkõ tõrma kullanõlõr. Kayõpsõz sõkõ tõrma yasal nedenlerden
dolayõ kayõplõ sõkõ tõrmanõn kullanõlmadõ"õ tõbbi ve ticari dokümanlarda kullanõlõr.
4
2.2.1. JPEG
JPEG !ngilizce “Joint Photographic Experts Group” (Ortak Fotogrofik Uzman
Grubu) cümleci"inin kõsaltmasõdõr. Gerekli sõkõ tõrma oranõna göre farklõ üç JPEG
sisteminden söz etmek mümkündür :
1) Temel (referans) kayõplõ kodlayõcõ sistem : Ayrõk kosinüs dönü ümünü (DCT)
kullanan ve birçok uygulama için yeterli olan bir sistemdir.
2) Geni letilmi
kodlayõcõ sistem : Yüksek miktarda sõkõ tõrma gerekli
oldu"unda kullanõlõr. Özel uygulamalarda kullanõlmasõ uygundur.
3) Ba"õmsõz kayõpsõz kodlayõcõ sistem : Sõkõ tõrõlmõ
görüntüden orijinal
görüntünün elde edilmesinde hata olu masõ istenmiyorsa kullanõlõr. Di"er bir
deyi le görüntü kalitesinin bozulmamasõnõn zorunlu oldu"u durumlarda
kullanõlõr.
Kuantalanmõ DCT katsayõlarõ 11 bit ile sõnõrlandõrõlõrken temel yada daha do"ru bir
ifade ile ardõ õl temel sistemlerde giri ve çõkõ lardaki veri do"rulu"u 8 bit ile
sõnõrlandõrõlmõ tõr. Sõkõ tõrma i lemi ardõ ardõna uygulanan üç adõmdan olu maktadõr :
1) Sayõsal görüntünün 8 x 8 boyutunda bloklara ayrõlõp her bir blo"un iki
boyutlu (2-D) ayrõk kosinüs dönü ümünün (DCT) hesaplanmasõ
2) 2-D DCT sonucundan elde edilen katsayõlarõn kuantalanmasõ
3) Kuantalanmõ
katsayõlarõn her biri için de"i ken uzunlukta bir kod
olu turulmasõ
Birinci adõmda görüntü soldan sa"a ve yukarõdan a a"õya do"ru olmak üzere 8 x 8
piksel boyutunda bloklara bölünür. Her bir 8 x 8 blok 64 piksele kar õ gelmektedir.
Her bir pikselin grilik seviyesi 2n görüntüdeki maksimum grilik seviyesini belirtmek
üzere piksel de"erlerinden 2n-1 de"erinin çõkartõlmasõyla kaydõrõlõr. Bu i lem Tablo
2.1 ve Tablo 2.2’de açõklanmõ tõr. Tablo 2.1 orijinal 8 x 8 blo"u ve Tablo 2.2’de
orijinal bloktaki her bir piksel de"erinden 128 çõkartõlarak elde edilen kaydõrõlmõ
8 x 8 blo"u göstermektedir.
5
Tablo 2.1. 256 veya 28 grilik seviyesine sahip orijinal 8 x 8 blok
(Grilik seviyesi de"erleri 0,+255 de"erleri arasõnda)
52
55
61
66
70
61
64
73
63
59
66
90
109
85
69
72
62
59
68
113
144
104
66
73
63
58
71
122
154
106
70
69
67
61
68
104
126
88
68
70
79
65
60
70
77
68
58
75
85
71
64
59
55
61
65
83
87
79
69
68
65
76
78
94
Tablo 2.2. Her bir piksel de"erinden 27 veya 128 çõkartõlarak elde edilen 8 x 8 blok
(Grilik seviyesi de"erleri -128, +127 de"erleri arasõnda)
-76
-73
-67
-62 -58 -67 -64 -55
-65
-69
-62
-38 -19 -43 -59 -56
-66
-69
-60
-15
16
-24 -62 -55
-65
-70
-57
-6
26
-22 -58 -59
-61
-67
-60
-24
-2
-40 -60 -58
-49
-63
-68
-58 -51 -65 -70 -53
-43
-57
-64
-69 -73 -67 -63 -45
-41
-49
-59
-60 -63 -52 -50 -34
!kinci adõmda piksel de"erleri kaydõrõlmõ her bir 8 x 8 blo"un 2-D ayrõk kosinüs
dönü ümü (DCT) hesaplanõp bulunan katsayõlar kuantalanõr. Genel olarak sayõsal bir
görüntünün ayrõk dönü ümü a a"õdaki gibi gösterilebilir. f (x,y), (x,y) noktasõndaki
grilik seviyesini belirtmek üzere N x N boyutundaki sayõsal bir f (x,y) görüntüsünün
ayrõk dönü ümü T (u , v )
N !1
N !1
f ( x, y ) g ( x, y , u , v )
T (u , v ) =
x
"
0y
"
0
denklemiyle verilir. Ayrõk dönü üm T (u,v)’den orijinal görüntü f (x,y) ise
(2.2.1)
6
N !1
N !1
f ( x, y ) =
(2.2.2)
T (u , v) h( x, y, u , v)
u
"
0v
"
0
ayrõk ters ba"õntõsõyla geril elde edilebilir.
Denklem (2.2.1) ve (2.2.2)’deki g (x,y,u,v) ve h (x,y,u,v) sõrasõyla ileri ve ters
dönü üm pencereleme fonksiyonlarõdõr. 2-D ayrõk kosinüs dönü ümü (DCT)
durumunda g (x,y,u,v) ve h (x,y,u,v) denklem (2.2.3) ile tanõmlanõr.
g (x,y,u,v) = h (x,y,u,v)
=
( ( 2 x ) 1)u* %
( ( 2 y ) 1)v* %
cos &
#
#$
2N
2N
$
'
+ (u )+ (v) cos &
'
(2.2.3)
Denklem (2.2.3)’teki + (u ) katsayõlarõ
/ 1
,
,
+ (u ) " . N
, 2
,- N
u= 0 için
(2.2.4)
u = 1,2,…,N-1 için
ifadesiyle tanõmlanmaktadõr. Tablo 2.2’de verilen 8 x 8 blo"un 2-D DCT’si
hesaplandõktan sonra elde edilen 8 x 8 blok Tablo 2.3’te belirtilmi tir.
Tablo 2.3. Tablo 2.2’de verilen 8 x 8 blo"a 2-D DCT i leminin uygulanmasõ sonucu elde edilen 8 x 8
2-D DCT katsayõlarõ
-415
-29
-62
25
55
-20
-1
3
7
-21
-62
9
11
-7
-6
6
-46
8
77
-25 -30
10
7
-5
-50
13
35
-15 -9
6
0
3
11
-8
-13
-2
-1
1
-4
1
-10
1
3
-3
-1
0
2
-1
-4
-1
2
-1
2
-3
1
-2
-1
-2
-1
-1
0
-1
-1
-1
2-D Ayrõk kosinüs dönü ümü (DCT) hesaplanmõ 8 x 8 blo"un her bir elemanõ #ekil
2.1’de gösterilen kuantalanma matrisi aracõlõ"õyla kuantalanõr.
7
-c -2c -3c
16
11
10
16
24
40
51
61
1
12
12
14
19
26
58
60
55
2
14
13
16
24
40
57
69
56
14
17
22
29
51
87
80
62
18
22
37
56
68
109
103
77
24
35
55
64
81
104
113
92
49
64
78
87
103
121
120
101
72
92
95
98
112
100
103
99
3
T (u,v)
-1c 2c 3c
-2
-3
(a)
(b)
#ekil 2.1. (a) Kuantalama e"risi, (b) Tipik bir JPEG kuantalama matrisi
Kuantalama i lemi matematiksel olarak
( T (u, v) %
Tˆ (u, v) " round &
#
' Z (u, v) $
(2.2.5)
denklemiyle ifade edilir. Burada Tˆ (u , v ) kuantalanmõ de"eri, Z (u , v ) kuantalama
matrisindeki bir de"eri ifade etmektedir. Örne"in, Tablo 2.3’teki DC katsayõ -415’e
(Tablo 2.3’te 1. satõr ve 1. sütundaki sayõ) kuantalama i lemi uygulanõrsa
( ! 415 %
" round &
" !26
' 16 #$
elde edilir. Tablo 2.3’teki tüm de"erler bu ekilde kuantalandõ"õnda Tablo 2.4’te
verilen kuantalanmõ 2-D DCT katsayõlarõ bulunur.
Tablo 2.4. Kuantalanmõ 2-D DCT katsayõlarõ
-26
-3
-6
2
2
0
0
0
1
-2
-4
0
0
0
0
0
-3
1
5
-1
-1
0
0
0
-4
1
2
-1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
8
Tablo 2.4 dikkatli incelendi"inde, 2-D DCT ve kuantalanma i lemi sonucunda
özellikle yüksek frekans bölgesindeki ço"u katsayõnõn 0 oldu"u görülmektedir.
Sõfõrdan farklõ katsayõlar dü ük frekans bölgesinde (matrisin sol üst kö esinde)
yo"unla mõ tõr. Di"er bir deyi le 2-D DCT sayõsal görüntünün önemli frekans
bile enlerini dü ük frekans bölgesinde yo"unla tõrmaktadõr. Bu i lem #ekil 2.2’de
belirtilmi tir.
#ekil 2.2. 2-D DCT sonucunda önemli frekans bile enleri dü ük frekans bölgesinde yo"unla õr
Son adõmda sadece sõfõrdan farklõ katsayõlarõ kodlamak amacõyla 8 x 8 kuantalanmõ
blok #ekil 2.3’te gösterilen zigzag taramaya tabi tutularak katsayõlar büyükten
küçü"e do"ru sõralanõr.
#ekil 2.3. Zigzag tarama
Tablo 2.4’te gösterilen iki boyutlu dizi zigzag tarama sonucunda a a"õdaki katsayõ
dizisine dönü türülür.
[-26 -3 1 -3 -2 -6 2 -4 1 -4 1 1 5 0 2 0 0 -1 2 0 0 0 0 0 -1 -1 EOB]
Buradaki EOB blo"un bitti"ini göstermektedir.
9
Zigzag tarama yöntemiyle sõralanmõ katsayõlar için JPEG kodlama yapõsõ mevcut
8 x 8 blo"un DC katsayõsõ ile bir önceki kodlanmõ 8 x 8 blo"un DC katsayõlarõ
arasõndaki farkõn hesaplanmasõyla ba lar. Burada bir önceki kodlanmõ 8 x 8 blo"un
DC de"erinin -17 oldu"unu kabul edelim. Bu durumda aradaki fark [-26-(-17)] = -9
olacaktõr. -9 kar õ gelen DC fark kategorisi 4’tür [1]. Huffman fark tablosunda
kategori 4’e uygun temel kod 101’dir (3 bit) [1]. Yine aynõ tabloya göre kategori 4
için kodlanmõ katsayõnõn ifade edilece"i toplam bit sayõsõ 7’dir. Geriye kalan bu 4
bitin de"eri ise fark de"erinin en az anlamlõ bitlerinden elde edilir. E"er hesaplanan
fark pozitif bir sayõ ise bu sayõnõn en az anlamlõ 4 biti direkt olarak yazõlõr.
Hesaplanan fark negatif bir sayõ ise farkõn en az anlamlõ 4 bitinden 1 çõkartõlõr. Bizim
örne"imizde fark -9 oldu"u için geriye kalan 4 bit (0111) – 1 yani 0110 olacaktõr.
Böylece DC katsayõ için kodlanmõ kelime 1010110 olarak elde edilir.
Sõfõrdan farklõ AC katsayõlar da JPEG AC katsayõsõ kod tablosu kullanõlarak kodlanõr
[1]. AC katsayõlar ile DC katsayõlarõn kodlanmasõ arasõnda bir fark vardõr. Her bir
AC katsayõsõ için kod kelimesi AC katsayõnõn kendisinden önce gelen sõfõr de"erli
katsayõlarõn sayõsõna ba"lõ olarak üretilir. Örne"in sõfõrdan farklõ ilk AC katsayõsõ -3
0100 eklinde kodlanõr. Kodlama yapõlõrken sõfõr de"erli katsayõlar dikkate alõnmaz
ve hemen ondan sonra gelen sõfõrdan farklõ ilk AC katsayõsõ dikkate alõnõr. Örne"in
yukarõdaki tek boyutlu dizide 14. katsayõ sõfõr de"erlidir. O yüzden bu katsayõ atlanõr
ve hemen arkasõndan gelen de"eri 2 olan AC katsayõsõ dikkate alõnõr. JPEG AC
katsayõsõ kategori tablosunda 2 de"erinin AC kategorisi 2’dir [1]. JPEG AC katsayõsõ
kod tablosundaki 1 / 2’ye denk gelen de"erlere dikkat edilir [1]. Burada 1 AC
katsayõsõndan önce gelen sõfõr de"erli katsayõlarõn sayõsõnõ, 2 ise az önce buldu"umuz
AC kategori de"erini göstermektedir. Tabloya göre de"eri 2 olan AC katsayõsõ için
kodlanmõ kelime üretirken temel kod 111001 (6 bit) olur ve tüm kelime 8 bit ile
ifade edilir. Geriye kalan 2 bit yukarõda anlatõlan ekilde hesaplanõr ve üretilen
kelime 11100110 olur. Zigzag taramayla sõralanmõ
katsayõ dizisi bu
ekilde
kodlandõ"õnda
1010110 0100 001 0100 0101 100001 0110 100011 011 100011 001 001 100101
11100110 110110 0110 11110100 000 1010
elde edilir. Burada okunabilirli"in artmasõ için her bir kelime arasõna bo luk
konmu tur.
10
2.2.2. JPEG 2000
JPEG standardõnõn geni letilmi
sõkõ tõrõlmasõnda
ve
sõkõ tõrõlmõ
hali olan JPEG 2000, sayõsal görüntünün
görüntüye
eri imde
daha
fazla
esneklik
sa"lamaktadõr. Gelecek sistemler için çok de"erli özellikler sunan JPEG 2000
dalgacõk temelli bir sõkõ tõrma standardõdõr. Dalgacõk tabanlõ sistem ile dönü üm
kodlama sistemi arasõndaki en temel fark dalgacõk tabanlõ sistemlerde görüntünün
8 x 8 piksel boyutunda bloklara bölünmemesidir. Çünkü geleneksel dönü ümler
görüntünün sadece frekans bile enlerini verirken, taban fonksiyonlarõ de"i ken
frekanslõ ve sõnõrlõ süreli dalgacõklara dayalõ olan dalgacõk (wavelet) dönü ümü hem
frekans bilgisini hem de frekans bile enlerinin zaman uzayõnda nereden
kaynaklandõ"õnõ belirtmektedir. Böylece ayrõk kosinüs dönü ümüne (DCT) dayalõ
JPEG sõkõ tõrma standardõ ile yüksek oranlarda sõkõ tõrõlan görüntülerde görülen kare
etkisi yok edilmi olur. JPEG 2000 standardõ ISO/IEC tarafõndan 2000 yõlõnda
onaylanmõ tõr.
2.3. Sayõsal Video Sõkõ"tõrma Standartlarõ
Video sõkõ tõrma standartlarõ bir önceki kõsõmda açõklanan sayõsal görüntü sõkõ tõrma
standartlarõnõn devamõ niteli"indedir. Sayõsal bir videoda sayõsal bir görüntüdeki
fazlalõklara ek olarak zamansal fazlalõk mevcuttur. Günümüzde kullanõlan video
sõkõ tõrma standartlarõnõn prensipleri hemen hemen aynõdõr. Sõkõ tõrõlmõ videonun
hangi amaçla kullanõlaca"õna göre sayõsal video sõkõ tõrma standartlarõ iki sõnõfa
ayrõlabilir :
1) Video telekonferans standartlarõ
2) Çoklu ortam (multi media) standartlarõ
Uluslararasõ Telekomünikasyon Birli"i (ITU) tarafõndan belirlenmi H.261 (PX64
olarak da adlandõrõlõr), H.262, H.263 ve H.320 gibi birçok video telekonferans
standardõ vardõr. H.261 150ms’den daha az gecikme payõ ile T1† hatlarõ üzerinden
sayõsal video iletimini uygulanabilir bit hõzlarõnda gerçekle tirmek amacõyla
geli tirilmi tir.
†
T1 hatlarõ 10 ile 50 mil arasõndaki kõsa mesafelerde sayõsal ses iletimi için Bell sistem tarafõndan
geli tirilmi tir. Tek bir T1 hattõ üzerinden 24 telefon kanalõ ileti im yapabilir.
11
Gecikme 150ms’yi a tõ"õ zaman videodaki süreklilik sa"lanamaz. Di"er bir yandan
H.263 10 ile 30 kbit/s aralõ"õndaki çok dü ük bit hõzlarõnda video iletimi için
tasarlanmõ tõr. H.320 ise H.261’in bir üst sõnõfõdõr ve Tümle ik Hizmetler Sayõsal A"õ
için tasarlanmõ tõr.
Sayõsal video yayõnõ, HDTV (Yüksek Çözünürlüklü TV) yayõnõ ve sayõsal
görüntü/video veritabanõ servisleri için geli tirilen çoklu ortam video sõkõ tõrma
standartlarõ benzer hareket kestirimi ve kodlama tekniklerini kullanmaktadõr. Çoklu
ortam sayõsal video sõkõ tõrma standartlarõndan bazõlarõ CCITT ve ISO’ya ait
Hareketli Görüntü Uzman Grubu’nun (MPEG) kontrolünde geli tirilmi olan MPEG1, MPEG-2 ve MPEG-4’tür. MPEG-1 standardõ sayõsal videolarõn iyi bir kalitede CD
gibi sayõsal ortamlarda saklanõp izlenmesini sa"lamak amacõyla geli tirilmi bir
standarttõr. MPEG-1 1.5 Mbit/s hõzõndaki bit hõzlarõnõ desteklemektedir. MPEG-2
standardõ NTSC/PAL’a ve CCIR 601’e benzer video kalitesinin gerekti"i
uygulamalarõ, 2 ile 10 Mbit/s aralõ"õndaki bit hõzõnda kablo TV da"õtõmõnõ ve sõnõrlõkanal uydu yayõnlarõnõ desteklemek amacõyla geli tirilmi tir. Her iki standardõnda
ana amacõ sayõsal ses ve videonun a" üzerinde gürültüden etkilenmeyecek ekilde
iletilmesini mümkün kõlmak oldu"u kadar az bir bant geni li"i kaplayacak ekilde
iletilmesini de sa"lamaktõr. Di"er yandan MPEG-4 standardõnõn özelikleri u ekilde
sõralanabilir :
1) Geli tirilmi hõzlõ ve verimli video sõkõ tõrma
2) !çerik tabanlõ etkile im : MPEG-4 standardõnõn asõl amacõ ses ve video
sõkõ tõrmasõ olmasõna ra"men MPEG-4 aynõ zamanda metinleri, üç boyutlu
nesneleri ve di"er ortam türlerini de desteklemektedir.
3) Hataya e"ilimli ortamlarda do"ru iletimi sa"lama, ses ve görüntüye ekleyip
çõkarabilme kabiliyeti ve ölçeklenebilir çözünürlük
Tüm bu fonksiyonlar sayõsal videoyu keyfi bir biçimde bölme gereklili"ini ortaya
çõkarmaktadõr. Ancak bölme MPEG-4 standardõnõn bir parçasõ de"ildir. Bu
standardõn di"er iyi bir yanõ video içeri"inin bilgisayar oyunlarõnda oldu"u gibi
üretilebilmesi ve video nesnelerine kolaylõkla eri ilebilmesidir. MPEG-4 kablosuz ve
kablolu telefon a"larõ için 5 ile 64 kbit/s arasõndaki bit hõzlarõnda iletimi, film ve TV
uygulamalarõ içinse 4 Mbit/s’ye kadar olan bit hõzõndaki iletimi hedeflemektedir.
Ayrõca MPEG-4 hem de"i ken uzunlukta hem de sabit uzunlukta kodlamayõ
12
desteklemektedir. Yukarõda anlatõlan her bir standart hareket dengelemeli (motion
compensated),
ayrõk
kosinüs
dönü ümü
(DCT)
tabanlõ
kodlama
yapõsõnõ
kullanmaktadõr.
2.3.1. MPEG video hiyerar"isi
MPEG standardõ, video akõ õ sõrasõnda #ekil 2.4’te gösterilen bir veri yapõsõ
hiyerar isi tanõmlamaktadõr.
#ekil 2.4. MPEG sayõsal video hiyerar isi
Video Dizisi : Ba lõk kodu ile ba layan dizi bir veya birden çok görüntü grubunu
içerebilir. En sonunda da dizinin bitti"ini belirten sonlandõrõcõ kod mevcuttur.
Görüntü Grubu : Bir veya birden fazla görüntüden olu an bir grup yapõsõyla
videonun herhangi bir görüntüsüne eri mek mümkündür.
Görüntü : Video dizisinin kodlanan ana birimidir. Görüntü karesi parlaklõk
de"erlerini ifade eden Y matrisi ve renk de"erlerini ifade eden Cb, Cr matrisleri
13
olmak üzere 3 matris içermektedir. Cb ve Cr matrislerinin boyutu #ekil 2.5’te
gösterildi"i gibi Y matrisinin yarõsõdõr.
#ekil 2.5. (a) Y, Cb, Cr matrisleri arasõndaki ili ki, (b) Y, Cb, Cr matrislerinin yerle imi
#ekil 2.5’te aynõ zamanda görüntüdeki renklilik ve parlaklõk elemanlarõnõn x-y
düzlemi boyunca yerle imi gösterilmektedir. Dikkat edilirse dört parlaklõk (Y)
de"erine kar õlõk iki renklilik de"eri (Cb ve Cr) vardõr. #ekil 2.5’te Cb ve Cr
de"erleri aynõ yerde tek bir dair ile gösterilmi tir.
Makroblok : Parlaklõk elemanlarõnõn (Y1, Y2, Y3, Y4 ) olu turdu"u 16 x 16 piksel
boyutlarõndaki matrisle buna kar õlõk gelen 8 x 8 boyutlarõndaki renklilik de"erlerini
ifade eden matrislerden (Cb ve Cr) olu ur.
#ekil 2.6. Makroblok yapõsõ
14
Bir makroblok #ekil 2.6’da gösterildi"i gibi dört adet Y blo"u, bir adet Cb ve bir adet
Cr blo"undan olu ur.
Dilim : Bir veya daha çok sayõda biti ik makrobloktan meydana gelmi tir. Dilim
içersinde makrobloklar soldan sa"a, yukardan a a"õya do"ru sõralanõrlar. Dilim yapõsõ
görüntüdeki hatalarõn yerinin ve nedenlerinin tespit edilmesi için oldukça önemlidir.
E"er bit akõ õ sõrasõnda bir hata olu ursa kod çözücü senkronizasyonu kaybedece"i
için bulundu"u dilimi atlayõp bir sonrakine geçer.
Blok : Parlaklõk veya renklilik elemanõnõn de"erlerini gösteren 8 x 8 boyutundaki
matristir. Kodlayõcõnõn giri ine gönderilen en temel birimdir. ‘Görüntü blo"u’ olarak
da adlandõrõlmaktadõr.
2.3.2. Kodlanan görüntü türleri
Video dizisi içersindeki bir görüntünün içerdi"i bilgi ile kendisinden önce ve sonra
gelen görüntülerdeki bilgi arasõnda yakõn bir ili ki vardõr. Bunun nedeni genellikle
bir video dizisinde arka arkaya gelen görüntüler arasõnda küçük de"i imler olmasõdõr.
MPEG standardõ görüntüleri referans bir görüntüye ba"lõ olarak ifade edip bu
zamansal fazlalõlõ"õn avantajõnõ kullanõr.
MPEG standardõ üç tür görüntü tanõmlamõ tõr. Ba"õmsõz görüntü (I-Görüntü),
kestirilmi görüntü (P-Görüntü) ve iki yönlü görüntü (B-Görüntü). A a"õda her bir
görüntü türü kõsaca tanõtõlacaktõr.
2.3.2.1. Ba#õmsõz görüntü (I-Görüntü)
I-Görüntüler sadece kendilerine ait görsel bilgi kullanõlarak kodlanõrlar. Yani
kendisinden önceki ve sonraki görüntülerden ba"õmsõzdõrlar. Bu yüzden ba"õmsõz
görüntü olarak adlandõrõlõrlar. I-Görüntü video akõ õ içersinde istenilen bir ana
rasgele eri imi kolayla tõrõr. Ayrõca, iletim sõrasõnda olabilecek hatalarõn yayõlõmõnõ
da azaltõrlar. Bu nedenle I-Görüntü sõkõ tõrõlmõ kod dizisi içersinde periyodik olarak
yenilenirler.
15
2.3.2.2. Kestirilmi" görüntü (P-Görüntü)
P-Görüntü kendisinden önce gelen P-Görüntülere yada I-Görüntülere ba"lõ olarak
kodlanõrlar. Bu yöntem ‘ileri yönde kestirim’ olarak isimlendirilir.
#ekil 2.7. P-Görüntülerinin ileri yönde kestirimi
I-Görüntülere benzer olan P-Görüntüler, B-Görüntüler ve kendisinden sonra gelen PGörüntüler için referans olurlar. P-Görüntüler ilerde detaylõ anlatõlacak olan hareket
denkle tirmesi yöntemini kullanõrlar. Hareket denkle tirmesi, P-Görüntülerin IGörüntülere göre daha fazla sõkõ tõrõlabilmesini sa"lamaktadõr. Ancak P-Görüntüler
kendilerinden önceki referans P-Görüntülere yada I-Görüntülere ba"lõ olarak
kodlandõrõldõklarõndan olu abilecek kodlama hatasõnõn yayõlmasõna sebep olabilirler.
2.3.2.3. ki yönlü görüntü (B-Görüntü)
B-Görüntüler hem kendilerinden önceki hem de kendilerinden sonraki görüntüyü
referans olarak kullanõrlar. Bu yöntem ‘iki yönlü kestirim’ olarak adlandõrõlõp #ekil
2.8’de verilmi tir.
16
#ekil 2.8. B-Görüntülerin iki yönlü kestirimi
B-Görüntüler iki yönlü kestirim yöntemini kullandõklarõndan I- ve P-Görüntüye göre
daha
fazla
sõkõ tõrma
olana"õ
sa"larlar. Ayrõca,
referans
görüntü
olarak
kullanõlmadõklarõndan hatalarõn video dizisi boyunca yayõlmasõna sebep olmazlar.
2.3.3. Video akõ"õnõn olu"umu
MPEG algoritmasõ kodlayõcõya I-Görüntülerin tekrarlama frekansõnõ ve yerle imini
belirleme olana"õ sa"lar. Bu seçim, video dizilerine rasgele eri im ve sahneleri
kesme ihtiyacõna ba"lõ olarak de"i ebilir. Örne"in, rasgele eri imin önemli oldu"u
uygulamalarda I-Görüntüler #ekil 2.9’da belirtildi"i gibi saniyede iki kez
kullanõlõrlar.
#ekil 2.9. 1 saniyelik video dizisi içindeki mevcut I-, P- ve B-Görüntü sayõsõ
17
Kodlayõcõ aynõ zamanda referans görüntüler (P- veya I-Görüntüler) arasõndaki BGörüntülerin sayõsõnõ da belirler. Bu seçim, sõkõ tõrõlacak videonun içeri"ine ve
depolanacak yerin hafõzasõna ba"lõ olarak de"i ir. Örne"in, iyi bir görüntü kalitesi
için arka arkaya gelen görüntüler arasõnda #ekil 2.9’da gösterildi"i gibi iki BGörüntü bulundurulur.
MPEG kodlayõcõ, kod çözücüye yardõmcõ olmak amacõyla video akõ õ sõrasõnda
görüntüleri tekrardan sõralar. Özellikle B-Görüntülerin yeniden olu turulmasõ
sõrasõnda gerekli olan referans görüntüler B-Görüntülerden önce gönderilir. #ekil
2.10’da görüntülenme ve iletim esnalarõnda video dizisindeki görüntülerin nasõl
sõralandõ"õ gösterilmektedir.
#ekil 2.10. Videonun görüntülenme ve iletim esnasõnda video dizisindeki görüntülenme sõralamasõ
2.3.4. Hareket denkle"tirmesi
Hareket denkle tirmesi zamansal fazlalõ"õ azaltarak P- ve B-Görüntülerin daha fazla
sõkõ tõrõlmasõnõ sa"layan bir yöntemdir. Hareket denkle tirme algoritmasõ #ekil
2.11’de belirtildi"i gibi makroblok seviyesinde uygulanõr.
Bir makroblok hareket denkle tirme algoritmasõ ile sõkõ tõrõldõ"õnda, sõkõ tõrõlmõ
video a a"õdaki bilgileri içerir :
0
Hareket vektörü : kodlanan makroblok ile referans makroblok arasõndaki
zaman vektör.
18
0
Hata terimi : kodlanan makroblok ile referans makroblok arasõndaki içeri"in
farkõ.
#ekil 2.11. Makrobloklara ayrõlmõ bir görüntü
Hareket denkle tirme algoritmasõ bir önceki görüntüyü kullanõr. Mevcut görüntüdeki
makroblo"un yeri, bir önceki görüntüdeki yeri ile kar õla tõrõlõr. Bu iki makroblok
arasõndaki yer de"i tirme ‘hareket vektörü’ olarak adlandõrõlõr ve DCT katsayõlar
yerine bu hareket vektörü kodlanõr. Bu yöntem aynõ zamanda ‘ileri yönde kestirim’
olarak adlandõrõlõp #ekil 2.12’de açõklanmõ tõr.
#ekil 2.12. !leri yönde kestirim
!ki
yönlü
kestirim
yönteminde
ise
hareket
denkle tirmeli
interpolasyon
uygulayabilmek için #ekil 2.13’te gösterildi"i gibi hem bir önceki hem de bir sonraki
19
görüntü kullanõlõr. Mevcut görüntüdeki makroblo"un yeri, bir önceki ve bir sonraki
görüntüdeki yerleri ile kar õla tõrõlõr. Sõrasõyla ileri hareket vektörü ve geri hareket
vektörü tespit edilip bu iki vektörün ortalamasõ alõnarak mevcut görüntüdeki
makroblo"un yeri tespit edilir. E"er ileri ve geri hareket vektörleri hemen hemen
aynõ noktayõ gösteriyorlarsa vektörler kodlanõr. Aksi takdirde, hareket vektörlerinin
gösterdi"i bölge kodlanõr.
#ekil 2.13. !ki yönlü kestirim
Bir görüntüdeki bilgi her zaman referans görüntüden kestirilemez. Örne"in videoda
bir kapõnõn açõldõ"õnõ varsayalõm. Böyle bir durumda kapõ kapalõyken bir önceki
görüntüde kapõnõn arkasõna ait görsel detay önceden tahmin edilemez. Bu gibi
durumlarda P-Görüntüdeki makroblok hareket denkle tirmeyle etkili bir biçimde
ifade edilemez. Bu yöntem yerine, I-Görüntülerde kullanõlan kodlama yöntemi
kullanõlõr.
P-Görüntüler ile B-Görüntüler arasõndaki fark öyle açõklanabilir : P-Görüntülerde
makrobloklar kodlanõrken sadece kendisinden önce gelen referans görüntüler dikkate
alõnõrken B-Görüntüler kodlanõrken hem kendisinden önce hem de kendisinden sonra
gelen görüntüler referans olarak alõnõr.
20
Bir B-Görüntüsündeki her bir makroblok için dört olasõ durum söz konusudur :
0
I-Görüntülerde kullanõlan kodlama yöntemi kullanõlõr (hareket bilgisi yok).
0
!leri yönde kestirim (bir önceki görüntü referans olarak alõnõr).
0
Geri yönde kestirim (bir sonraki görüntü referans olarak alõnõr).
0
!ki yönlü kestirim (hem bir önceki hem de bir sonraki görüntü referans olarak
alõnõr).
2.3.5. I-Görüntülerde kullanõlan kodlama yöntemi
I-Görüntüler için kullanõlan kodlama yöntemi JPEG algoritmasõyla aynõdõr. IGörüntülerde kullanõlan kodlama yöntemi üç adõmda gerçekle tirilir.
0
Makrobloklarõn iki boyutlu (2-D) ayrõk kosinüs dönü ümü hesaplanõr.
0
2-D DCT katsayõlarõ kuantalanõr.
0
Kuantalanmõ DCT katsayõlarõna de"i ken uzunlukta kodlar atanõr.
#ekil 2.14 yöntemi göstermektedir.
#ekil 2.14. I-Görüntülerde kullanõlan kodlama yöntemi
21
#ekil 2.15. Basit bir MPEG kodlayõcõ
Anlatõlanlarõn õ õ"õnda basit bir MPEG kodlayõcõ #ekil 2.15’de verilmi tir.
BÖLÜM 3. HATA G ZLEME
3.1. Giri!
Herhangi bir haberle me sisteminde do!al olarak mevcut bir problem iletim sõrasõnda
kanal
gürültüsünden
Sõkõ tõrõlmõ
dolayõ
verinin
kaybolabilmesi
veya
de!i ebilmesidir.
bit dizisinde olu abilecek herhangi bir de!i im, alõcõda kabul
edilemeyecek görsel bozulmalara neden olabilece!inden sõkõ tõrõlmõ video iletimi
için kayõp bilginin etkisi tahrip edici olabilir. Kayõp verilerin yeniden iletilerek
kestirilmesi iletim bant geni li!ini arttõrdõ!õndan gerçek zamanlõ çoklu ortam
uygulamalarõ için pratik de!ildir. Bu amaçla gerçek zaman uygulamalarõ için uygun
hata gizleme algoritmalarõ geli tirilmi tir. Hata gizleme algoritmalarõ kayõp veriyi
alõcõda videonun hatasõz alõnan kõsõmlarõndan kestirir. Ayrõca, bir hata gizleme
algoritmasõ alõcõnõn donanõmõna bir ön i leme olarak eklenmelidir.
"letim hatalarõ kabaca iki sõnõfa ayrõlabilir :
Rasgele bit hatalarõ : Bit eklenmesi, bit silinmesi veya bitin tersine
çevrilmesine neden olan rasgele bit hatalarõ fiziksel kanallarõn mükemmel
olmamasõndan kaynaklanõr. De i!ken uzunlukta kodlama kullanõldõ õnda
kod çözücü ile kodlayõcõ arasõndaki e!zamanlamanõn kaybolmasõna sebep
olabilirler. Kullanõlan kodlama yöntemine ve kayõp bilginin içeri ine ba lõ
olarak rasgele bit hatalarõnõn etkisi ihmal edilebilir ile kabul edilemez
arasõnda de i!ebilir. Sabit uzunlukta kodlama kullanõldõ õnda rasgele bir bit
hatasõ kodlanmõ! sadece bir kelimeyi etkileyece i için olu!an bozunum
genelde kabul edilebilir. Ancak de i!ken uzunlukta kodlama kullanõlõyorsa,
rasgele bit hatasõ e!zamanlamanõn kaybolmasõna neden olabilir. Bu nedenle
hatalõ bir bitten sonra gelen bitler bir sonraki e!zamanlama kelimesi
gözükünceye kadar alõcõda çözülemez.
23
Silme hatalarõ : Paket a larda paket kaybõndan, kõsa süreli bir sistem
arõzasõndan veya fiziksel hatalardan dolayõ kayõt ortamõnda birden ortaya
çõkan
hatalardan
kaynaklanabilirler.
De i!ken
uzunlukta
kodlama
kullanõldõ õnda rasgele bit hatalarõ da silme hatalarõ olu!turabilir. Sürekli bir
bit parçasõnõn kaybõndan veya de i!mesinden dolayõ silme hatalarõnõn etkisi
rasgele bit hatalarõnõn etkisinden çok daha tahrip edicidir. Hemen hemen tüm
video sõkõ!tõrma teknikleri de i!ken uzunlukta kodlama kullandõ õndan
rasgele bit hatalarõnõn ve silme hatalarõnõn ayrõ olarak alõnmasõna gerek
yoktur.
Sayõsal video iletimi sõrasõnda olu!an kayõplarõn alõnan videodaki etkisini azaltmak
için literatürde geli!tirilmi! çok sayõda hata gizleme yöntemi bulunmaktadõr. Bir
yandan veri ileti!imi için kullanõlan klasik hata kontrol ve geri elde etme yöntemleri
sayõsal video iletimi için geni!letilmi!tir. Kayõpsõz geri elde etmeyi amaçlayan bu
tekniklere örnek olarak ileri yönde hata düzeltme (FEC) ve otomatik yeniden iletim
istemi (ARQ) gösterilebilir. Di er yandan, orijinal i!arete oldukça yakõn bir i!aret
elde etmeye çalõ!an veya en azõndan izleyiciyi rahatsõz etmeyecek bir çõkõ! i!areti
olu!turmaya çalõ!an i!aret geri elde etme ve hata gizleme yöntemleri sunulmu!tur.
3.2. Problemin Tanõmlanmasõ ve Yöntemlerin Sõnõflandõrõlmasõ
"ekil 3.1 gerçek zamanlõ bir video ileti!im sisteminin fonksiyonel bir blok
diyagramõnõ göstermektedir. Giri!teki video, kaynak kodlayõcõ tarafõndan istenilen bit
hõzõna sõkõ!tõrõlabilir. "ekildeki ta!õma kodlayõcõ; kanal kodlama, paketleme ve/veya
modülasyon ve özel bir protokol kullanan ta!õma seviyesi kontrolü i!lemlerini
gerçekle!tiren sistemlerin tümünü belirtmektedir. Ta!õma kodlayõcõ, kaynak
kodlayõcõnõn çõkõ!õndaki bit dizisini iletime uygun hale dönü!türmek için
kullanõlmaktadõr. Alõcõ tarafõndan ise videonun görüntülenebilmesi için ters i!lemler
yapõlarak video i!areti yeniden olu!turulur. Bazõ uygulamalarda, sistemin kontrolü ve
hata gizleme için kod çözücüden kodlayõcõya do ru veri iletimini sa layan geri
yönde bir kanalõn var oldu unu vurgulamak için "ekil 3.1’de çift yönlü oklar
kullandõ õmõza dikkat ediniz.
24
Giri! video
Çõkõ! video
Dalga !ekli
kodlayõcõ
Dalga !ekli
kod çözücü
Entropi
kodlayõcõ
Entropi kod
çözücü
Kaynak
kodlayõcõ
Kaynak kod
çözücü
Ta!õma
kodlayõcõ
Kanal
Ta!õma kod
çözücü
"ekil 3.1. Bir video ileti!im sisteminin fonksiyonel bir blok diyagramõ
Kaynak kodlayõcõ iki bölüme ayrõlabilir : dalga !ekli kodlayõcõ ve entropi kodlayõcõ.
Dalga !ekli kodlayõcõ, orijinal videoyu dönü!türülmü! bazõ de i!kenler kullanõlarak
ve kuantalama uygulayarak temsil edip bit hõzõnõ azaltan kayõplõ bir sistemdir. Di er
taraftan, entropi kodlayõcõ dalga !ekli kodlayõcõnõn çõkõ!õndaki sembolleri istatistiksel
da õlõmlarõna göre ikili kelimelere dönü!türen kayõpsõz bir sistemdir. Huffman ve
aritmetik kodlama yöntemleri entropi kodlayõcõlarõna örnek olarak verilebilir. Dalga
!ekli kodlayõcõlarda herhangi bir video kodlama yönteminin kullanõlabilmesine
ra men biz Ayrõk Kosinüs Dönü!ümünü (DCT) ve hareket dengelemeli kestirim
kullanan kodlama yöntemi üzerinde duraca õz. Bu kodlama yönteminin birçok
uygulama için etkili oldu u gösterilmi!tir ve bu yöntem mevcut video sõkõ!tõrma
standartlarõ için temeldir.
Kod çözücüde hatayõ belirleyebilmek ve gizleyebilmek için dalga !ekli kodlayõcõnõn,
entropi kodlayõcõnõn yada ta!õma kodlayõcõnõn çõkõ!õndaki veriye genellikle belirli bir
miktarda verinin eklenmesi gerekmektedir. #lave edilen bu ek bilgi ‘gizleme
fazlalõ õ’ olarak adlandõrõlõr. "ekil 3.2 kod çözücünün çõkõ!õndaki sayõsal videonun
kalitesinin gizleme fazlalõ õna ve kanal hata hõzõna olan ba õmlõlõ õnõ göstermektedir.
Burada kaynak ve kanal kodlama için kullanõlan toplam bit hõzõnõn sabit oldu unu
kabul ediyoruz. "ekil 3.2 kanal hata hõzõ arttõ õnda daha iyi video kalitesi elde etmek
25
için toplam bant geni!li inin daha büyük bir kõsmõnõn gizleme fazlalõ õ için tahsis
edilmesi gerekti ini göstermektedir. Hata gizleme problemi, verilen bir video kaynak
modeli, toplam kanal bant geni!li i ve kanal hata karakteristikleri için kod çözücüde
i!aret bozunumu en az olacak !ekilde bir çift kaynak kodlayõcõ/kod çözücü ve ta!õma
kodlayõcõ/kod çözücü tasarõmõ olarak tanõmlanabilir.
"ekil 3.2. Kod çözücüde yeniden olu!turulan video kalitesi ile farklõ kanal hata hõzlarõnda kullanõlan
gizleme fazlalõ õ arasõndaki ili!ki
Birçok de i!keni içerdi inden ve bu de i!kenleri modellemek veya tanõmlamak
genelde zor oldu unda, yukarõdaki problemi çözmek olanaksõz olmasa da çok zordur.
Kodlama verimlili ini ve iletim hatalarõna kar!õ performansõnõ arttõrabilmek için bir
kaynak kodlayõcõnõn tasarõmõ iyi bir kaynak modeli gerektirmektedir. Fakat video
kaynaklarõ gerçekte dura an olmadõ õndan etkili bir model bulanamamõ!tõr. Ayrõca,
bazõ video iletim kanallarõnõn hata karakteristikleri de dura an de ildir ve iletim
sõrasõnda önemli oranda de i!ebilir. Örne in; bir kablosuz görüntülü telefon, hava
ko!ullarõna ya da cihazõn donanõmõna ba lõ olarak oldukça farklõ hata hõzlarõnda
çalõ!abilir. #lave olarak i!lem gecikmesi, gerçekle!tirme karma!õklõ õ gibi di er
faktörler de problemin çözümünü zorla!tõrõr.
Literatürde, iletim hatasõ problemini farklõ açõlardan çözmeye çalõ!an bir çok yöntem
geli!tirilmi!tir. Her durumda olmasa bile ço u durumda bazõ de i!kenler sabit kabul
edilerek yerel olarak optimum bir çözüm bulunur. Çözüm yöntemleri, kodlayõcõnõn
26
ya da kod çözünün daha öncelikli rol oynadõ õ veya her ikisinin de ortak çalõ!tõ õ
durumlara göre üç sõnõfa ayrõlabilir. #leri yönde hata gizleme kodlayõcõnõn öncelikli
rol oynadõ õ yöntemleri belirtmektedir. Bu yöntemlerde, kaynak kodlama algoritmasõ
ve/veya ta!õma kontrol mekanizmasõ ya kod çözücüde herhangi bir hata gizleme
i!lemi yapõlmadan iletim hatalarõnõn etkisini en aza indirecek veya kod çözücüde hata
gizleme i!leminin daha etkili bir biçimde yapõlmasõnõ sa layacak !ekilde tasarlanõr.
Di er yandan ‘son i!lemeyle hata gizleme’ hata gizleme görevinin kod çözücü
tarafõndan yerine getirildi i yöntemleri kapsamaktadõr. Genelde bu yöntemler kayõp
bilgiyi, kodlayõcõndan gelen herhangi bir ek bilgiye ihtiyaç duymadan kestirim ve
interpolasyon ile elde etmeye çalõ!õr. Uzamsal ve zamansal düzgünle!tirme,
interpolasyon ve filtreleme son i!lemeyle hata gizleme sõnõfa girmektedir. Son olarak
hem kodlayõcõnõn hem de kod çözücünün ortakla!a çalõ!arak iletim hatalarõnõn
etkisini azaltmayõ amaçlayan yöntemlerin tümü ‘etkile!imli hata gizleme’ olarak
adlandõrõlõr. Örne in, otomatik yeniden iletim istemi (ARQ) ve kod çözücüden gelen
geri beslemeye dayanan seçici tahmin edici kodlama bu sõnõfa girmektedir.
Detaylõ bir !ekilde bu yöntemleri incelemeden önce üstünlüklerini ve eksikliklerini
gösterecek ölçütlerden bahsetmek faydalõdõr. Açõkça, bir yöntemin görüntü kalitesi
açõsõndan verimlili i en önemli ölçüttür. #ki yönlü ve çok noktalõ iletim için istenilen
gecikme de kritiktir. Üçüncü ölçüt kaynak ve/veya ta!õma kodlayõcõnõn çõkõ!larõndaki
veriye gizleme fazlalõ õ olarak da bilinen ek bilginin eklenmesidir. Son olarak
uygulanan i!lemin karma!õklõ õ herhangi bir sistem için her zaman sorundur. Bu
ölçütlerin öncelik sõrasõ mevcut uygulamaya ba lõ olarak de i!ebilir. Örne in,
Internet video gibi tek yönlü video iletimi için gecikme daha az bir öneme sahiptir.
Ayrõca, bazõ yöntemler sadece özel uygulamalar için kullanõlõrken bazõlarõ daha geni!
uygulama alanlarõ için uygundur. Örne in noktadan noktaya haberle!me için yeniden
iletim iyi çalõ!õrken, bu yöntemin çok noktalõ uygulamalarda kullanõlmasõ zordur.
Di er yandan hata gizleme i!leminin kod çözücüde son i!lem olarak uygulanmasõ
hemen hemen tüm uygulamalarda mümkündür.
Bu kõsmõ bitirmeden önce herhangi bir hata gizleme yöntemini kod çözücüde
uygulamadan önce iletim hatasõnõn nerede kaynaklandõ õnõ bulmanõn gerekli
oldu unu belirtmek istiyoruz. Bu hata gizlemeden farklõ olarak “hata dedüksiyonu”
27
problemi olarak bilinmektedir. Tezin kapsamõ dõ!õnda oldu undan hata dedüksiyonu
problemi ele alõnmamõ!tõr. Meraklõ okuyucu [2]’e göz atabilir. Tezin geri kalan
kõsmõnda aksi belirtilmedi i sürece hatanõn yerinin bilindi i varsayõlacaktõr.
3.3. leri Yönde Hata Gizleme
Bu kõsõmda hatalarõn yerinin bilindi i varsayõlarak bu hatalarõ gizlemek için
kullanõlan kodlayõcõnõn öncelikli rol oynadõ õ yöntemlerden bahsedilecektir. Ta!õma
kanalõ kayõpsõz olmadõ õndan kod çözücüde iki çe!it bozulma gözlenmektedir.
Birinci bozulma dalga !ekli kodlayõcõdan kaynaklanan kuantalama hatasõdõr. #kincisi
ise iletim hatalarõndan kaynaklanan bozulmalardõr. Bant geni!li i ve hata
karakteristi i bilinen bir iletim sisteminde, kuantalama ve iletim hatalarõndan
kaynaklanan toplam bozulma en az olacak !ekilde kaynak kodlayõcõ ve ta!õma
kodlayõcõ çifti tasarlanmalõdõr. Tipik bir video kodlayõcõ mevcut bant geni!li i altõnda
kuantalama hatasõnõ küçük yapmak için tasarlanõr. Bu Shannon’un iyi bilinen
kaynak-kanal ayõrma teoremi ile gerçeklenir. Kaynak-kanal ayõrma teoremine göre
tüm sistemin optimum performansõnõ elde etmek için kaynak ve kanal kodlayõcõ
birbirinden ba õmsõz olarak tasarlanabilir. Teorem ilk defa hafõzasõz ve dura an
kaynak ve kanallar için Shannon tarafõndan gösterilmi! [3] ve daha sonra daha geni!
kaynak ve kanal kümelerine geni!letilmi!tir [4]. Ancak teorem kaynak ve kanal
kodlayõcõnõn
karma!õklõ õnõn
ve
i!lem
gecikmesinin
sonsuz
olabilece ini
varsaymaktadõr. Gerçek zamandaki bir çok uygulama için yukarõdaki varsayõmlar
do ru de ildir. Öncelikle hem kaynak i!aretleri hem de kanal ortamõ hõzla
de i!ebilmektedir ve bundan dolayõ dura an de ildir. #kinci olarak, kaynak ve kanal
kodlayõcõlarõ kabul edilebilir karma!õklõ a ve gecikmeye sahip olacak !ekilde
tasarlanmalõdõr. Bu durumda kaynak ve kanal kodlayõcõnõn (daha genel ifade ile
ta!õma kodlayõcõnõn) ortak tasarõmõ daha iyi performans verebilir.
#leri yönde hata gizlemeyi gerçekle!tirebilmenin çe!itli yöntemleri vardõr. Aslõnda
ileri yönde hata gizleme yöntemlerinin tümü kontrol altõnda tutulan belli bir ek
bilgiyi ya kaynak kodlayõcõnõn ya da ta!õma kodlayõcõnõn çõkõ!õna eklemektedir. Bazõ
yöntemler kaynak ve kanal kodlayõcõlarõnõn ortakla!a çalõ!masõnõ gerektirirken
28
bazõlarõ sadece kod çözücüde hata gizlemeye yardõmcõ olan ek bilginin kodlanmõ!
veriye eklenmesini gerektirmektedir.
#leri yönde hata gizleme yöntemleri !unlardõr :
#letim öncelikli katmanlõ (tabaklõ) kodlama
Çoklu tanõmlamalõ kodlama
Ortak kaynak ve kanal kodlama
Dayanõklõ dalga !ekli kodlama
Dayanõklõ entropi kodlama
#leri yönde hata kontrol (FEC) kodlama
Ta!õma seviyesinde kontrol
#leri yönde hata gizleme yöntemlerinin tümü sistemin hatalara kar!õ dayanõklõ
olmasõnõ kaynak kodlayõcõnõn ya da ta!õma kodlayõcõnõn çõkõ!õndaki kodlanmõ! bit
dizisine belli bir ek bilgiyi ilave ederek ba!armaktadõr. Bu yöntemlerin bazõlarõ;
temel bir seviyede kaliteyi garantilemeyi ve iletim hatalarõnõn olu!umunu azaltmayõ
amaçlarken (örne in, katmanlõ ve çoklu tanõmlamalõ kodlama), bazõlarõ kod
çözücünün hata gizleme i!lemini yerine getirmesine yardõmcõ olmaktadõr (örne in,
dayanõklõ dalga !ekli kodlama). Di erleriyse bit hatalarõnõ bulmaya ve hata yayõlõmõnõ
engellemeye yardõmcõ olmaktadõr (örne in, dayanõklõ entropi kodlama). #leri yönde
hata gizleme (FEC) kullanarak sa lanan ta!õma seviyesinin korunmasõ ve güvenilir
paketleme; verinin en önemli bitlerinin daha iyi korunmasõnõ sa lar ve tek bir bit
hatasõ veya hücre kayõplarõndan kaynaklanan hatalarõn olu!masõna engel olur. Di er
yandan bazõ yöntemler farklõ alt bit dizilerin aynõ !ekilde ele alõndõ õnõ varsayarken
(örne in, çoklu tanõmlamalõ kodlama) bazõlarõ da kaynak ve ta!õma kodlayõcõ
arasõnda yakõn bir etkile!imi gerektirmektedir (örne in, iletim öncelikli katmanlõ
kodlama ).
3.4. Kod Çözücüde Hata Gizleme !lemi
Do al manzaralarõn görüntülerinin ço unlukla alçak frekans bile!enlerini içerdi i
bilinmektedir. Di er bir deyi!le, keskin kenarlara sahip bölgeler haricinde uzamsal
ve zamansal kom!u piksellerin renk de erleri yava! olarak de i!ir. Ayrõca, insan
29
gözü
yüksek
frekans
bile!enlerinde
görülen
bozulmalara
alçak
frekans
bile!enlerindekilere göre daha fazla tolerans gösterebilir. Tüm bu gerçekler iletim
hatalarõndan kaynaklanan bozulmalarõ gizleyebilmek için kullanõlabilir. Bu kõsõmda
kod çözücüde hata gizleme i!lemini yerine getirmeye çalõ!an bazõ yöntemler
tanõtõlacaktõr. Yöntemlerden bazõlarõ yeniden olu!turulan sayõsal videonun kalitesini
arttõrmak için kaynak kodlayõcõ tarafõndan sa lanan yardõmcõ bilgilerle birlikte
kullanõlabilir.
Yer kõsõtlamasõndan dolayõ bu kõsõmda sadece blok-tabanlõ hareket denkle!tirmeyi ve
ayrõk kosinüs dönü!ümünü (DCT) kullanan video kodlayõcõlarõ için geli!tirilmi!
yöntemler ele alõnacaktõr. DCT’yi kullanan kodlayõcõlar, görüntüyü birkaç bloktan
olu!an makrobloklara bölerler. Makroblok seviyesinde iki kodlama modu vardõr.
Ba õmsõz görüntülerde kullanõlan kodlama yönteminde her bir blo un iki boyutlu
ayrõk kosinüs dönü!ümü (2-D DCT) hesaplanõr ve elde edilen 2-D DCT katsayõlarõ
kuantalanõp entropi kodlanõr. Kestirilmi! görüntülerde hareket denkle!tirme
kullanõlõr. Hareket denkle!tirme yönteminde ilk önce mevcut görüntüdeki
makroblo un yeri, bir önceki görüntüdeki yeri ile kar!õla!tõrõlarak bu iki
makroblo un arasõndaki yer de i!tirme vektörü bulunur. Daha sonra hareket vektörü
ve kestirim hata blo unun DCT katsayõlarõ kuantalanõr ve kodlanõr. Dilim olarak da
bilinen taranan her bir makroblok satõrõnõn ba!õnda e!zamanlama kod kelimesinin
kullanõlmasõndan dolayõ iletim hatalarõ sadece tek bir satõrõ bozabilir. Bu nedenle
kayõp blo un üstündeki ve altõndaki makrobloklar hatasõz bir !ekilde alõnabilir.
Kodlanan makrobloklar paketlenerek gönderiliyorsa hatalõ makroblo un dört
yönündeki kom!u makrobloklar genellikle hatasõz alõnõr. Ayrõca, frekans bölgesini
kõsõmlara ayõran katmanlõ kodlama kullanõlõyorsa hatalõ bir makroblo a ait kodlama
!ekli, hareket vektörü ve bazõ alçak frekans katsayõlarõ hatasõz bir !ekilde alõnabilir.
Son olarak biti!ik iki görüntü arasõndaki hata olaylarõ genellikle yeterince ili!kisiz
oldu undan mevcut görüntüdeki hatalõ makroblo a kar!õ gelen bir önceki
görüntüdeki makroblok genellikle hatasõz alõnõr. Kod çözücüde hata gizleme i!lemini
gerçekle!tirebilmek için tüm yöntemler hatalõ makroblok ile aynõ görüntüde veya bir
önceki görüntüde hatalõ makroblo un kom!u makrobloklarõ arasõndaki ili!kiyi
kullanõr. A!a õda önce kayõp DCT katsayõlarõnõ veya e!de er olarak piksel
de erlerini kestirmeyi amaçlayan yöntemlerden bahsedece iz. Daha sonra kayõp
30
kodlama !eklini ve hareket vektörünü yeniden elde etmek için geli!tirilen yöntemleri
tanõtaca õz.
3.4.1. Hareket dengelemeli zamansal kestirim
Video i!aretlerindeki zamansal ili!kiden yararlanmanõn basit bir yolu hatalõ
makroblo u bir önceki görüntüde düzlemsel olarak aynõ yerdeki makroblok ile yer
de i!tirmektir. Ancak bu yöntem hareketin hõzlõ oldu u durumlarda görsel
bozukluklara neden olabilir. Hatalõ makroblo u hareket dengelemeli blok ile yer
de i!tirerek önemli oranda iyile!tirme elde edilebilir (örne in yer de i!tirilecek blok,
hatalõ blo un hareket vektörü ile tanõmlanõr). Bu yöntem, temel katmanda tüm
hareket bilgisini içeren katmanlõ kodlama ile kullanõldõ õnda çok etkilidir [5].
Hareket
dengelemeli
zamansal
kestirim
basit
oldu undan
yaygõn
olarak
kullanõlmõ!tõr. MPEG-2 standardõnõ kullanan kodlayõcõlar, iletim esnasõnda bloklar
bozuldu unda bu bloklarõn daha iyi geri elde edilebilmesi için kodlayõcõnõn hareket
bilgisini göndermesine imkan vermektedir. 10-2 hücre kaybõ hõzõnda, MPEG-2 ile
kodlanmõ! video için hareket dengelemeli zamansal kestirim kullanõlarak yeniden
olu!turulmu! görüntülerde PSNR (Tepe #!aret Gürültü Oranõ) de erinin 1 dB arttõ õ
gözlemlenmi!tir. Bu yakla!õm ile ilgili bir problem, her zaman mevcut olmayan
hareket bilgisini gerektirmesidir. #letim sõrasõnda hatalõ makroblo a ait hareket
vektörü de bozulmu!sa, hareket vektörünün kom!u makrobloklarõn hareket
vektörlerinden kestirilmesi gereklidir ve hareket vektörünün hatalõ kestirilmesi
yeniden olu!turulan görüntüde büyük bozulmalara neden olabilir. Bu yakla!õm ile
ilgi di er bir problem, makrobloklar ba õmsõz olarak kodlandõ õnda ve kodlama
bilgisinin kaybolmasõ durumunda ortaya çõkar. O halde sahne de i!imi gibi
durumlarda hareket dengelemeli zamansal kestirimin kullanõlmasõ ciddi hatalara
sebep olabilir. Kayõp hareket vektörü ve kodlama !eklini kestiren yöntem 3.4.5’de
ele alõnacaktõr.
Kieu ve Ngan, hareket vektörlerini ve alçak frekans katsayõlarõnõ temel katmanda;
yüksek frekans katsayõlarõnõ iyile!tirme katmanõnda gönderen katmanlõ bir
kodlayõcõda hata gizleme problemini ele almõ!larõdõr [6]. #yile!tirme katmanõ
bozuldu unda yüksek frekans katsayõlarõnõ sõfõra e!itlemek yerine, bir önceki
31
görüntüdeki hareket dengelenmi! makroblo a ait yüksek frekans katsayõlarõnõn
kullanõlmasõnõn yeniden olu!turulan görüntünün kalitesini arttõrdõ õ gösterilmi!tir.
Temel katmanda herhangi bir hatanõn olu!madõ õ varsayõlmõ!tõr. #yile!tirme katmanõ
bozuldu unda bozulmu! her bir makroblok için hareket dengelenmi! makrobloklar
olu!turulur ve belirlenen bu makrobloklara ait bloklarõn 2-D DCT’si hesaplanõr. Hata
gizlenmi! bir makroblok olu!turmak için, sonuçlanan yüksek frekans DCT
katsayõlarõ ile mevcut görüntüdeki hatalõ blo a ait temel katman alçak frekans DCT
katsayõlarõ birle!tirilir ve elde edilen bu yeni blo un iki boyutlu ters DCT’si
hesaplanõr.
Yukarõdaki bu yöntem video i!aretlerindeki sadece zamansal ili!kiyi kullanmaktadõr.
Yeniden olu!turulan görüntüde daha iyi bir iyile!tirme sa layabilmek için uzamsal
ili!kilerden de yararlanõlmasõ gerekmektedir.
3.4.2. Maksimum olacak düzgünlükte kestirim
Bu yöntem, sõnõrlõ bir enerji optimizasyonu yakla!õmõyla görüntü ve video
i!aretlerinin düzgünlük özelli ini kullanmaktadõr. Optimizasyon blok blok yapõlõr.
Bir bloktaki kayõp DCT katsayõlarõnõ kestirmek için bu bloktaki ve ona uzamsal ve
zamansal olarak kom!u olan bloklardaki biti!ik pikseller arasõndaki bir uzamsal ve
zamansal de i!im ölçütü en küçük yapõlõr. Böylece, kestirilen video i!aretleri
mümkün oldu u kadar düzgün olur. Bu yakla!õmõ ilk kez Wang, yalnõzca [7]’deki
uzamsal düzgünlük ölçütünden yararlanarak, blok-dönü!üm tabanlõ kodlayõcõlarla
sõkõ!tõrõlmõ! hareketsiz görüntülerdeki hatalõ bloklarõ yeniden olu!turmak için
kullanmõ!tõr. Daha sonra Zhu ve di erleri, zamansal düzgünlük ölçütünü ekleyerek
bu yöntemi hareket denkle!tirme ve dönü!üm kodlamayõ kullanan video
kodlayõcõlarõna geni!letmi!tir [8]. Bu son yakla!õmda göre en küçük yapõlan hata
fonksiyonu, uzamsal ve zamansal fark ölçütlerinin a õrlõklõ bir toplamõdõr.
Hesaplamada kolaylõk olmasõ için uzamsal ve zamansal fark ölçütleri sõrasõyla
uzamsal ve zamansal olarak biti!ik olan pikseller arasõndaki farkõn karelerinin
toplamõ !eklinde ifade edilir. "ekil 3.3’de iki uzamsal düzgünlük ölçütü
gösterilmektedir [7].
32
(a)
(b)
"ekil 3.3. #ki uzamsal düzgünlük sõnõrlamasõ [7]. #ki piksel arasõndaki bir ok, bu iki piksel arasõndaki
farkõn düzgünlük ölçütünde kullanõldõ õnõ göstermektedir. (a) yalnõzca DC katsayõ kayõp oldu unda
kullanõlõr, (b) DC katsayõ ve birkaç dü!ük frekanslõ AC katsayõ kayõp oldu unda kullanõlõr
Alõnan
katsayõlarla
olu!turulan
sõnõrlamalarõ
sa layabilmek
için
yeniden
olu!turulacak görüntü blo u alõnan katsayõlar, kestirilecek kayõp katsayõlar ve bir
önceki görüntüdeki kestirim blo u (sadece P- ve B-Görüntüler için) cinsinden ifade
edilir. Çözüm; uzamsal düzlemde önceden kestirilmi! biti!ik görüntü blo undaki
pikseller, zamansal düzlemde bir önceki görüntüdeki kestirim blo u ve frekans
düzleminde hatalõ blo un alõnan DCT katsayõlarõ için uygulanan üç do rusal
interpolasyonu içermektedir. Hatalõ blo un tüm DCT katsayõlarõ kayõpsa çözüm
sadece uzamsal ve zamansal interpolasyona indirilir. Uzamsal fark ölçütü için
kullanõlan a õrlõk sõfõra e!itlenirse, çözüm 3.4.1’de anlatõldõ õ gibi mevcut
görüntüdeki hatalõ blo un bir önceki görüntüdeki kestirim blo u ile yer
de i!tirmesine indirgenir. Di er yandan, e er zamansal fark ölçütü a õrlõk katsayõsõ
sõfõr yapõlõrsa sadece uzamsal ili!ki kullanõlõr ve çözüm alõnan DCT katsayõlar ile
kom!u pikseller arasõndaki do rusal interpolasyonun sonucuyla elde edilir. Bu,
sayõsal videodaki ba õmsõz görüntüler (I-Görüntü) ve hareketsiz görüntüler için
kullanõlabilir. Geri elde etme operatörü, kullanõlan a õrlõk katsayõsõna ve kayõp
frekans katsayõlarõyla ili!kili dönü!ümün taban fonksiyonlarõna ba lõdõr. Bilinen bir
kaybolma !ekli için (örne in kayõp DCT katsayõlarõ), yeniden olu!turma operatörü
önceden hesaplanabilir ve geri elde etme i!lemi, karma!õklõ õ blok dönü!ümüne
benzeyen bir matris-vektör çarpõmõnõ içerir.
33
Yukarõda anlatõlan kestirim yönteminin simülasyon sonuçlarõ, uzamsal ve zamansal
interpolasyon için kom!u bloklarõ kullanõlabilir oldu u sürece, ilk 15 alçak frekans
katsayõsõnõn† kayboldu u bir blo un kabul edilebilir bir kalitede kestirilebilece ini
göstermi!tir [8]. Kodlayõcõnõn dayanõklõlõ õnõ arttõrmak için iletimden önce biti!ik
bloklarõn DCT katsayõlarõ, iletilecek olan blo un DCT katsayõlarõnõn aralarõna
eklenebilir. Böylece, kanal hatalarõ sadece uzamsal olarak ili!kisiz, ayrõk bloklarõ
etkileyebilir. Ayrõca DCT katsayõlarõ birçok katmana ayrõlõp, farklõ katmanlarda
farklõ DCT katsayõlarõ gönderilebilir (örne in, alçak frekans katsayõlarõnõn temel
katmanda ve yüksek frekans katsayõlarõnõn ise iyile!tirme katmanõnda gönderildi i
katmanlõ kodlama). Böylece sadece belirli bir sayõda kaybolma !ekli olur ve bu
kaybolma !ekillerine uygun interpolasyon filtreleri önceden hesaplanabilir. Bu
iyile!tirme yöntemi MPEG-1 gibi video kodlayõcõlarõna eklenmi!tir ve kod
çözücüsünde uygulanan bu kestirim yöntemi sadece alçak frekans katsayõlarõnõ içeren
katman kayboldu unda kullanõlõr. Dört katman kullanõldõ õnda; temel katman
kodlama !eklini içerir, ikinci katman hareket vektörünü içerir ve üçüncü ile dördüncü
katmanlar da sõrasõyla alçak ve yüksek frekans katsayõlarõnõ ta!õr. Simülasyon
sonuçlarõ temel iki katmanda kayõp hõzõnõn 10-3 ve üçüncü katmanda kayõp hõzõnõn
10-2 oldu u durumlarda de i!tirilmi! bu MPEG-1 sisteminin tatmin edici bir görsel
kalite olu!turdu unu göstermektedir [8].
Yukarõda anlatõlan yöntemde uzamsal/zamansal de i!im biti!ik iki piksel arasõndaki
fark hesaplanarak ölçülür. Birinci dereceden düzgünlük ölçütünün kullanõlmasõ,
kestirilmi! görüntüde kenarlarõn bulanõkla!masõna sebep olabilir. Zhu ve Wang bu
bulanõkla!ma etkisini azaltacak ikinci dereceden düzgünlük ölçütünün kullanõmõ
üzerinde ara!tõrmalar yapmõ!lardõr [9]. #kinci dereceden de i!im ve Laplacian
operatörü
birlikte
kullanõlarak
yeniden
kestirilen
görüntüler,
kenarlarõn
bulanõkla!masõna sebep olan birici dereceden düzgünlük ölçütüyle olu!turulanlara
oranla daha iyi sonuçlar vermi!tir.
†
Sadece yüksek frekans katsayõlarõ kayõp oldu unda, bu katsayõlarõ sõfõr kabul ederek elde edilen
çözümler genellikle tatmin edici olmu!tur.
34
Kestirilen görüntüdeki kaliteyi daha da arttõrmak için kenar uyarlamalõ düzgünlük
ölçütü kullanõlabilir. Böylece çapraz kenarlar hariç, kenar boyunca olu!an de i!im
azaltõlabilir [10]. Bu yakla!õm tarzõ, hatalõ bloklar için kenar yönlerinin
belirlenmesini gerektirmektedir. Kenar yönlerinin belirlenmesi zor bir i!tir ve
belirlemede yapõlan bir hata görüntüde ciddi hatalarõn olu!masõna sebep olur. #kinci
dereceden düzgünlük ölçütünün kullanõldõ õ yöntem genelde daha dayanõklõdõr ve
daha az hesap yüküyle tatmin edici görüntüler olu!turulabilir.
3.4.3. Dõ!bükey kümeler üzerine izdü!üm
Bir önceki kõsõmda enerji optimizasyonu aracõlõ õyla görüntü ve video i!aretlerinin
düzgünlük özelli ini kullanan yöntemden bahsetmi!tik. Alternatif di er bir yöntem
ise dõ!bükey kümeler üzerine izdü!üm (POCS) yöntemidir. Sun ve Kwok bir blok
dönü!üm kodlayõcõda, hatalõ bir blo u kestirmek için bu yöntemi önermi!lerdir [11].
Dõ!bükey kümeler, yeniden elde edilecek hatalõ blok ya e!yönlü (düzgün bir
bölgedeki blok için) veya özel bir yön boyunca (düz kenarlara sahip bir blok için)
sõnõrlõ bir bant geni!li ine sahip olacak !ekilde tasarlanõr. Bu yöntemle birle!ik bir
blok, hatalõ blok ile ona kom!u olan sekiz bloktan olu!maktadõr. Birle!ik blok önce
Sobel operatörünü kullanarak kenarlarõ tespit eden bir teste tabi tutulur. Böylece
birle!ik blok ya bir monoton blok (fark edilebilir bir kenar yok) ya da bir kenar blok
olarak sõnõflandõrõlõr. Kenar yönleri 0 ile 180° aralõ õnda, e!it aralõklarla sekiz yöne
kuantalanõr. Daha sonra iki izdü!üm operatörü "ekil 3.4’te gösterildi i gibi birle!ik
blo a uygulanõr.
"ekil 3.4. Uyarlamalõ POCS yöntemiyle kayõp blo un yinelemeli olarak bulunmasõ
35
#lk izdü!üm operatörü, kenar sõnõflayõcõnõn çõkõ!õna ba lõ olarak bant-sõnõrlõlõk
kõsõtlamasõnõ gerçekle!tirir. E er blok bir monoton bloksa e!yönlü bant-sõnõrlõlõk
kõsõtlamasõna tabi tutulur. Bu i!lem e!yönlü alçak geçiren bir filtre ile yapõlõr. Di er
yandan, e er kenar testinin sonucu sekiz kenar yönünden biriyse, kenar yönü
boyunca bant geçiren bir filtre uygulanõr. Filtreleme i!lemi Fourier dönü!üm
uzayõnda gerçekle!tirilir. #kinci izdü!üm operatörü bir aralõk kõsõtlamasõnõ yerine
getirir ve ilk operatörün çõkõ! de erlerini [0,255] aralõ õna sõnõrlar. Bir kenar blo u
do ru !ekilde alõnmõ! ise bu blo a ait piksel de erleri oldu u gibi bõrakõlõr. #ki
izdü!üm operatörü blokta de i!im olmayõncaya kadar yinelemeli olarak uygulanõr.
#yi bir ba!langõç kestirimi mevcut oldu unda 5 ile 10 arasõnda yenilemenin genellikle
yeterli oldu u bulunmu!tur. Bu yöntem, görüntünün kestirilmesi sürecinde sadece
uzamsal bilgiyi kullanõr ve dolayõsõyla sadece ba õmsõz (I-Görüntü) ve hareketsiz
görüntüler için uygundur. Kestirilmi! görüntülerdeki kayõp bloklar için zamansal
bilgiyi kullanmanõn bir yolu ba!langõç kestirimi olarak bir önceki görüntüdeki
hareket dengelemeli blo un kullanõlmasõdõr ve kestirimdeki do rulu u arttõrmak için
yukarõda anlatõlan yöntem kullanõlabilir.
3.4.4. Uzamsal ve zamansal düzlemde interpolasyon
Video i!aretlerinin düzgünlük özelli inin bir sonucu hatalõ bir bloktaki DCT
katsayõsõnõn, uzamsal olarak biti!ik blokta kendisine kar!õ gelen DCT katsayõsõna
büyük bir olasõlõkla çok yakõn bir de er alaca õdõr. Hemami ve Meng, hatalõ bloktaki
her bir kayõp katsayõsõnõn kom!u dört bloktaki bu kayõp katsayõya kar!õ gelen
katsayõlarõnõn interpolasyonuyla bulunmasõnõ öngören bir yöntem önermi!lerdir [12].
Hesaplanacak olan katsayõlar [7]’de verilen bir uzamsal fark ölçütünün
optimizasyonuyla kestirilir. Hatalõ bloktaki tüm katsayõlar kayõp oldu unda, frekans
uzayõnda yapõlan interpolasyon ile hatalõ bloktaki piksellere kar!õ gelen dört kom!u
bloktaki
pikseller
arasõnda
yapõlan
interpolasyon
aynõ
sonuçlarõ
verir.
#nterpolasyonda kullanõlan pikseller ile kayõp piksel arasõndaki ili!ki az olaca õ için
hesaplanan de er tam do ru olmayabilir. Çünkü interpolasyonda kullanõlacak
pikseller, kayõp piksele farklõ dört yönde 8 piksel mesafesindedir.
36
"ekil 3.5. Uzamsal interpolasyon (a) Blok tabanlõ, (b) Makroblok tabanlõ
Kestirimin do rulu unu arttõrabilmek için Aign ve Fazel hatalõ makrobloktaki
piksellerin, hatalõ makroblo a dört yönde 1-piksel geni!li indeki biti!ik sõnõr
piksellerinin ara de erlerinin interpolasyonuyla bulunmasõnõ önermi!lerdir [13]. Aign
ve Fazel iki yöntem sunmu!tur. "ekil 3.5 (a)’da gösterilen birinci yöntemde kayõp bir
piksel, en yakõn sõnõrõndaki iki pikselin interpolasyonuyla bulunmaktadõr. "ekil 3.5
(b)’de gösterilen ikinci yöntemde ise hatalõ makroblo a ait kayõp bir piksel, en yakõn
sõnõrõndaki dört piksel kullanõlarak bulunur.
POCS yönteminde oldu u gibi interpolasyon yöntemi de sadece uzamsal düzgünlük
özelli ini kullanõr ve hareketsiz veya videodaki ba õmsõz görüntülerin (I-Görüntü)
37
kestirilmesi amaçlanmaktadõr. [12]’de anlatõlan frekans uzayõnda interpolasyon
yöntemi, biti!ik bloklardaki kestirim hatasõnõn DCT katsayõlarõ ili!kisiz oldu undan
kestirilmi! görüntüler (P- ve B-Görüntüler) için kullanõlamaz. Bunun yerine, uzamsal
düzlemde, interpolasyon orijinal piksel de erlerine uygulanabilir.
Kom!u bloklarõn yüksek frekans bile!enleri arasõndaki ili!ki do al görüntülerin sahip
oldu u düzgünlük özelli inden dolayõ azdõr. [14]’de sunulan yöntemde, hatalõ bir
blo un üst ve alt kom!u bloklarõndan sadece DC ve en dü!ük 5 AC katsayõsõ
kestirilebilir. Di er AC katsayõlar sõfõr olarak kabul edilir. DC katsayõsõ do rusal
interpolasyon kullanõlarak, di er 5 AC katsayõ ise [15]’de tanõmlanan yöntemle
kestirilir.
3.4.5. Hareket vektörünün ve kodlama !eklinin kestirilmesi
3.4.1 ve 3.4.4’te tanõmlanan yöntemlerde kayõp bir blo a ait kodlama !eklinin ve
hareket vektörünün hatasõz bir !ekilde alõndõ õ varsayõlmaktadõr. Bir görüntüdeki
bloklara ait kodlama !ekli ve hareket vektörü de bozulur veya kaybolursa 3.4.1 ve
3.4.4’te tanõmlanan yöntemleri kullanabilmek için kodlama !ekli ve hareket
vektörünün de kestirilmesi gerekmektedir. Uzamsal ve zamansal düzgünlük
hakkõndaki varsayõma ba lõ olarak, kodlama !ekli ve hareket vektörü de benzer
!ekilde uzamsal ve zamansal kom!u bloklarõn interpolasyonu ile kestirebilir.
Kodlama !eklinin kestirilmesi için [8]’de sunulan yöntemde; kodlama !ekli kayõp bir
blok, ba õmsõz kodlanmõ! bir blok olarak ele alõnõr ve yalnõzca kendisine uzamsal
olarak biti!ik, hatasõz bloklarõn bilgisi kullanõlarak kayõp kodlama !ekli kestirilip,
hatalõ blok yeniden elde edilir.
Kayõp hareket vektörünü kestirmek için a!a õdaki yöntemler önerilmi!tir :
görüntüler arasõndaki hareketin az oldu u durumlarda hareket vektörünün
sõfõr kabul edilmesi
hatalõ blo a kar!õ gelen bir önceki görüntüdeki blo un hareket vektörünün
kullanõlmasõ
uzamsal olarak kom!u bloklarõn hareket vektörlerinin ortalamasõnõn alõnmasõ
38
uzamsal olarak kom!u bloklarõn hareket vektörlerinin medyanõnõn alõnmasõ
[16]
Bir makroblok hatalõ oldu unda genel olarak kendisine yatay olarak kom!u olan
makrobloklar da hatalõ olur. Bu nedenle ortalama veya medyan, biti!ik alt ve üst
makrobloklarõn hareket vektörleri kullanõlarak hesaplanõr. Uzamsal kom!u bloklarõn
hareket vektörleri arasõnda medyanõnõn alõnmasõyla elde edilen kayõp hareket
vektörünün en iyi sonucu verdi i görülmü!tür [16, 17]. Aslõnda yukarõdaki dört
yöntemden hangisi en küçük sõnõr e!le!tirme hatasõnõ veriyorsa, o yöntem seçilebilir.
Sõnõr e!le!tirme hatasõ, kestirilen makroblok ile bu makroblo un sõrasõyla üzerindeki,
solundaki ve altõndaki bir piksel geni!li indeki sõnõr boyunca görülen de i!imlerin
toplamõ olarak tanõmlanõr. Burada kom!u makrobloklarõn önceden kestirilmi!
makrobloklar oldu unu ve hatalõ makroblo un sadece hareket vektörünün kayõp
oldu u kabul ediyoruz. Hatalõ makroblok için kestirim hatasõ da kayõpsa, bu
makroblo un kestirim hatasõnõn makroblo un üstündeki, solundaki, altõndaki
makrobloklarõn kestirim hatalarõ ile aynõ veya sõfõr oldu u varsayõlarak, makroblo un
sõnõr e!le!tirme hatasõ hesaplanõr. En küçük e!le!tirme hatasõnõ veren blo un kestirim
hatasõ ile önceden bulunan kayõp hareket vektörünün kombinasyonu çözümü verir.
Bu son yöntemin daha önce anlatõlan dört yönteme göre daha iyi sonuçlar verdi i
görülmü!tür.
3.5. Kodlayõcõ ve Kod Çözücü Etkile!imli Hata Gizleme
Önceki kõsõmlarda kodlayõcõnõn veya kod çözücünün daha öncelikli rol oynadõ õ,
ikisinin arasõnda çok az bir etkile!imin oldu unun varsayõldõ õ yöntemlerden
bahsettik. Kod çözücüden kodlayõcõya do ru veri iletimini sa layan geri yönde de bir
kanal var oldu unda kodlayõcõnõn ve kod çözücünün hata gizleme için birlikte
çalõ!masõ çok daha iyi sonuçlar verebilir. Kodlayõcõnõn ve kod çözücünün etkile!meli
çalõ!masõ kaynak kodlayõcõda ya da ta!õma seviyesinde gerçekle!tirilebilir. Kaynak
kodlayõcõdaki kodlama parametreleri, kod çözücüden gelen geribesleme bilgisine
ba lõ olarak uyarlanabilir. Di er yandan ta!õma seviyesinde, geribesleme bilgisinin
yardõmõyla ileri yönde hata gizleme (FEC) ya da kayõp verilerin yeniden iletim için
kanalõn toplam bant geni!li inin ne kadarõnõn kullanõlaca õ belirlenebilir.
39
Kodlayõcõnõn ve kod çözünün etkile!meli çalõ!tõ õ hata gizleme yöntemleri !unlardõr :
Hata gizleme için seçici kodlama
Hata gizleme için uyarlamalõ ta!õma
Beklemeksizin yeniden iletim
#nternet videoya uygulamalõ, öncelikli çok kopyalõ yeniden iletim
BÖLÜM 4. P KSEL UZAYINDA NTERPOLASYON
4.1. Giri!
Uzamsal ve zamansal hata gizleme olmak üzere temel iki hata gizleme yöntemi
vardõr. Zamansal hata gizleme yöntemi, bir görüntü dizisindeki zamansal bilgi
fazlalõ õnõ kullanõr. Bu yöntem kestirilmi! görüntülerdeki hatalarõ gizlemek için
kullanõlõr. Çünkü kestirilmi! bir görüntü kendisinden önce gelen P-Görüntüsüne yada
I-Görüntüsüne ba lõ olarak kodlanõr. Zamansal hata gizleme yöntemleri, uzamsal
hata gizleme yöntemlerine göre daha kolay uygulanõr. Di er yandan, uzamsal hata
gizleme yöntemi bir görüntüdeki uzamsal bilgi fazlalõ õnõ kullanõr. Uzamsal hata
gizleme yöntemi hareket bilgisi içermedi inden kendisinden önceki ve sonraki
görüntülerden ba õmsõz olan sadece I-Görüntülerine uygulanabilir. Bu bölümde, bir
görüntüdeki kayõp bloklarõ; görüntüdeki uzamsal bilgi fazlalõ õnõ kullanarak, kom!u
bloklarõn sõnõr piksellerine uygulanan interpolasyon ile bulmayõ amaçlayan
yöntemler tanõtõlacaktõr.
4.2. Basit nterpolasyon
Basit interpolasyon için farklõ iki yöntem vardõr [18]. Birinci yöntemde, kayõp bir
makroblo a ait her bir blok için ayrõ ayrõ interpolasyon uygulanõr. "ekil 4.1’de
gösterildi i gibi N x N boyutundaki kayõp bir blok, iki kom!u blo un sõnõr
piksellerine uygulanan interpolasyon ile bulunur.
Blok seviyesinde uygulanan interpolasyon
b1 (i, k ) !
d T bL 2 (i, N ) d L bT 3 ( N , k )
d L dT
b2 (i, k ) !
d T bR1 (i,1) d R bT 4 ( N , k )
d R dT
41
b3 (i, k ) !
d B bL 4 (i, N ) d L bB1 (1, k )
dL dB
b4 (i, k ) !
d B bR3 (i,1) d R bB 2 (1, k )
dR dB
i, k = 1 … N, (4.1)
denklemleriyle verilir. (4.1) Denkleminde X ! L, R, T , B ve l = 1…4 olmak üzere bl
kayõp makroblo un l . blo unu, b Xl , l . blo un kom!u bloklarõnõ ve d X de kayõp
piksel bl (i, k ) ile bu piksele kar!õ gelen b Xl kom!u blo undaki piksel arasõndaki
mesafeyi göstermektedir.
"ekil 4.1. Kayõp makroblo a ait her bir blo un uzamsal interpolasyon ile elde edilmesi (N=4)
Kayõp makroblo a kom!u dört makroblok hatasõz bir !ekilde alõnmõ! ise
blok
seviyesindeki interpolasyon çok iyi sonuçlar verir. MPEG-2 sayõsal video sõkõ!tõrma
standardõnda e!zamanlama kod kelimesi taranan her bir makroblok satõrõnõn ba!õnda
kullanõldõ õndan kayõp bir dilim olu!tu unda, bu dilimdeki kayõp makrobloklar yatay
bir çizgi boyunca gizlenmelidir. Böyle bir durumda, kayõp makroblo u gizlemek için
kullanõlmasõ gereken soldaki ve sa daki makrobloklar da mevcut olmayacaklarõndan
kullanõlamaz. Bu yüzden görüntüdeki bir dilim hatalõ oldu unda bu dilime ait
makrobloklardaki hatalarõ gizlemek için farklõ bir yöntem kullanõlõr.
42
#kinci yöntemde, kayõp makroblo a ait her bir piksel, kom!u dört makroblo un 1
piksel geni!li indeki sõnõr piksellerine uygulanan interpolasyon ile elde edilir. "ekil
4.2 kayõp bir makroblo u ve ona kom!u makrobloklarõn sõnõr piksellerini
göstermektedir.
"ekil 4.2. Makroblok seviyesinde uygulanan interpolasyon (N=4)
2N x 2N boyutundaki kayõp makroblo un her bir pikselinin grilik seviyesi, kom!u
makrobloklardaki dört piksele
mb(i, k ) !
1
dL
dR
dT
(d R mbL (i,2 N ) d L mbR (i,1)
B
(4.2)
d B mbT (2 N , k ) d T mbB (1, k ))
i, k = 1 … N
denklemiyle verilen basit interpolasyon uygulanarak kestirilir. (4.2) Denkleminde
mb kayõp makroblok ve X ! L, R, T , B olmak üzere, mb X kayõp makroblo a kom!u
olan sõrasõyla sol, sa , üst ve alt makrobloklarõ ve d X , kayõp piksel mb (i, k ) ile bu
piksele kar!õ dü!en kom!u makroblok mb X ’teki piksel arasõndaki mesafeyi
göstermektedir.
Kayõp makroblo a kom!u makrobloklar hatasõz oldu unda bu yöntem birinci
yönteme göre daha iyi sonuçlar verir. E er bazõ kom!u makrobloklar mevcut de ilse
43
(örne in, görüntüdeki bir dilimin tümüyle kaybolmasõ) o yönde kullanõlacak olan
mesafe katsayõsõ sõfõr yapõlõr (örne in mbR kayõpsa d R sõfõr yapõlõr).
Yalnõzca iki makroblok mbT ve mbB mevcutsa Denklem (4.2)
mb(i, k ) !
d B mbT (2 N , k ) d T mbB (1, k )
dT d B
i, k = 1 … N
(4.3)
e!itli ine indirgenir. Denklem (4.3)’de verilen interpolasyon, e!zamanlama kod
kelimesinin taranan her bir makroblok satõrõnõn ba!õnda oldu u MPEG-2 ile
kodlanmõ! görüntülerde kullanõlõr.
Blok seviyesinde basit interpolasyon uygulanarak kestirilen bloklarõn bazõlarõ kabul
edilebilir kalitede olurken (örne in, kom!u bloklar aynõ renge sahipse), bazõlarõ ise
bulanõkla!abilir. Bu durum ‘blok etkisi’ olarak adlandõrõlõr. Makroblok seviyesinde
interpolasyon uygulandõ õnda, bir makroblok içinde görülen ‘blok etkisi’ olu!maz ve
kestirilen bir makroblok içinde ani de i!imler meydana gelmez. E er makroblok
içinde kenarlar varsa tüm makroblok bulanõkla!õr. Dolayõsõyla görüntüde makroblok
seviyesinde görülebilir bir ‘blok etkisi’ meydana gelir. MPEG-2 ile kodlanmõ! bir
görüntüde, tüm dilim kaybolmu!sa yukarõda açõklanan sadece ikinci yöntemdeki
interpolasyon kullanõlabilir. Satõr boyunca tüm makrobloklar kaybolaca õndan
interpolasyon sadece dikey yönde gerçekle!tirilir. Bu yüzden dikey yöndeki kenarlar
iyi bir !ekilde yeniden elde edilirken, dü!ey yöndeki kenarlar bulanõkla!acaktõr.
4.3. Yönlü nterpolasyon
Dört kom!u bloktaki sõnõr piksellerinin interpolasyonu ile kestirilen kayõp bloklarda
kenarlarõn
bulanõkla!aca õ
yukarõda
belirtilmi!ti.
Kayõp
bloktaki
kenar
bulanõkla!masõnõ önlemek için geli!tirilmi! di er bir yöntem de kenar yönü boyunca
“yönlü interpolasyon” olarak adlandõrõlan interpolasyonu uygulamaktõr [19]. Kenar
boyunca interpolasyon uygulamadan önce kenar yönü belirlenmelidir. Kenar bulma
sayõsal görüntü i!lemedeki en zor problemlerden biridir. Yönlü interpolasyon
yönteminde, kenar yönleri gradyana ba lõ olarak kestirilir. Kenar yönleri 0-180°
44
aralõ õnda, dört yönde e!it aralõklara sahip olacak !ekilde kuantalanõr. "ekil 4.3’te
gösterildi i gibi tek boyutlu do rusal interpolasyon, kestirilen kenar yönü boyunca
kom!u bloklarõn sõnõr piksellerine uygulanõr.
"ekil 4.3. Yönlü interpolasyon (kenar yönü 45o için)
Kayõp bloktaki piksellerin de eri
de er !
ax by
x y
(4.4)
denklemiyle hesaplanõr.
4.4. Simülasyon Sonuçlarõ
Simülasyonlar, MPEG-2 standardõ ile kodlanmõ! sayõsal bir video dizisinden alõnan IGörüntüleri ve JPEG sõkõ!tõrma standardõ ile kodlanmõ! test görüntüleri üzerinde
gerçekle!tirilmi!tir. #lk deneyde flower.mpg’ten alõnan bir I-Görüntüsünde 8 piksel
geni!li indeki
hatalõ
dilimler
makroblok
seviyesinde
basit
interpolasyon
(‘mb_interpolasyon’), makroblok seviyesinde iyile!tirilmi! basit interpolasyon
(‘iyile!tirilmi! mb_interpolasyon’) ve basit zamansal hata gizleme† (‘basit’)
yöntemleri ile yeniden olu!turulmu!tur. "ekil 4.4 orijinal I-Görüntüsünü, "ekil 4.5
hatalõ I-Görüntüsünü ve "ekil 4.6 - 4.8 de sõrasõyla basit, mb_interpolasyon ve
iyile!tirilmi! mb_interpolasyon yöntemleri uygulanarak kestirilmi! görüntüleri
göstermektedir.
†
Basit zamansal hata gizleme yönteminde, mevcut görüntüdeki hatalõ makroblo a kar!õ gelen bir
önceki görüntüdeki makroblok, hareket dengelemesi yapõlmadan mevcut görüntüdeki hatalõ
makroblo un bulundu u yere kopyalanõr.
45
Her bir duruma kar!õlõk gelen tepe i!aret gürültü oranõ (PSNR) de erleri Tablo 4.1’de
verilmi!tir.
MPEG-2 ile kodlanmõ! görüntülerde yatay bir çizgi boyunca hatalõ makrobloklar
olu!tu unda interpolasyon için sadece alt ve üst makrobloklar kullanõlabilir. "ekil 4.5
hata oranõnõn %9.4 oldu u kayõp dilimlere sahip hatalõ bir görüntüyü göstermektedir.
Yatay bir çizgi boyunca hatalõ makrobloklar olu!tu unda en uygun yöntem
makroblok seviyesinde interpolasyondur. Çünkü blok seviyesindeki interpolasyonda
sadece tek bir kom!u blok kullanõlabilir. Di er yandan kar!õla!tõrma amacõyla basit
zamansal hata gizleme yönteminin sonucu da "ekil 4.6’da gösterilmi!tir. Bazõ
durumlarda, kom!u iki dilimdeki makrobloklar hatalõ oldu unda sadece tek bir
makroblok interpolasyon için kullanõlabilmektedir. Bu durumda daha iyi bir sonuç
elde edebilmek için bir sonraki dilimdeki makrobloklar da interpolasyon için
kullanõlabilir.
Tablo 4.1. Birinci deney için farklõ hata gizleme yöntemleriyle elde edilen görüntülerin PSNR (dB)
de erleri (Hatalõ I-Görüntüsünde % 9.4 hata oranõnda 8 piksel geni!li inde hatalõ dilimler vardõr )
iyile!tirilmi!
basit
I:
mb_interpolasyon mb_interpolasyon
Y
21.537
21.683
22.817
U
22.131
22.799
23.897
V
21.803
23.335
23.879
Tablo 4.1 ve !ekil 4.6 - 4.8’de açõk oldu u gibi uzamsal hata gizleme yöntemleri
basit zamansal hata gizleme yöntemine göre daha iyi sonuçlar vermi!tir. Hareketin
mevcut oldu u bu durumda zamansal hata gizleme yönteminin olu!turdu u kaymalar
"ekil 4.6’da belirgin !ekilde görülmektedir. #nterpolasyon yöntemi sadece iki kom!u
dilimin de hatalõ oldu u durumlarda kötü sonuçlar verir. Hareketin az oldu u IGörüntülerde, özellikle interpolasyon için sadece tek bir makroblo un mevcut
oldu u durumlarda basit zamansal hata gizleme yönteminin kullanõlmasõ daha iyi
sonuçlar verebilir. Bu nedenle görüntüdeki hareketlili i ölçerek basit zamansal hata
gizleme veya uzamsal hata gizleme yöntemlerinden hangisinin kullanõlmasõnõn daha
46
iyi sonuç verece ini belirten uyarlamalõ hata gizleme yöntemlerini kullanmak çok
daha iyi sonuçlar verebilir [20].
"ekil 4.4. Orijinal I-Görüntüsü
"ekil 4.5. Hatalõ I-Görüntüsü (hata oranõ %9.4)
47
"ekil 4.6. Basit zamansal hata gizleme yöntemiyle elde edilen görüntü
"ekil 4.7. Makroblok seviyesinde basit interpolasyonla kestirilen görüntü
48
"ekil 4.8. Makroblok seviyesinde iyile!tirilmi! basit interpolasyonla olu!turulan görüntü
#kinci deneyde, JPEG sõkõ!tõrma standardõ ile kodlanmõ! test görüntüsü üzerinde
olu!turulan 16 x 16 boyutundaki hatalõ bloklar; blok seviyesinde basit interpolasyon
(‘basit_blok’), makroblok seviyesinde basit interpolasyon (‘basit_mb’) ve yönlü
interpolasyon (‘yönlü_mb’) yöntemleri ile kestirilmi!tir. Bu deneyde kayõp bloklara
kom!u bloklarõn hatasõz oldu u varsayõlmaktadõr. Simülasyon sonuçunda elde edilen
her bir duruma kar!õlõk gelen tepe i!aret gürültü oranõ (PSNR) de erleri Tablo 4.2’de
belirtilmi!tir. Orijinal görüntü "ekil 4.9’da, hatalõ görüntü "ekil 4.10’da verilmi!tir.
Tablo 4.2. #kinci deney için farklõ hata gizleme yöntemleriyle kestirilen görüntülerin PSNR (dB)
de erleri (Hatalõ görüntü üzerinde % 22 hata oranõnda, 16 x 16 boyutunda kayõp bloklar vardõr)
Yöntem
PSNR (dB)
basit_blok
28.671
basit_mb
29.067
yönlü_mb
30.054
Tablo 4.2 ve "ekil 4.11- 4.13’de de açõkça belli oldu u gibi, yönlü interpolasyon
yöntemi basit interpolasyon yöntemlerine göre daha iyi sonuçlar vermektedir. Blok
seviyesinde basit interpolasyon sonucunun gösterildi i "ekil 4.11’de kestirilen hatalõ
bloklarõn, görüntüde ‘blok’ etkisine neden oldu u görülmektedir. Makroblok
seviyesinde uygulanan interpolasyon ile elde edilen görüntü "ekil 4.12’de
gösterilmi!tir. Makroblok seviyesindeki interpolasyonun görüntüde ani de i!imlerin
49
olmadõ õ düzgün bölgelerde (yüz ve omuz bölgesi) blok seviyesinde uygulanan
interpolasyona göre daha iyi sonuçlar verdi i görülmektedir. Di er yandan, ani
de i!imlerin oldu u kenar bölgelerinde bulanõkla!maya ve makroblok seviyesinde
‘blok’ etkisinin olu!masõna sebep olmaktadõr. "ekil 4.13’te gösterilen yönlü
interpolasyon yöntemi di er iki yönteme oranla hem kenarlarõn oldu u (!apkanõn
oldu u bölge) hem de düzgün bölgelerde (yüz ve omuz bölgesi) daha iyi sonuçlar
verip ‘blok’ etkisini ortadan kaldõrmõ!tõr.
"ekil 4.9. Orijinal görüntü
50
"ekil 4.10. Hatalõ görüntü ( % 22 hata oranõnda 16 x 16 boyutunda hatalõ bloklar mevcut)
"ekil 4.11. Blok seviyesinde interpolasyonla olu!turulan görüntü
51
"ekil 4.12. Makroblok seviyesinde interpolasyonla elde edilen görüntü
"ekil 4.13. Yönlü interpolasyonla kestirilen görüntü
BÖLÜM 5. DI BÜKEY KÜMELER ÜZER!NE !ZDÜ ÜM
5.1. Giri"
Bu bölümde “dõ bükey kümeler üzerine izdü üme” (POCS) hata gizleme yöntemi
tanõtõlacaktõr. Görüntü iyile tirmede kullanõlan POCS yöntemi do!al video
görüntülerinin bilinen öncelikli özelliklerini sa!lamaya çalõ õr. POCS algoritmasõ
Gerchberg yöntemine benzer ekilde uzamsal düzlem ile frekans düzlemi arasõndaki
kõsõtlamalar sa!lanacak ekilde yinelemeli olarak uygulanõr. POCS yöntemi, kayõp
blo!u kestirmek için kayõp blok ile uzamsal olarak ili kili kom u bloklardan elde
edilen kenar bilgisini kullanõr.
5.2. Önerilen Yöntem
Uzay koordinatlarõna ba!lõ iyile tirme yöntemi, hatalõ bir görüntünün yerel
özelliklerine uygun bir hale getirilecek ekilde uyarlamalõ olarak filtrelenmesidir.
Uyarlamalõ filtreleme i leminin gerçekle tirilebilmesi için kayõp blo!un görüntüde
düzgün bir bölgeye mi yoksa bir kenar bölgeye mi ait oldu!unu kestirmeliyiz.
Ayrõca kayõp blok görüntüde kenar bölgesinde ise kenar yönünü de kestirmemiz
gerekir. Hatasõz kom u bloklardan elde edilen bilgi kenar açõsõnõ belirlemek için
kullanõlõr. Kayõp blo!un bulundu!u bölge düzgün veya kenar bölgesi olarak
sõnõflandõrõldõktan sonra kayõp blo!u geri elde etmek için sõnõflandõrma sonucuna
uygun bir filtre kullanõlõr.
5.3. Blok Sõnõflandõrma ve Kenar Yönünün Belirlenmesi
Kom u bloklardaki mevcut kenar bilgisi, kaybolan bloktan geçecek
ekilde
geni letilerek kaybolan görüntü bloklarõ kestirilir. Kom u bloklarda kenar mevcut
de!ilse kayõp blok bir düzgünle tirme i lemi ile olu turulur. Bunu gerçekle tirmek
53
için kom u bloklarda kenarlarõn olup olmadõ!õ belirlenmelidir. Kenar varsa kayõp
blo!un etrafõndaki kenar karakteristiklerinin bilgisine dayalõ olarak muhtemel kenar
yönü do!ru olarak seçilmelidir. Basit ve etkili kenar belirleme yöntemlerinden biri
uzamsal düzlemde gradyan ölçütünün kullanõlmasõdõr. Bir x(i, j) pikseli için yerel
kenar gradyan bile enleri
g x " xi
1, j !1
g y " xi !1, j
! xi !1, j !1
2 xi
! xi !1, j !1
2 xi , j
1
1, j
1
! 2 xi !1, j
xi
1, j 1
! xi !1, j
1
(5.1)
! 2 xi , j !1
xi
1, j 1
! xi !1, j !1
(5.2)
denklemleriyle hesaplanõr. Denklem (5.1) ve (5.2) 3 x 3 boyutundaki
Sx =
-1 0 1
-2 0 2
-1 0 1
Sy =
1 2 1
0 0 0
-1 -2 -1
(5.3)
ile verilen Sobel operatörlerinin uygulanmasõna e de!erdir. (i, j) koordinatlarõndaki
gradyanõn genli!i ve açõsal yönü
G " gx2
g y 2 # " tan !1 ( g y / g x )
(5.4)
olarak tanõmlanõr. Standart gradyan operatörüne göre açõlarõn daha do!ru
kestirilmesini sa!layan yuvarlaklõk özelli!ine sahip oldu!undan gradyan kestirimi
için Sobel operatörü kullanõlmaktadõr. "ekil 5.1’de kayõp blok M ve onu çevreleyen
hatasõz olarak alõnmõ kom u bloklar ise N ile gösterilmektedir. Kayõp blo!a kom u
bloklardaki her bir (i, j) koordinatõ için gradyan ölçümü hesaplanõr. Gradyan açõsõ
"ekil 5.2’de gösterildi!i gibi 22.5o’nin katlarõ olacak ekilde yuvarlanõr ve böylece
kenar yönleri 0 ile 180° aralõ!õnda, 8 yönde e it aralõklara sahip olacak ekilde
kuantalanmõ olur.
"ekil 5.1. Kayõp blok ve onu çevreleyen hatasõz kom u bloklar
54
"ekil 5.2. Sekiz yönlü kenar kategorileri
Her bir kenar yönü için D0 – D7 olarak tanõmlanmõ
sayaçlar vardõr. (i, j)
noktasõndaki piksel üzerinden # açõsõ ile çizilen bir do!ru kayõp blok üzerinden
geçiyorsa bir oylama mekanizmasõ kullanõlarak seçilen kategori sayacõ gradyanõn
genli!i kadar arttõrõlõr. Mekanizmanõn prensibi a a!õdaki gibidir :
TEKRARLA [kom u blok N’deki tüm (i, j) piksel koordinatlarõ için] {
Denklem (5.4)’de verilen G ve # ’yõ hesapla
k = [yuvarla( # /22.5o)+8] mod 8
E!er [(i, j) noktasõndan # açõsõ ile çizilen do!ru
M kayõp blo!undan geçiyorsa]{
Dk = Dk + G
}
}
(5.5)
Kom u bloklardaki tüm pikseller için yukarõdaki oylama mekanizmasõ uygulandõktan
sonra en büyük de!eri içeren sayaç interpolasyonda kullanõlacak yönü belirler :
kmax = argk max(Dk)
(5.6)
En büyük sayaç de!eri önceden belirli bir T e ik de!erinden küçükse fark edilebilir
bir kenar yoktur ve kayõp blok düzgün bir bölgeye ait olarak sõnõflandõrõlõr.
E!er [Dkmax < T] {
M $ Düzgün Bölge
} Aksi halde {
M $ Kenar Bölge, kmax’õn indisi kenar yönünü belirtir
}
(5.7)
55
Böylece kayõp blok düzgün bir blok veya kenar bir blok olarak sõnõflandõrõlmõ olur.
5.4. Dõ"bükey Kümeler Üzerine !zdü"üm
Dõ bükey kümeler üzerine izdü üm (POCS) metoduna dayalõ olarak hatalõ blo!u geri
elde etmek için yinelemeli bir yöntem geli tirilebilir. POCS metodu, ön bir bilginin
mümkün çözüm kümesinin boyutunu sõnõrlandõrmak için kullanõldõ!õ çe itli görüntü
iyile tirme problemlerine uygulanmõ tõr [21, 22]. Bu kõsõtlamalar kestirilecek
görüntünün bir tahminini olu turan algoritmalarõ gerçekle tirmek için alõcõda
kullanõlabilir. Tipik bir video hakkõnda kullanmak istedi!imiz ön özellikler vardõr,
bunlar :
1) Düzgünlük – kestirilen piksellerin kom u pikseller ile düzgün olarak ba!lõ
olmasõnõ gerektirir
2) Kenar süreklili!i – görüntüdeki nesnelerin kenarlarõnõn devamlõlõ!õnõ
gerektirir
3) Bilinen de!erlere uygunluk – iyile tirme i lemi sõrasõnda do!ru alõnan piksel
de!erlerinin de!i memesini ve kestirilen piksel de!erlerinin bilinen bir
aralõkta (örne!in [0-255] ) olmasõnõ gerektirir
özelliklerini içermektedir. Amaç, istenilen bu özelliklerin dõ bükey kõsõtlamalarõ
olarak ifade edilmesidir. Uzay-sõnõrlõ, bant-sõnõrlõ, negatifsizlik, sõnõrlõ enerji gibi
yaygõn kõsõtlamalar dõ bükey kümeler olarak bilinmektedir [23]. Yukarõdaki sõralanan
görüntü özelliklerinin tanõmlanmasõ için a a!õdaki dõ bükey kõsõtlamalarõnõ ve
izdü üm operatörlerini kullanaca!õz :
1) Önceden bilinen bir kümeden de!erler alan i aret kümesi : n-boyutlu gerçek uzay
Rn’deki tüm i aret vektörleri x’i içeren, bazõ bile enleri bilinen bu C1 kümesi
C1 = { x $ Rn : xi = ki , i $ I }
(5.8)
olarak ifade edilir. Denklem (5.8)’de xi, x vektörünün i. bile enini ve ki, belirli bir I
indeks kümesindeki bilinen katsayõlardõr. C1 dõ bükey kümesi üzerine uygulanan
izdü üm operatörü P1
[P1 x]i =
ki,
i$I
xi ,
aksi halde
(5.9)
56
ile verilir. Bile enin de!eri biliniyorsa, bu de!er izdü üm operatörüne atanõr aksi
durumda de!er de!i tirilmeden bõrakõlõr.
2) Belirli bir dönü türülmü katsayõlar kümesinden de!er alan i aretler sõnõf : nboyutlu karma õk düzlem Cn’de bazõ dönü üm katsayõlarõ bilinen de!erli, tüm i aret
vektörleri x’i içeren bu C2 kümesi
C2 = { x $ Cn : [Tx]i = zi , i $ I}
(5.10)
olarak elde edilir. Denklem (5.10)’daki T do!rusal dönü üm operatörü, [Tx]i, i.
dönü üm katsayõsõ ve zi belirli bir I indeks kümesindeki bilinen katsayõlardõr. C2
dõ bükey kümesi üzerine uygulanan izdü üm operatörü P2
z i,
[T P2x ]i =
i$I
(5.11)
[Tx]i, di!er durumda
ile verilir. E!er dönü üm katsayõlarõ belirtilmi se izdü üm bu katsayõya atanõr, aksi
halde de!i tirilmeden bõrakõlõr.
P1 izdü üm operatörü bilinen de!erlere uygunluk sõnõrlamasõnõ uygulamak için
kullanõlabilir. "ekil 5.1’de gösterilen bu bölge üzerindeki bir görüntüyü temsil eden
herhangi bir i aret vektörü x a a!õdaki izdü ümle uygunlu!u sa!layacak ekilde
zorlanabilir.
ki, j,
0,
(i, j) $ N
(i, j) $ M ve xi, j < 0
[P1x]i, j =
(5.12)
255,
xi, j
(i, j) $ M ve xi, j > 255
aksi halde
Denklem (5.12)’de (i, j), piksellerin koordinatlarõnõ ve ki, j de do!ru alõnan kom u
bloklardaki piksel de!erlerini göstermektedir.
Görüntüde kenar süreklili!ini ve düzgünlük kõsõtlamalarõnõ sa!lamak için P2 izdü üm
operatörü kullanõlabilir. P2, yerel görüntü özelliklerine ba!lõ olarak de!i ken bir
operatördür. Görüntünün düzgün oldu!u bölgelerde, frekans spektrumu hemen
hemen e yönlüdür ve çok dü ük bant geni li!ine sahiptir. O halde düzgün bir bölge
olarak sõnõflandõrõlmõ blok için “muhtemel çözüm kümesi alçak geçiren bant sõnõrlõ
57
bir spektruma sahip olmalõdõr” sõnõrlamasõnõ kullanabiliriz. Bu durumda dõ bükey C2
kümesi
C2, DÜZGÜN = { x $ Cn : [Tx]m, n = 0,
m2
n 2 > Rth }
(5.13)
olur. Burada T, iki-boyutlu (2-D) N x N ayrõk Fourier dönü üm operatörünü, (m, n)
–N/2 % m, n % N/2-1 olmak üzere Fourier katsayõlarõnõn indislerini ve Rth, alçak
geçiren kesim frekansõnõ belirleyen bir e ik yarõçap de!erini göstermektedir.
(5.13)’de verilen e itli!e göre P2 izdü üm operatörü
0,
m2
n 2 > Rth
[T P2, DÜZGÜN x]m,n =
(5.14)
[Tx]m, n, aksi halde
eklinde tanõmlanõr. P2,DÜZGÜN izdü üm operatörü, alçak geçiren bir filtre gibi
davranõr ve Rth yarõçapõ ile belirlenen bant geni li!inin dõ õnda kalan yüksek frekans
katsayõlarõnõ sõfõr yapar ve alçak frekans katsayõlarõnõ de!i tirmez. "ekil 5.3(a)
P2, DÜZGÜN izdü üm operatörüne kar õ gelen filtreyi göstermektedir.
(a)
(b)
"ekil 5.3. (a) Alçak geçiren filtre, (b) Bant geçiren filtre
Gölgeli olan alan, filtrenin birim kazançlõ bant geçiren kõsmõnõ ve di!er alanlar da
filtrenin sõfõr kazançlõ bant söndüren kõsmõnõ göstermektedir. Görüntünün kenar
bölgelerinde spektrum bant geçiren bir karakteristi!e sahiptir. Enerji, kenar yönüne
dik bir yön boyunca uzanan dönü üm katsayõlarõnda toplanõr, di!er dönü üm
katsayõlarõ çok küçüktür. Kenar bir bölge olarak sõnõflandõrõlmõ bir blok için
58
“mümkün çözüm kümesi belirlenen kenar yönüne dik yönde olacak ekilde bant
geçiren bir spektruma sahip olmalõdõr” sõnõrlamasõnõ kullanabiliriz. Böylece dõ bükey
C2 kümesi
C2, KENAR = { x $ Cn : [Tx]m, n = 0, n ! m * tan(#
90 o ) > Bth }
(5.15)
olur. Burada T, iki-boyutlu (2-D) N x N ayrõk Fourier dönü üm operatörünü, (m, n)
–N/2 % m, n % N/2-1 olmak üzere Fourier katsayõlarõnõn indislerini, # , belirlenen
kenar yönünün açõsõnõ ve Bth de bant geni li!ini göstermektedir. O halde P2 izdü üm
operatörü
0,
n ! m * tan(#
90 o ) > Bth
[T P2, KENAR x]m,n =
(5.16)
[Tx]m, n, aksi halde
olur. P2,KENAR izdü üm operatörü, Bth e ik de!eriyle belirlenen bant geni li!i
dõ õndaki katsayõlarõ sõfõr yapõp di!er frekans katsayõlarõnõ de!i tirmeden bõrakõr.
"ekil 5.3 (b) P2,KENAR izdü üm operatörüne kar õ gelen filtreyi göstermektedir.
"ekil 5.4. Uyarlamalõ POCS yöntemiyle kayõp blo!un yinelemeli olarak bulunmasõ
P1 ve P2 izdü üm operatörleri, "ekil 5.4’de gösterilen yinelemeli iyile tirme
algoritmasõnda kullanõlabilir. Bu algoritmada, hatalõ bir blok ile ona kom u olan
hatasõz bloklarõn tümü kullanõlarak büyük bir blok olu turulur. Büyük blok önce
düzgün veya kenar blok olarak sõnõflandõrõlõr. Kenar bölgeye ait ise ayrõca kenar
yönü de belirlenir. Daha sonra büyük blo!un 2-D ayrõk Fourier dönü ümü hesaplanõr.
Fourier katsayõlarõ, blok sõnõflandõrõcõ tarafõndan belirlenen blok tipine göre
uyarlamalõ filtre ile filtrelenir. Filtrelenen katsayõlarõn 2-D ters ayrõk Fourier
59
dönü ümü alõnarak blok kestirilir. Yeniden kestirilen görüntünün hatalõ blo!a kar õ
gelen kõsmõ yineleme için giri e gönderilir. Böylece kestirilecek görüntü iki dõ bükey
sõnõrlamasõnõ sa!lamaya zorlanõr. #yile tirilecek olan görüntü f,
fi+1 = P1P2fi
(5.17)
eklinde yinelemeli olarak bulunabilir. P2 uyarlamalõ filtreye kar õ gelen izdü üm
operatörüdür. P1 kestirilen görüntüdeki hatalõ blo!a kar õ gelen bölgeyi büyük blo!un
ortasõna kopyalayan izdü üm operatörüdür. Ayrõca, P1 izdü üm operatörü do!ru
olarak alõnmõ kom u bloklarõn piksel de!erlerini de!i tirmez; hatalõ blo!a kar õ
gelen piksel de!erlerinin de bilinen bir aralõkta (örne!in [0-255] ) olmasõnõ sa!lar.
#ki dõ bükey küme kesi iyorsa ke im bölgesinde bir noktaya yakõnsama garanti edilir
[23]. #ki dõ bükey küme kesi miyorsa algoritma her iki kümeye de e it uzaklõktaki iki
izdü üm noktasõ arasõnda salõnõm gösterir. Algoritmanõn durdu!u yere ba!lõ olarak
çözüm, bu iki kümeden birinde olacaktõr. "ekil 5.5 bu izdü üm i lemini
göstermektedir.
"ekil 5.5. # aret uzayõnda dõ bükey kümeler üzerine izdü üm
Blok sõnõflandõrmaya ba!lõ olarak uyarlamalõ filtre alçak geçiren veya bant geçiren
bir fitlere gibi davranõr. Hatalõ blok düzgün bir bölgeye ait ise algoritma kom u
bloklarla düzgün birle en bir blok olu turur. Hatalõ blok kenar bölgeye ait ise
algoritma hatalõ blo!u, kom u bloklardaki kenarõn devamlõlõ!õnõ sa!layacak ekilde
kestirir.
60
5.5. Simülasyon Sonuçlarõ
Simülasyonlar JPEG görüntü sõkõ tõrma standardõ ile kodlanmõ test görüntüleri
üzerinde gerçekle tirilmi tir. #lk deneyde POCS yöntemimin kenar yönünü belirleme
yetene!ini tespit etmek için Lena görüntüsünde 48 x 48 boyutundaki bir bölgenin
ortasõndaki 16 x 16 boyutundaki hatalõ blok önce makroblok seviyesinde basit
interpolasyon (‘basit_mb’) ile daha sonra da POCS yöntemi (‘POCS’) ile elde
edilmi tir. Elde edilen görüntülerin tepe i aret gürültü oranõ (PSNR) de!erleri her iki
durum için Tablo 5.1’de verilmi tir. "ekil 5.6 (a) orijinal görüntüyü, "ekil 5.6 (b) ise
hatalõ görüntüyü göstermektedir.
Tablo 5.1. 48 x 48 boyutunda bir kenar blok üzerinde yapõlan simülasyon sonucu elde edilen PSNR
de!erleri
Yöntem
PSNR (dB)
basit_mb
28.069
POCS
34.634
Tablo 5.1’de belirtilen PSNR de!erleri arasõndaki fark, POCS yönteminin kenar
tespitinde daha çok ba arõlõ oldu!unu belirtmektedir.
(a)
"ekil 5.6. (a) Orijinal görüntü, (b) Hatalõ görüntü
(b)
61
(a)
(b)
"ekil 5.7. (a) Basit interpolasyonla elde edilen görüntü, (b) POCS yöntemiyle kestirilen görüntü
Kenar yönü do!ru tespit edilirse kom u bloklardaki kenarõn devamlõlõ!õ
"ekil 5.7(b)’de görüldü!ü gibi kayõp blokta da sa!lanmaktadõr.
#kinci deney, ilk önce fazla miktarda detaya sahip olmayan Lena görüntüsü daha
sonra da çok fazla miktarda detaya sahip Baboon görüntüsü için gerçekle tirilmi tir.
Test görüntüleri 16 x 16 boyutunda kayõp bloklara sahiptir. Her iki görüntüde de hata
oranõ % 22’dir. Kayõp bloklar, blok seviyesinde basit interpolasyon (‘basit_blok’),
makroblok seviyesinde basit interpolasyon (‘basit_mb’), yönlü interpolasyon
(‘yönlü_mb’) ve POCS yöntemi (‘POCS’) kullanõlarak kestirilmi tir. POCS
yönteminde düzgün/kenar kararõ için gradyan e ik de!eri T = 8500, alçak geçiren
filtre yarõçapõ Rth = 20 ve bant geçiren filtre için bant geni li!i Lena görüntüsünde
Bth = 5, Baboon görüntüsünde Bth = 8 olarak seçilmi tir. Simülasyon sonucunda elde
B
edilen görüntülerin PSNR de!erleri Tablo5.2’de verilmi tir.
Tablo 5.2. #kinci deneyde elde edilen PSNR (dB) de!erleri
Yöntem
PSNR (dB) (Lena)
PSNR (dB) (Baboon)
basit_blok
28.671
24.986
basit_mb
29.067
25.490
yönlü_mb
30.054
24.987
POSC
29.015
24.830
62
#kinci deneyde elde edilen sonuçlar POCS yönteminin ilk deneyde oldu!u gibi
ba arõlõ olmadõ!õnõ göstermektedir. Tablo 5.2’de verilen PSNR de!erleri birbirine
oldukça yakõn olmakla birlikte POCS yöntemi di!er yöntemlerden biraz daha kötü
sonuçlar vermi tir. POCS yönteminin en önemli kõsõtlamasõ uyarlamalõ filtrelerle
gerçekle tirilen bant sõnõrlamasõdõr. Fakat bu yakla õm her zaman geçerli de!ildir.
"ekil 5.8 Lena görüntüsünün Fourier dönü ümünün genli!ini gösterilmektedir.
Genelde, do!al görüntüler frekans spektrumunda ‘çapraz yapõ’ olarak da bilinen
yatay ve dikey yönde geni alçak frekans bile enlerine sahiptir. Bu etki genellikle
dörtgen kenarlara sahip görüntülerde meydana gelir çünkü dörtgen kenarlardan
dolayõ görüntüde bir devamsõzlõk vardõr. Bu yüzden dü ey ve dikey yöndeki bu alçak
frekans bile enleri, ne alçak geçiren filtre ile ne de bant geçiren filtre ile aynõ anda
korunamaz.
"ekil 5.8. Lena görüntüsünün genlik spektrumu
Di!er yandan, kom u bloklar hatalõ blo!un kestirilmesi esnasõnda negatif bir etki
yapabilirler. Tüm bu kõsõtlamalarõna ra!men özellikle ince detaylara sahip Baboon
görüntüsü üzerinde yapõlan deneyde (PSNR de!eri açõsõndan di!er yöntemlerin
gerisinde kalmõ olsa bile) sonuçlar insan gözüyle incelendi!inde POCS yönteminin
di!er yöntemlere göre daha düzgün bir görüntü olu turdu!u görülmektedir. Özellikle
di!er yöntemlerdeki mevcut ‘blok etkisi’ POCS yöntemiyle kestirilen görüntüde
ortadan kaybolmaktadõr.
63
"ekil 5.9. Orijinal görüntü (Lena)
"ekil 5.10. Hatalõ test görüntü ( % 22 hata oranõnda 16 x 16 boyutunda hatalõ bloklar mevcut)
64
"ekil 5.11. Blok seviyesinde interpolasyonla olu turulan görüntü, PSNR = 28.671
"ekil 5.12. Makroblok seviyesinde interpolasyonla olu turulan görüntü, PSNR = 29.067
65
"ekil 5.13. Yönlü interpolasyonla olu turulan görüntü, PSNR = 30.054
"ekil 5.14. POCS yöntemiyle olu turulan görüntü, PSNR = 29.015
66
"ekil 5.15. Orijinal görüntüsü (Baboon)
"ekil 5.16. Hatalõ test görüntüsü ( % 22 hata oranõnda 16 x 16 boyutunda hatalõ bloklar mevcut)
67
"ekil 5.17. Blok seviyesinde interpolasyonla olu turulan görüntü, PSNR = 24.986
"ekil 5.18. Makroblok seviyesinde interpolasyonla olu turulan görüntü, PSNR = 25.490
68
"ekil 5.19. Yönlü interpolasyonla olu turulan görüntü, PSNR = 24.987
"ekil 5.20. POCS yöntemiyle olu turulan görüntü, PSNR = 24.830
BÖLÜM
6.
BLOK
E LE T!RME
YÖNTEM!NE
DAYALI
ZAMANSAL HATA G!ZLEME
6.1. Giri"
Blok tabanlõ hareket kestirimi ve denkle tirmesi, videodaki zamansal fazlalõ!õ
azaltmak için H.261 ve MPEG-X ailesi gibi birçok sayõsal video sõkõ tõrma
standartlarõnda kullanõlan en yaygõn yöntemdir. Bu standartlar için belirli bir hareket
kestirim yöntemi tanõmlanmamasõna ra!men blok tabanlõ hareket kestirimi do!al bir
seçenek olmu tur.
Blok e le tirme, gerçekle tirme karma õklõ!õ az olmasõndan dolayõ hareket kestirimi
için pratikte kullanõlan yöntemdir. Bu bölümde video i aretlerindeki zamansal
ili kiden yararlanarak mevcut görüntüdeki hatalõ blo!u, bir önceki görüntüdeki
hareket dengelemeli blok ile yer de!i tirerek iyile tirmeyi amaçlayan bir yöntem
sunulacaktõr. Hareket denkle tirmesi, blok e le tirme yöntemine dayalõ olarak
gerçekle tirilecektir.
6.2. !ki Boyutlu (2-D) Hareket
“"zdü üm hareketi” olarak da adlandõrõlan iki boyutlu (2-D) hareket, üç boyutlu
(3-D) hareketin görüntü düzlemine perspektif bir izdü ümüdür. 3-D hareket, ya üç
boyutlu (3-D) anlõk hõza ya da nesnelerin üç boyutlu (3-D) yerde!i imine ba!lõ
olarak tanõmlanabilir.
2-D yerde!i im vektörü kavramõ #ekil 6.1’de gösterilmi tir. t
anõnda
P
noktasõndaki bir nesnenin, t anõnda P noktasõna hareket etti!ini varsayalõm. Bu
durumda P ve P noktalarõnõn görüntü düzlemine perspektif izdü ümleri, görüntü
düzlemindeki p ve p noktalarõnõ verecektir. #ekil 6.2, bir nesnenin 3-D hareketinin
70
perspektif izdü ümü olarak t anõnda bu nesneye kar õ gelen p noktasõndaki
görüntünün, t anõnda p noktasõna olan hareketinin iki boyutlu (2-D) görünümünü
göstermektedir. "zdü üm i leminden dolayõ kesikli çizgi boyunca uzanan tüm 3-D
yerde!i im vektörleri aynõ 2-D yerde!i im vektörünü verecektir.
#ekil 6.1. Üç boyutlu (3-D) harekete kar õ gelen iki boyutlu (2-D) hareket
#ekil 6.2. "zdü üm hareketi
l , bir tam sayõ, !t , zamansal örnekleme aralõ!õ ve x, görüntü düzlemi koordinatlarõ
olmak üzere t ve t # t " l!t zamanlarõ arasõndaki izdü üm yerde!i imi, tüm (x, t )
$ R3 için tanõmlanabilir ve gerçek de!erli 2-D yerde!i im vektör fonksiyonu
71
dc(x, t ; l!t ) ile gösterilir. 2-D yerde!i im vektör alanõ, 2-D yerde!i im vektör
fonksiyonun örneklenmi bir gösterilimidir, ve
dp(x, t ; l!t ) = dc(x, t ; l!t ) , (x, t ) $ %3
(6.1)
veya e de!eri
d(n, k; l ) = dp(x, t ; l!t )
[ x1 x2 ]T # V [ n1 n2 k ]T
, (n, k ) $ Z3
(6.2)
ile tanõmlanõr. V, üç boyutlu %3 ’ün örnekleme matrisidir. Böylece (x, t ) $ %3 olmak
üzere, 2-D yerde!i im alanõ 2-D yerde!i im vektörlerinin toplamõ olacaktõr.
[x1 x2 t ]T =V[n1, n2, k ]T $ %3 ve (n, k ) $ Z3 için t zamanõndaki izdü üm hõz
fonksiyonu vc(x, t ) ve 2-D hõz vektör alanõ vp(x, t ) = v(n, k ), 3-D anlõk hõza
.
(X
1,
.
X
.
2
,X
3
) ba!lõ olarak benzer ekilde tanõmlanabilir. Noktalar zamana ba!lõ
türevi göstermektedir.
6.3. Benzerlik ve Optik Akõ
sc(x, t )’nin de i!imine ba lõ olarak görüntü düzlemi koordinatlarõ x’in t ve t
zamanlarõ arasõndaki yerde i!imi, benzerlik vektörü olarak adlandõrõlõr. Optik akõ!
vektörü, yo unluk !ekli sc(x, t )’nin uzamsal-zamansal de i!imine ba lõ olarak
belirlenir ve belirli bir (x, t ) ! R3 noktasõnda, görüntü düzlemi koordinatlarõnõn
de i!iminin zamansal hõzõ ( v1 ,v2 ) = ( dx1 / dt , dx2 / dt ) olarak tanõmlanõr. Di er bir
deyi!le optik akõ!, anlõk piksel hõz vektörüne kar!õ gelmektedir. (Teorik olarak
$t # t " t ’nin sõfõra e!it oldu u limit durumunda optik akõ! ve benzerlik vektörü
aynõ olur.) Pratikte benzerlik (optik akõ!) alanõ, 2-D görüntü !eklinin gözlemlenebilir
de i!imlerine ba lõ olarak piksel yerde i!imlerinin vektör alanõ olarak tanõmlanõr.
Benzerlik alanõ ve optik akõ! alanõ sõrasõyla “anla!õlõr 2-D yerde i!im” ve “anla!õlõr
2-D hõz” olarak da bilinmektedir.
A!a õda sõralanacak nedenlerden dolayõ benzerlik (optik akõ!) alanõ, 2-D yerde i!im
(2-D hõz) alanõndan farklõdõr :
%
Görüntüde yeterli uzamsal de i!imin olmamasõ : Gerçek bir hareketin
görünür olmasõ için hareket bölgesi içinde yeterli grilik seviyesi (renk)
72
de i!imi olmalõdõr. "ekil 6.3’te görünür olmayan bir hareket örne i
gösterilmi!tir. Düzgün bir yo unlu a sahip olan bir daire kendi merkezinde
dönmektedir. Bu hareket optik akõ! meydana getirmez ve bu yüzden
gözlemlenemez.
"ekil 6.3. Her izdü!üm hareketi optik akõ! meydana getirmez
%
Dõ! aydõnlatmadaki de i!imler : Görünür bir optik akõ! her zaman gerçek bir
harekete kar!õ gelmez. Örne in "ekil 6.4’te gösterildi i gibi dõ! aydõnlatma
görüntüden görüntüye de i!ebilir. Bu durumda optik akõ! görünür oldu u
halde gerçekte bir hareket yoktur. Bu nedenle dõ! aydõnlatmadaki de i!imler
gerçek 2-D hareket alanõnõn kestirilmesini kötü yönde etkiler.
k. görüntü
k+1. görüntü
"ekil 6.4. Her optik akõ!, izdü!üm hareketine kar!õ gelmez
6.4. 2-D Hareket Kestirimi
2-D hareket kestirimi problemi, ya görüntü düzlemi yerde i!im vektörlerinin ya da
optik akõ! vektörlerinin kestirimi olarak dü!ünülebilir. Bu kõsõmda sadece
“yerde i!im problemi” ele alõnacaktõr.
73
Benzerlik problemi; "ekil 6.5’te de gösterildi i gibi ya
t
zamanõndan
t & l$t zamanõna ya da t " l$t zamanõna tanõmlanmõ! hareket vektörüne ba lõ olarak
ileri veya geri yönde hareket kestirimi problemi olarak ele alõnabilir.
%
#leri yönde kestirim : t ve t & l$t zamanlarõnda verilen bir uzamsal-zamansal
görüntü sp(x, t ),
sp(x1,x2, t ) = sc(x1 + d1(x, t ; l$t ), x2 + d2(x, t ; l$t ), t & l$t )
(6.3)
veya e!de eri
sk(x1,x2) = sk+l (x1 + d1(x), x2 + d2(x)),
t # k$t
ile verilir ve gerçek de erli yerde i!im vektörü d(x) = [d1(x), d2(x)]T ile
tanõmlanõr. Burada gösterimde kolaylõk olmasõ için d(x)’in zamansal
argümanlarõ yazõlmamõ!tõr.
"ekil 6.5. #leri ve geri yöndeki benzerlik vektörlerinin kestirimi
%
Geri yönde kestirim : Yerde i!im vektörü t zamanõndan t " l$t zamanõna
do ru tanõmlanõrsa 2-D hareket modeli
sk(x1,x2) = sk-l (x1 + d1(x), x2 + d2(x)),
t # k$t
olur. Hareket vektörü t " l$t zamanõndan t zamanõna do ru tanõmlanõrsa 2-D
hareket modeli
sk(x1,x2) = sk-l (x1 - d1(x), x2 - d2(x)),
olur.
t # k$t
74
6.5. Blok-Hareket Modelleri
Blok-hareket modeli, görüntünün hareket eden bloklardan meydana geldi ini
varsaymaktadõr. #ki türlü blok hareketinden söz etmek mümkündür : i) basit 2-D
aktarõm ve ii) çe!itli !ekillerdeki bloklarõn 2-D aktarõmõ. Bu kõsõmda sadece basit 2-D
aktarõm ele alõnacaktõr.
Basit 2-D aktarõm modelinde l , bir tam sayõ olmak üzere k. görüntüde n = (n1, n2)
pikseline merkezlenmi! N x N boyutundaki bir B blo u, k & l . görüntüde aynõ
boyutlu bir blo un kaydõrõlmõ! bir versiyonu olarak modellenir. Bu hareket,
s(n1, n2, k ) = sc(x1 + d1, x2 + d2, t & l$t ) |
,x)
,n)
* t ' # V *k '
+ (
+ (
(6.4)
ile verilir. (n1, n2) ! B olmak üzere d1 ve d2, B blo unun yerde i!im (aktarõm)
vektörünün bile!enleridir. Denklem (6.4)’de e!itli in sa tarafõnõn sürekli zamanda
de i!en bir görüntü sc(x1, x2, t ) oldu una ve d1, d2’nin de gerçek de erler aldõ õna
dikkat ediniz. d1, d2 de erleri en yakõn tam sayõ de erine kuantalanõrsa denklem (6.4)
s(n1, n2, k ) = s(n1 + d1, n2 + d2, k & l )
(6.5)
e!itli ine indirgenir.
B blo u
(a)
(b)
"ekil 6.6. Basit 2-D aktarõm modeli : a) örtü!mesiz bloklar, b) örtü!en bloklar
75
6.6. Blok E le tirme Yöntemi
Blok e!le!tirme yönteminde en muhtemel yerde i!tirme vektörü piksel uzayõnda
yapõlan bir ara!tõrma i!lemi sonucunda kestirilir.
"ekil 6.7. Blok E!le!tirme Yöntemi
"ekil 6.7 blok ele!tirme yönteminin temel fikrini göstermektedir. En iyi e!le!en aynõ
boyuttaki blo un yerini tespit etmek için k. görüntüde (n1, n2) noktasõnda
merkezlenmi! N1 x N2 boyutundaki bir blok, k+1. görüntüde ara!tõrõlarak k.
görüntüde (n1, n2) noktasõndaki bir piksel için yerde i!im belirlenir. Hesaplama
süresini azaltmak için ara!tõrma bölgesi N1 + 2M1 x N2 + 2M2 boyutlarõnda bir bölge
ile sõnõrlandõrõlõr ve bu bölge “ara!tõrma penceresi” olarak adlandõrõlõr.
6.6.1. E le tirme ölçütü
En iyi e!le!en bloklarõ bulmada kullanõlan, karesel ortalama hata (MSE), minimum
mutlak fark (MAD) gibi çe!itli e!le!tirme ölçütleri vardõr.
Karesel ortalama hata (MSE),
MSE (d1 , d 2 ) #
1
N1 N 2
-
[ s (n1 , n2 , k ) " s (n1 & d1 , n2 & d 2 , k & 1)] 2
( n1 ,n2 )!B
(6.6)
76
ile verilir. B, tüm olasõ hareket vektörleri (d1,d2)’ye kar!õ gelen N1 x N2 boyutundaki
blo u göstermektedir. En küçük MSE de erini veren (d1,d2), kestirilmi! hareket
vektörü olarak alõnõr. Bu durum
[dˆ1 , dˆ 2 ]T # arg
min MSE (d1 , d 2 )
( d1 ,d 2 )
(6.7)
e!itli iyle ifade edilir. Ancak, bir sayõnõn karesini alma i!lemini donanõmsal olarak
gerçekle!tirmek zor oldu undan MSE ölçütü çok kullanõlmaz. Bunun yerine,
MAD (d1 , d 2 ) #
1
N1 N 2
-
| s (n1 , n 2 , k ) " s (n1 & d1 , n 2 & d 2 , k & 1) |
(6.8)
( n1 ,n2 )!B
ile verilen ortalama mutlak fark (MAD) ölçütü kullanõlõr. Böylece kestirilen hareket
vektörü,
[dˆ1 , dˆ 2 ]T # arg
min MAD(d1 , d 2 )
( d1 ,d 2 )
(6.9)
olacaktõr.
6.7. Önerilen Yöntem
Blok e!le!tirme yöntemine dayalõ zamansal hata gizleme, video i!aretlerindeki
zamansal ili!kiden yararlanõr. Bir görüntüdeki bloklara ait hareket vektörü bozulur ya
da kaybolursa hatalõ makroblo u, bir önceki görüntüde düzlemsel olarak aynõ yerdeki
makroblok ile yer de i!tirmek hareketin hõzlõ oldu u durumlarda görsel bozukluklara
neden olabilir. Daha iyi bir iyile!tirme elde etmek için hatalõ blo a ait hareket
vektörünün de kestirilmesi gerekmektedir.
Önerilen yöntemde, bazõ kom!u bloklarõn düzgün ve benzer bir harekete sahip
oldu u varsayõmõna ba lõ olarak hatalõ blo a ait hareket vektörünün uzamsal olarak
kom!u üst blo un hareket vektörüyle aynõ oldu u kabul edilir. "ekil 6.8’de de
gösterildi i gibi mevcut görüntüdeki hatalõ blo a kom!u üst blok, referans görüntüde
N x M boyutunda önceden belirli bir ara!tõrma bölgesinde ara!tõrõlarak en küçük
MAD de erini veren (d1,d2), kestirilmi! hareket vektörü olarak alõnõr. Hata gizleme
i!lemi referans görüntüdeki en iyi e!le!mi! blo un altõndaki kom!u blo un mevcut
görüntüde hatalõ blo un bulundu u bölgeye kopyalanmasõyla gerçekle!tirilir.
Zamansal blok e!le!tirme yöntemi, ba õmsõz kodlandõklarõndan hareket vektörüne
77
sahip olmayan I-Görüntülerde de kullanõlabilir. I- ve P-Görüntüler için e!le!tirme,
mevcut görüntü ile bir önceki görüntü arasõnda; B-Görüntülerde ise e!le!tirme
mevcut görüntü ile hem bir önceki hem de bir sonraki görüntüler arasõnda
gerçekle!tirilir.
"ekil 6.8 Blok e!le!tirme yöntemine dayalõ zamansal hata gizleme
6.8. Simülasyon Sonuçlarõ
Simülasyonlar MPEG standardõ ile kodlanmõ! sayõsal bir video dizisinden arka
arkaya alõnan test görüntüleri üzerinde gerçekle!tirilmi!tir. Kar!õla!tõrma amacõyla ilk
78
simülasyon hareketin hõzlõ oldu u görüntüler üzerinde ikincisi ise hareketin yava!
oldu u görüntüler üzerinde uygulanmõ!tõr. Her iki deneyde de test görüntüleri
üzerinde olu!turulan 16 x 16 boyutundaki hatalõ bloklar; basit zamansal hata gizleme
(‘basit’), blok e!le!tirme yöntemine dayalõ zamansal hata gizleme (‘ZBE’) ve blok
seviyesinde basit interpolasyon (‘basit_blok’) ile kestirilmi!tir. Simülasyon
sonucunda elde edilen her bir duruma kar!õlõk gelen tepe i!aret-gürültü-oranõ (PSNR)
de erleri Tablo 6.1’de belirtilmi!tir.
Tablo 6.1. Farklõ hata gizleme yöntemleriyle kestirilen görüntülerin PSNR (dB) de erleri (Hatalõ
görüntüler üzerinde % 17 hata oranõnda, 16 x 16 boyutunda kayõp bloklar vardõr)
Hareketin hõzlõ oldu u görüntü
Hareketin yava! oldu u görüntü
PSNR (dB)
PSNR (dB)
basit
26.974
42.460
ZBE
28.369
45.796
basit_blok
30.727
31.096
Yöntem
Tablo 6.1 ve "ekil 6.13-6.15 ile 6.20-6.22’de belirtilen simülasyon sonucunda elde
edilen görüntülerde de açõkça belli oldu u gibi hatalõ blo un hareket dengelemeli
blok ile yer de i!tirmesine dayanan zamansal blok e!le!tirme yöntemi, basit
zamansal hata gizleme yöntemine göre daha iyi sonuçlar vermektedir. Ancak
hareketin hõzlõ oldu u görüntüde en iyi sonuç basit interpolasyon yöntemiyle elde
edilmi!tir. Di er yandan hareketin yava! oldu u görüntüde ise zamansal blok
e!le!tirme yöntemiyle en iyi sonuç alõnmõ!tõr.
Sonuç olarak, görüntüdeki bloklara ait hareket vektörü bozuldu unda ya da
kayboldu unda hareketin yava! oldu u görüntülerde hareket kestirimine dayanan
zamansal hata gizleme yöntemlerinin kullanõlmasõ daha uygun olurken hareketin
hõzlõ oldu u durumlarda uzamsal hata gizleme yöntemlerinin kullanõlmasõ daha etkili
olacaktõr. Ancak, hatalõ blo a ait hareket vektörü mevcut ise her iki durum için de en
iyi sonuç zamansal hata gizleme yöntemiyle alõnacaktõr.
79
"ekil 6.9. Orijinal görüntü
"ekil 6.10. Referans görüntü
80
"ekil 6.11. "ekil 6.9 ve 6.10’daki görüntüler arasõndaki hareket vektörleri (hareketin hõzlõ oldu u
görüntü)
"ekil 6.12. Hatalõ görüntü
81
"ekil 6.13. Basit zamansal hata gizleme yöntemiyle elde edilen görüntü (PSNR = 26.974)
"ekil 6.14. Zamansal blok e!le!tirme yöntemiyle kestirilen görüntü (PSNR = 28.369)
82
"ekil 6.15. Makroblok seviyesinde basit interpolasyonla olu!turulan görüntü (PSNR = 30.727)
83
"ekil 6.16. Orijinal görüntü
"ekil 6.17. Referans görüntü
84
"ekil 6.18. "ekil 6.16 ve 6.17’daki görüntüler arasõndaki hareket vektörleri (hareketin yava! oldu u
görüntü)
"ekil 6.19. Hatalõ görüntü
85
"ekil 6.20. Basit zamansal hata gizleme yöntemiyle elde edilen görüntü (PSNR = 42.460)
"ekil 6.21. Zamansal blok e!le!tirme yöntemiyle kestirilen görüntü (PSNR = 45.796)
86
"ekil 6.22. Makroblok seviyesinde basit interpolasyonla olu!turulan görüntü (PSNR = 31.096)
BÖLÜM 7. SONUÇLAR VE ÖNER LER
Görüntünün düzgün bölgelerindeki kom u pikseller arasõndaki yakõn ili kiden dolayõ
tüm hata gizleme yöntemleri düzgün bölgelerde iyi sonuçlar vermi tir. Tüm
simülasyon sonuçlarõnda elde edilen tepe i aret gürültü oranõ (PSNR) de!erleri 20
dB’nin üzerindedir. Fazla detaya sahip olan görüntüler hata gizleme algoritmalarõ
için büyük zorluklara neden olmaktadõr. Özellikle kenarlarõn yo!un oldu!u
bölgelerdeki hatalõ bloklarõn kestirilmesi zordur. Kenar yönü boyunca piksel
de!erleri arasõndaki fark çok az olmakla beraber çapraz kenar yönleri boyunca piksel
de!erleri arasõndaki fark daha fazla olur.
Farklõ özellikler gösteren tüm bu bölgelerin hepsi do!al bir görüntüde mevcut
olmayabilir. Ancak bu bölgelerin boyutu, görüntüdeki yeri ve oranõ do!al
görüntülerde kontrol edilemez. Bunun sonucu olarak özellikle dõ bükey kümler
üzerine izdü üm (POCS) yöntemindeki gibi hatalõ blo!un bulundu!u bölgeyi
sõnõflandõrmak, kenar yönünü kestirebilmek ve filtreleme i lemlerini uygulayabilmek
için kullanõlan e ik de!erleri global olarak kullanõldõ!õnda görüntünün belli bir
bölgesinde iyi sonuçlar alõnõrken ba ka bir bölgesinde beklenmedik kötü sonuçlar
görülebilir. Bölüm 5’de yapõlan ilk deneyde 48 x 48 boyutundaki kenar bir bölgenin
ortasõndaki hatalõ blok POCS yöntemiyle yeniden elde edildi!inde makroblok
seviyesindeki basit interpolasyona göre çok daha iyi sonuçlar alõnmõ tõ (Bkz. Tablo
5.1). Ancak 512 x 512 boyutundaki do!al görüntüler üzerinde yapõlan ikinci deneyde
POCS
yöntemi
ilk
deneyde
üstünlük
sa!ladõ!õ
makroblok
seviyesindeki
interpolasyonun gerisinde kalmõ tõr. Aynõ ekilde yönlü interpolasyon yöntemi fazla
miktarda detaya sahip olmayan “Lena” görüntüsü üzerinde beklendi!i gibi basit
interpolasyon yöntemine göre daha iyi sonuçlar verirken çok fazla miktarda detaya
sahip olan “Baboon” görüntüsü üzerinde basit interpolasyon yönteminin gerisinde
kalabilmektedir (Bkz. Tablo 5.2). Bu iki sonuç, hata gizleme yöntemlerinin hatalõ
bloklarõn oldu!u görüntülere global çözümler üretti!inde görüntünün sahip oldu!u
88
detay miktarõna ba!lõ olarak bir görüntüde iyi sonuçlar verirken bir ba ka görüntüde
kötü sonuçlar verebildi!ini göstermektedir. "lave olarak tüm algoritmalar için çok
fazla detaya sahip olan Baboon görüntüsü üzerinde yapõlan deneylerde elde edilen
PSNR de!erleri, az detaya sahip Lena görüntüsünde elde edilen PSNR de!erlerinin
yakla õk olarak 3-4dB gerisinde kalmõ tõr. Bu da fazla miktarda detaya sahip olan
görüntülerdeki hatalõ bloklarõn kestirilmesinin zor oldu!unu göstermektedir.
Tüm bu sonuçlarõn õ õ!õnda hatalõ bloklara sahip olan görüntüler için global çözümler
üreten yöntemler yerine görüntünün belli bir bölgesi için yerel çözümler üreten
yöntemler geli tirilmelidir. POCS yöntemi hatalõ blo!un bulundu!u bölgeye göre
blok sõnõflandõrmasõ yaparak yerel bir çözüm üretiyor gibi görünse de e ik de!erleri
görüntünün tümü için global olarak kullanõldõ!õndan dolayõ iyi sonuçlar
vermemektedir. Bunu yerine bazõ yardõmcõ parametrelere ba!lõ olarak dinamik e ik
de!erlerinin kullanõlmasõ gerekmektedir. "lave olarak hatalõ blo!un kestirilmesi
sõrasõnda kom u bloklarõn yapaca!õ negatif etki de göz önünde bulundurulmalõdõr.
Tüm bu ek i lemlerin algoritmanõn hesaplama süresini arttõraca!õ da dikkate
alõnmalõdõr. Di!er yandan basit interpolasyon kenarlarõn bulanõkla masõna ve
görüntünün bazõ bölgelerinde ‘blok’ etkisine sebep olsa bile düzgün bölgelerdeki
ba arõsõndan ve hesaplama süresinin çok kõsa olmasõndan dolayõ her zaman için
geçerli olabilecek bir yöntemdir. Özellikle bilgisayarlardaki i lemcilere nispeten
dü ük hesaplama hõzõna sahip i lemcilerin kullanõldõ!õ cep telefonlarõ ve görüntülü
sabit telefonlar için en uygun çözüm basit interpolasyon olacaktõr.
Di!er yandan hareketli görüntüdeki bloklara ait hareket vektörü bozuldu!unda ya da
kayboldu!unda hareketin yava oldu!u görüntülerde hareket kestirimine dayanan
zamansal hata gizleme yöntemlerinin kullanõlmasõ daha uygun olurken hareketin
hõzlõ oldu!u durumlarda uzamsal hata gizleme yöntemlerinin kullanõlmasõ daha etkili
olacaktõr. Bu nedenle görüntüdeki hareketlili!i ölçerek zamansal hata gizleme veya
uzamsal hata gizleme yöntemlerinden hangisinin kullanõlmasõnõn daha uygun
oldu!unu belirten uyarlamalõ hata gizleme yöntemlerini kullanmak çok daha iyi
sonuçlar verecektir.
89
Ses i aretlerinin AR veya ARMA gibi modeller ile tanõmlandõ!õ model-tabanlõ
yakla õm tarzlarõna ba!lõ olarak ses i aretleri için geli tirilen hata gizleme yöntemleri
çok iyi sonuçlar vermi tir [24]. Bu yakla õma göre AR modeli ve paket kaybõ modeli
Kalman filtresi uzay modeline dönü türülür. Model-tabanlõ hata gizleme yöntemleri
ile ses i aretleri üzerinde yapõlan deneyler, do!rusal interpolasyon ve Wiener-tabanlõ
uyarlamalõ interpolasyon ile kar õla tõrõldõ!õnda çok iyi sonuçlar vermi tir.
Kullanõlacak olan modelin parametreleri alõnan i aretten kestirilerek ya da ses
paketleri ile e!itilebilir. Ancak iki boyutlu (2-D) i aretler olan do!al görüntülerin
modellenmesi ise çok daha zordur. Fakat belirtilen bazõ görüntüler için iki boyutlu
(2-D) Hidden Markov Modeli (HMM), Markov Random Field (MRF) modeli gibi
birçok görüntü modeli gerçekle tirilmi tir. Görüntü dokusunun modellenmesi ve
sentezi için genellikle MRF kullanõlmaktadõr[25]. Ses i aretlerinde oldu!u gibi hatalõ
görüntü i aretlerinin de kestirilmesi için model-tabanlõ hata gizleme algoritmalarõ
geli tirilebilir.
KAYNAKLAR
[1]
GONZALEZ. R. C., WOODS R. E., Digital Image Processing, Prentice Hall,
S.499-503, New Jersey, 2002
[2]
WANG Y., ZHU Q. F., Error Control and Concealment for Video
Communication : A Review, IEEE Multimedia Signal Processing, Mayõs
1998
[3]
SHANNON C. E., A mathematical theory of communication, Bell Syst. Tech.
J., sayõ 27, S.379-423, 623-656, 1948
[4]
VEMBU S., VERDU S., ve STEINBERG Y., The source-channel separation
theorem revisited, IEEE Trans. Info. Theo., sayõ 41, no. 1, S.44-54, Ocak
1995
[5]
GHANBARI M., Cell-loss concealment in ATM video codes, IEEE Trans.
CAS for Video Tech., sayõ 3, no. 3, S.238-247, Haziran 1993
[6]
KIEU L. H., NGAN K. N., Cell-loss concealment techniques for layered
video codecs in an ATM network, IEEE Trans. Image Proc., sayõ 3, no. 5,
S.666-677, Eylül 1994
[7]
WANG Y., ZHU Q.-F., ve SHAW L., Maximally smooth image recovery in
transform coding, IEEE Trans. Commun., sayõ 41, no. 10, S.1544-1551, Ekim
1993
[8]
ZHU Q.-F., WANG Y., ve SHAW L., Coding and cell loss recovery for
DCT-based packet video, IEEE Trans. CAS for Video Tech., sayõ 3, no. 3,
S.248-258, Haziran 1993
[9]
ZHU W., WANG Y., A comparison of smoothness measures for error
concealment in transform coding, Proc. SPIE Conf. Visual Commun. and
Image Proc., (Taipei, Taiwan), 1995
[10]
KWOK W., SUN H., Multi-directional interpolation for spatial error
concealment, IEEE Trans. Consumer Electronics, sayõ 39, no. 3, S.455-460,
A ustos 1993
[11]
SUN H., KWOK W., Concealment of damaged block transform coded
images using projections onto convex sets, IEEE Trans. Image Proc., sayõ 4,
no. 4, S.470-477, Nisan 1995
91
[12]
HEMAMI S. S., MENG T. H.-Y., Transform coded image reconstruction
exploiting interblock correlation, IEEE Trans. Image Proc., sayõ 4, no. 7,
S.1023-1027, Temmuz 1995
[13]
AIGN S., FAZEL K., Temporal & spatial error concealment techniques for
hierarchical MPEG-2 video codec, Proc. Globecom’95, S.1778-1783, 1995
[14]
SUN H., CHALLAPALI K., ve ZDEPSKI J., Error concealment in digital
simulcast AD-HDTV decoder, IEEE Trans. Consumer Electronics, sayõ 38,
no. 3, S.108-117, Aug. 1992
[15]
PENNEBAKER W. B., MITCHELL J. L., JPEG Still Image Data
Compression Standard, New York: Van Nostrand Reihold, 1992
[16]
HASKELL P., MESSERSCHMITT D., Resynchronization of motion
compensated video affected by ATM cell loss, Proc. ICASSP’92, S.III545548, (San Francisco, CA), Mart1992
[17]
NARULA A., LIM J. S., Error concealment techniques for an all-digital highdefinition television system, Proc. SPIE Conf. Visual Commun. And Image
Proc., S.304-315, (Cambridge, MA), 1993
[18]
AIGN S., FAZEL K., Temporal and Spatial Error Concealment Techniques
for Hierarchical MPEG-2 Video Codec, In Proc. of Globe Comm’95 S.17781783
[19]
SUH J. W., HO Y. S., Error Concealment Based on Directional Interpolation,
IEEE Trans. on Consumer Electronics, 43(3), S.295-302, A ustos 1997
[20]
SUN H., ZDEPSKI J., KWOK W., ve RAYCHAUDHURI D., Error
concealment algorithms for robust decoding of MPEG compressed video,
submatted to IEEE Trans. on Circuit and System for Video Technology, 1993
[21]
SEZAN M. I., STARK H., Tomographic image reconstruction from
incomplete view data by convex projections and direct Fourier inversion,
IEEE Trans. Med. /mag., sayõ MI-3, S.91-98, Haziran 1984
[22]
SEZAN M. I., TEKALP M., Adaptive image restoration with artifact
suppression using the theory of convex projections, IEEE Tims. Acousf.,
Speech, Signal Prowssing. sayõ 38, no. I . S.181-185, Ocak 1990
[23]
YOULA D. C., WEBB H., Image restoration by the method of convex
projections: Part I-Theory, IEEE Truns. Med. lmu,y., sayõ MI-1, S.81-94,
Ekim 1982
[24]
CHEN Y.-L., CHEN B.-S., Model-Based Multirate Representation of Speech
Signals and Its Application to Recovery of Missing Speech Packets, IEEE
Trans. On Speech and Audio Processing, 5(3), S.220- 231, 1997
92
[25]
L! S. Z., Markov Random Field Modeling in Image Analysis, !lkbahar, 2001
[26]
ZHENG Y., Performance Evaluation of Spatial Domain Error Concealment
for Image Recovery, 2002
[27]
http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol1/ck4/article1.html
[28]
http://www.hongik.edu/~sjpark/mpeg.htm
[29]
http://rnvs.informatik.tu-chemnitz.de/~jan/MPEG/HTML/mpeg_tech.html
[30]
http://www.ifi.uio.no/~ftp/publications/cand-scienttheses/SHuseby/html/node8.html
[31]
TEKALP A. M., Digital Video Processing, Prentice Hall, S.73-115, A ustos
1995
93
ÖZGEÇM !
Seyhan A AO LU, 1980 yõlõnda !stanbul’da do"du, ilk ve orta ö"renimini
!stanbul’da tamamladõ. 1998 yõlõnda kazandõ"õ Sakarya Üniversitesi ElektrikElektronik Mühendisli"i Bölümü’nden 2002 yõlõnda mezun oldu. 2003 yõlõnda LES
sõnavõnõ kazanarak Sakarya Üniversitesi Elektronik Mühendisli"i’nde Lisans üstü
e"itime hak kazandõ. Halen Yüksek Lisans ö"rencisi olarak e"itimine devam eden
A"ao"lu, 2001-2002 yõllarõ arasõnda C Programlama Dili Kursuna ve Cisco A"
Akademisi Programõna katõlarak e"itim aldõ.