summaryrefslogtreecommitdiff
path: root/doc/documentation.txt
blob: 4ba83dcd260d2aa99f2aa14d666e8a868ed452e0 (plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
= Automatisierte Erkennung von Werbebloecken
:author: Jan Klemkow, Benjamin Franzke
:lang: de
:imagesdir: image

== Einleitung

Werbung in Fernsehuebtragungen sind fuer den Zuschauer laestige
Unterbrechnungen.
Bei Aufzeichnungen von Sendungen stoert Werbung nicht nur bei spaeteren Schauen,
es belegt auch einen nicht unwesendlichen Teil des Aufnahmemediums.
Tobias Kramer hat 1995 wohl als erster mit dem Thema auseinandergesetzt und mit
seiner Erfindung am Jugendforscht-Wettbewerb teilgenommen.

.Reklame ade -- Der Videorekorder, der Werbung erkennt
____
Über Werbeblocks in aufgezeichneten Spielfilmen ärgert sich Tobias Kramer schon
lange.  Der 19-Jährige griff jetzt zur Selbsthilfe und baute ein elektronisches
Gerät, das -- zwischen Fernseher und Videorekorder geschaltet -- bei den
Aufnahmen den Rekorder stoppt, sobald die Reklame beginnt.  Herzstück ist eine
Elektronik, die die linke obere Ecke des Fernsehbildes, in der das Senderlogo
den Beginn der Werbeunterbrechung markiert, digitalisiert.  Byte für Byte wird
dieses Signal mit dem aktuellen Videosignal verglichen, das Gerät erkennt so
Beginn und Ende des Werbeteils.
____
Seither gab es eine Reihe weitere Arbeiten in diesem Umfeld.
Einige dieser Loesungen sind in das VDR-Projekt (Video Disk Recoder) integriert
worden.

== Grundlagen

Eine vorrausgegane Arbeiten zu diesem Thema ist unter Anderem eine Studienarbeit
von Andreas Regel zum Thema ``Entwicklung und Implementierung von Methoden zur
Erkennung von Werbeblöcken im digitalen Fernsehen''.
In dieser Arbeit von 2003 wird ein Verfahren beschrieben.

=== Methoden zur automatischen Erkennung von Werbungsendungen

Es gibt einige Indikatoren zur Erkennung von Werbung.
Das aufaelligste ist das Senderlogo, welches in Produktwerbung nicht
eingeblendet wird.
Eine Ausnahme ist hier die Eigenwerbung der Sender.
Wirbt ein Sender am Ende eines Werbeblocks fuer eigen Sendungen,
Internetangebote oder andere eigene Produkte, wird das Senderlogo mit
eingeblendet.

Ein weiterer Indikator ist das Seitenverhaeltnis.
Werbung wird heutzutage fast ausschliesslich im Seitenverhaeltniss 16:9
ausgestrahlt.
Fernsehproduktionen werden ebenfalls in diesem Format ausgestraht, aber Filme,
welche fuer das Kino produziert haben, verwenden anderen Formate (z.B. 21:9).
Alte Fernsehsendungen welche noch im Format 4:3 Produziert wurden werden heute
Teilweise auch noch in diesem ausgestraht.
Beim wechsel von Film zur Werbung findet dann auch ein Wechsel des
Seitenverhaeltnisses statt.
Gut zu Erkennen Anhand der veraenderten schwarzen Balken im Bild Oben und Unten,
sowie auch Links und Recht beim 4:3 Seitenverhaeltnis.

Die Tonspuhr erlaubt in einigen Faellen ebenfalls das Erkennen von
Werbebloecken.
So wird Fernsehwerbung in der Regel in Stereo ausgestrahlt.
Viele Kinofilme hingegen verwenden Mehrkanal-Tonspuren.
Oder aeltere Filme, welche nur mit eine Monotone-Tonspur produziert wurden.

=== Video-Bibliothek-libav

Fuer das verarbeiten von Videos wird in dieser Arbeit die in der
Programmiesprache ``C'' geschriebenen Bibliothek ``libav'' (audio/video library)
verwendet.
Da die Bibliothek sehr low-level angelegt und somit für etwas unhandlich ist,
wurde im Rahmen dieser Arbeit eine Abstraktionsschicht dafuer entwickelt.
Diese ermoeglicht den Programmen, welche im Folgenden beschrieben
werden, einen einfachen Zugriff auf Videodaten.

Der Initialisierungsfunktion wird Video-Dekoding Objekt durch übergabe eines
Dateipfades zu einem Video erstellt, aus dem nun jedes Bild einzeln extrahiert
werden kann. Dies enthält die eigentlichen Daten, Breite, Höhe, Stride und aktuellen
Zeitpunkt.
Desweiteren bietet die Abstraktion die Möglichkeit zu einem bestimmten Zeitpunkt
zu springen, dabei muss aber berücksichtigt werden, dass nur direkt zu Keyframes
gesprungen werden kann und somit der tatsächliche Zeitpunkt früher ist, als der
angefragte.

== Schnitt Erkennung

Zur Erkennung von Schnitten in Videoaufzeichnungen wurde im Rahmen dieser
Arbeit ein verfahren entwickelt.

Der erste Ansatz bestand in der Annahme, dass sich die durchschnittliche
Hellichkeit des Bildes wahrend einer Szene nicht stark veraender.
Aus diesem Grund wurde ein Algorithmus implementiert, welche ueber jeden
Frame die durchschnittlichen Y-Wert berechnet.

.Durchschnittlicher Y-Wert ueber das Heute-100sec-Video
image::avg.svg[]

Dabei wird eine Video Frame fuer Frame durchlaufen und zwischen zwei aufeinander
folgender Frames eine durchschnittliche Pixeldifferenz berechnet.
Die Pixeldifferenz wird nur anhand des Y-Kanals berechnet.

.Frame-Differenzwerte innerhalb des Heute-100sec-Videos
image::cuts.svg[]

Betrachtet man den Graphen, welche aus diesen Werten entsteht, lassen sich
Schnitte gut anhand der Pieks erkennen.
Da diese Pieks allerdings nicht immer die gleichen Amplitude haben und auch
andere Wertebereiche, welche keinen Schnitt enthalten eine aehnliche Amplitude
erreichen koenne, kann man anhand dieser Werte Schnitte nicht automatisiert
erkennen.
Aus diesem Grund muss ueber diese Reihe von Werten noch der Anstrieg berechnet
werden, welcher zu folgendem Graphen fuehrt.

.Anstieg der Differenzwerte des Heute-100sec-Videos
image::cuts_diff.svg[]

Bei der nun entstehenden Wertereihe laessen sich mit einem Schwellwert
automatisiert und zuverlaessig Schnitte erkennen.
Dieses Verfahren wurden im Rahmen dieser Arbeit in das Programm ``cuttime''
implementiert.
Es analysiert eine Video-Datei und gibt zu jedem erkannten Schnitt dessen
Zeitstempel innerhalb des Videos aus.
Diese Zeitstempel koennen dann dazu genutzt werden Verfahren wie die
automatisch Senderlogo-Erkennung zu unterstuetzen.
Sollte ein Logo innerhalb eines Schnittes erst eingeblendet werden, so kann man
den Schnittpunkt auf den Anfang des Schnittes legen, umso beim automatischen
Schneiden nicht mehr Informationen zuverlieren als noetig.
Zudem koennen die Zeitstempel mit dem Shell-Script ``cutting.sh'' dazu genutzt
werden, um eine Video-Datei einzelne Schnitte aufzuteilen.
Innerhalb des Shell-Scripts wird die Ausgabe von ``cuttime'' als Parameter fuer
das Programm ``ffmpeg'' verwendet.

.Einen Schnitt mittels ffmpeg extrahieren
[source,sh]
----
ffmpeg -i INPUT_VIDEO -ss START_ZEIT -t DAUER OUTPUT_VIDEO
----

== Erkennung von Ueberlapungen

Ein verbreitetes Phaenomen ist, nach einem Werbeblock einige Sekunden des Films
von vor dem Werbeblock zu wieder holen.
Schneidet man nun die Werbung herraus, erhaelt das resultierende Video eine
Wiederholung von einigen Sekunden.
Aehnlich dem Springen eines Schatplattenspielers.
Um dieem Problem zu begegnen wurde das Programm +overlap+ entwickelt.
Dieses Programm vergleicht den letzten Frame eines Videos mit allen Frames
vom Anfrang eines anderen Videos.
Ausgegeben wird der Zeitpunkt des Frames mit der groessten Uebereinstimmung.
Ab diesem Zeitpunkt faehrt der Film dann ohne einen stoerenden Uebergang fort.

.Last-Frame-Differenz von Video-1 ueber Video-2
image::overlap.svg[]

Der obere Graph zeigt, die Differenz eines des letzten Framens von Video-1 ueber
die erste Minute von Video-2.
Dabei wird nach ca. sechs Sekunden der kleinste Wert ermittelt.
Dieses Minimum ist auch genau der Punkt, andem die Ueberlapung endet.
Beim Zusammenschneiden der beiden Videoteile kann also bei Video-2 die ersten
sechs Sekunden herrauslassen.

== Literatur

* Thorsten Janke and Markus Koppers. ``Optimierung und Implementierung
  eines Systems zur Unterdrückung von Werbeblöcken bei Aufzeichnungen
  mit dem Videorecorder'', September 1999.
* Beschreibung des Programms ``noad'' im VDR-Wiki, +
  http://www.vdr-wiki.de/wiki/index.php/Noad
* Homepage des noad-Projektes, http://noad.net23.net/
* Jugend-Forscht-Projekt von Tobias Kramer, +
  http://www.jugend-forscht.de/projektdatenbank/der-videorekorder-der-werbung-erkennt/1995/6/Bayern.html

// vim: ft=asciidoc textwidth=80: