Ansatz

Ansatz

Ansatz

Ansatz

Ansatz

Ansatz

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Duplikate

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Klassifikation

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Fehler

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Vollständigkeit

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Präzision

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

f-measure

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Verlinkung

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Fazit

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Duplikate

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Klassifikation

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Fehler

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Vollständigkeit

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Präzision

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

f-measure

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Verlinkung

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Fazit

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Duplikate

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Klassifikation

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Fehler

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Vollständigkeit

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Präzision

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

f-measure

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Verlinkung

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Fazit

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Duplikate

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Klassifikation

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Fehler

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Vollständigkeit

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Präzision

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

f-measure

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Verlinkung

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Fazit

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Duplikate

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Klassifikation

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Fehler

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Vollständigkeit

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Präzision

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

f-measure

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Verlinkung

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Fazit

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Duplikate

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Klassifikation

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Fehler

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Vollständigkeit

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Präzision

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

f-measure

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$

wobei $b=1$ der Standard-Gewichtungsfaktor ist: $F_1(A,R)=\frac{2\cdot P(a,R)\cdot R(A,R)}{P(A,R)+R(A,R)}$

Das F-Maß stellt das harmonisierte Verhältnis von Präzision und Vollständigkeit dar und soll als Haupt-Meßwert genutzt werden. Um die Ausgewogenheit dennoch erkennen zu können, werden bei etwaigen Graphen oftmals dennoch Precision und Recall gegeneinander abgedruckt.

Verlinkung

Es ist zu beobachten, daß falls $\gamma$ einen Vergleich von $K$ Attributen $\mathrm{attr}$ repräsentiert, mindestens $2^K$ Möglichkeiten der Form $m(\gamma )$ existieren. Falls $\gamma$ die Übereinstimmung von $K$ Attributen repräsentiert, wäre zu erwarten, dass dies öfter für Duplikatetreffer $M$ als für Fehlschläge $U$ zutrifft. Das Verhältnis $R$ wäre dann sehr groß.

Alternativ, falls $\gamma$ aus Fehlschlägen besteht, wäre das Verhältnis $R$ sehr klein.

Falls der Zähler positiv und der Nenner 0 ist, wird eigenmächtig eine sehr große Zahl als Verhältnis zugewiesen. Die Fellegi-Sunter Verlinkungsregel $L_0$ nimmt dann folgende Form an:

 falls $R>\mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als Link.

 falls $\mathrm{Untergrenze}\le R\le \mathrm{Obergrenze}$ , dann bezeichne $(a,b)$ als möglichen Link.

 falls $R<\mathrm{Untergrenze}$ , dann bezeichne $(a,b)$ als Nicht-Link.

Die Übergänge „Untergrenze“ und „Obergrenze“ sind determiniert durch die gewünschten Fehlerrate-Grenzen.

Fazit

Die Stufe der Ähnlichkeitsfindung ist als die wohl Aufwendigste anzusehen, da in ihr die $\gamma$ -Vergleichsoperationen durchgeführt werden, welche letzlich eine Einteilung in $A_1$ , $A_2$ und $A_3$ erlauben.

Abschließend werden in der Bewertungsstufe die Ergebnisse angewendet, Übereinstimmungen transitiv geschlossen und ggf. über diverse Lernalgorithmen die Gewichtungsparameter für zukünftige Harmonisierungsaufgaben verbessert.

Nach der Definition aus Kapitel 2 wurden die bisher abweichende Schemata $S_{\mathrm{1,}}\mathrm{...},S_n$ auf ein gemeinsames Schema $S_0$ angepasst. Jede Entitätsklasse der beiden Datensammlungen $A$ und $B$ besitzt somit die selben Attribute $({\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n)$ .  

In der „Ontologie-Integration“ wurden Inkonsistenzen durch

• Synonymen,
• Homonymen,
• Abkürzungen und
• Füllwörtern ohne Informationsgehalt

beseitigt, so daß die in den jeweiligen Attributen verwendeten Konzepte sich so weit wie möglich ähneln.

Duplikate entstehen durch die mehrmalige Erfassung eines Meta-Datensatzes innerhalb von verteilten Datenbasen. Die erfassten Daten besitzen aufgrund der autonomen Einzelinstitutionen immer noch Abweichungen, seien dies Eingabefehler, Erfassung in unterschiedlichen Sprachen, Erfassung an unterschiedlichen Orten, usw.

In diese Stufe sollen folgende Abweichungen erkannt und über eine Ähnlichkeit klassifiziert werden:

• typographische Fehler,
• Datenaufnahme-Fehler wie Wortvertauschungen (Name Vorname = Vorname Name)
• falsche Buchstabierung
• Integration multipler Quellen

Die Aufgabe der Harmonisierung besteht in diesem Bereich demnach in der Identifizierung und der Zuordnung von Duplikaten anhand inhaltlicher Informationen aus einer begrenzten Anzahl von Datenfelder, sowie der Verknüpfung von als identisch erkannter Klassen.

Die Grundlage eines entscheidungstheoretischen Ansatz bildet das Modell von Fellegi und Sunter [Fellegi69] . Um einen Überblick zu geben, wird das Modell durch Terme geordneter Paare in einem Produktraum beschrieben.

Seien nun die Elemente einer Datensammlungen $A$ und $B$ mit $a$ und $b$ benannt. Es wird angenommen, dass einige Elemente in $A$ und $B$ identisch sind.

Im Falle einer Duplikatesammlung bestehe $B$ aus nur einer Entitätsklasse mit $n$ Attributen ${\mathrm{attr}}_1,\mathrm{...},{\mathrm{attr}}_n$ .

Die Menge geordneter Paare

$A\times B=(a,b):a\in A,b\in B$

ist demnach die Vereinigung von zwei disjunkten Mengen von Übereinstimmungen

$M=\{(a,b):a=b,a\in A,b\in B\}$

und Abweichungen

$U=\{(a,b):a\ne b,a\in A,b\in B\}$

Die Datensätze, welche sowohl mit Elementen aus $A$ als auch aus $B$ übereinstimmen, werden durch $\alpha (a)$ und $\beta (b)$ abgebildet. Der mit den Datensätzen verbundene Vergleichsvektor $\gamma$ ist definiert durch:

  $\gamma [\alpha (a),\beta (b)]=\{{\gamma }^1[\alpha (a),\beta (b)],{\gamma }^2[\alpha (a),\beta (b)],\mathrm{...},{\gamma }^K[\alpha (a),\beta (b)]\}$ ,

wobei jeder der ${\gamma }^i,i=\mathrm{1,.}\mathrm{..},K$ Stützstellen je einen Vergleichsoperator repräsentiert . So könnte   ${\gamma }^1$ die Übereinstimmung des Geschlechts zweier Vergleichssätze umfassen, ${\gamma }^2$ wäre bspw. der Vergleich auf Idendität der Nachnamen.

Bei Eindeutigkeit wird die Funktion $\gamma$ über $A\times B$ mit $\gamma (\alpha ,\beta )$ , $\gamma (a,b)$ oder $\gamma$ bezeichnet. Die Menge aller möglichen Realisationen von $\gamma$ wird mit $\Gamma$ bezeichnet. Die Auftrittswahrscheinlichkeit von $\gamma (a,b)$ falls $(a,b)\in M$ ist gegeben durch

$m(\gamma )=P\{\gamma [\alpha (a),\beta (b)]\mid (a,b)\in M\}$

$m(\gamma )=\sum _{(a,b)\in M}P\{\gamma [\alpha (a),\beta (b)]\}\cdot P[(a,b)\mid M]$

analog dazu wird die Auftrittswahrscheinlichkeit von $\gamma$ für $(a,b)\in U$ durch $u(\gamma )$ angegeben.

Wird ein Vektor von Informationen $\gamma (a,b)$ verbunden mit einem Paar $(a,b)$ betrachtet, so soll man die Möglichkeit haben, ein Paar als

$A_1$ den gleichen Sachverhalt ausdrückend,

$A_2$ möglicherweise den gleichen Sachverhalt ausdrückend oder

$A_3$ abweichende Sachverhalte ausdrückend

ausweisen zu können.

Eine Verlinkungsregel L ist dafür eine Abbildung auf dem Vergleichsbereich $\Gamma$ , auf einer Menge von zufälligen Entscheidungsregeln $D=\{d(\gamma )\}$ , wo

$d(\gamma )=\{P(A_1\mid \gamma ),P(A_2\mid \gamma ),P(A_3\mid \gamma )\},\gamma \in \Gamma$

und

$\sum _{i=1}^{3}P(A_i\mid \gamma )=1.$ , so daß jedes Element einer der drei Gruppen angehört.

Dabei können 2 Typen von Fehlern auftreten, die mit den Link-Regeln verbunden sind:

Ein Typ I- Fehler tritt auf, wenn ein unpassender Vergleich fälschlicherweise verlinkt ist. Dieser besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }u(\gamma )\cdot P(A_1\mid \gamma )$

Ein Typ II -  Fehler tritt auf, wenn ein passender Vergleich fälschlicherweise nicht verlinkt ist. Er besitzt die Wahrscheinlichkeit

$P(A_1\mid U)=\sum _{\gamma \in \Gamma }m(\gamma )\cdot P(A_1\mid \gamma )$

Die Güte einer Duplikate-Analyse wird gekennzeichnet von der Vollständigkeit („Recall“) und der Präsizion („Precision“).

Der Recall beschreibt die Anzahl der als Duplikate erkannten Paare zu den in Wirklichkeit existierenden Paaren.

Zur Definition dieser Größen sei eine ideale Referenz-Duplikate-Zuordnung R sowie eine weitere Duplikate-Zuordnung A gegeben, so daß

$R(A,R)=\frac{\mid R\cap A\mid }{\mid R\mid }$ gilt.

Abgeleitet kann gesagt werden, daß ein hoher Recall auf viele gefundene Duplikate hinweist, ohne anzugeben, wieviele davon korrekt ermittelt wurden. Ist der Recall also sehr hoch, kann von vielen falsch-positiven ausgegangen werden.

Die Präzision beschreibt daraufhin, wieviele der gefundenen Duplikate auch wirklich welche sind. Es wird damit das Verhältnis von korrekt-positiven und falsch-positiven bestimmt.

$P(A,R)=\frac{\mid R\cap A\mid }{\mid A\mid }$

Die Präzision, invers zur Fehlerrate der Erkennung, gibt die als korrekt erkannten Richtigen eines Duplikatevergleichs an. Sind alle Duplikate korrekt erkannt, umfaßt die Präzision demnach den Wert 1.0, ohne dabei auszusagen, wie viele korrekte Duplikate insgesamt gefunden wurden.

Daher wird oftmals das Verhältnis aus beiden Werten gebildet, und nach [vanReijsenbergen75] mit f-measure bezeichnet.

Bei gegebener Referenz-Duplikatezuordnung, einer beliebigen Zuordnung A sowie der Präzision und der Vollständigkeit dieser Werte ergibt sich das f-Maß mit

$F(A,R)=\frac{(\mathrm{b²}+1)\cdot P(A,R)\cdot R(A,R)}{\mathrm{b²}\cdot P(A,R)+R(A,R)}$