Semantische Annotationen verstehen -
Ergebnisse zweier Nutzerstudien
Ralf Heese, Adrian Paschke, Annika Hinze, Alexa Schlegel
Xinnovations 2012, 12. September 2012, Berlin
2
Markierungen in Texten
Kommentar
Symbol
überlappende
Markierungen
Kategorien
kurze/lange
Markierungen
3
Begriffe
Annotationsinhalt
Textatom
4
Use case: loomp
Kategorien
Annotationsinhalt
Textatom
Markierung
5
Beispiel - Loomp: Semantische
Anreicherung von Inhalten
• Erzeuge semantisch angreicherten Inhalt …
• so einfach wie Auszeichnungen in Word,
• ohne Wissen über semantische Technologien,
• mit automatischer Unterstützung durch
Vorschlagsannotationen.
History
The earliest evidence of settlements in today's Berlin central areas is a wooden
beam dated from approximately 1192.[18] The first written mention of towns in the
area of present-day Berlin dates from the late twelfth century. The settlement of
Spandau is first mentioned in 1197, and Köpenick in 1209, though these areas did
not join Berlin until 1920.[19] The central part of Berlin can be traced back to two
towns. Cölln on the Fischerinsel is first mentioned in a 1237 document, and Berlin,
across the Spree in what is now called the Nikolaiviertel, is referenced in a document
from 1244.[18] The former is considered to be the "founding date…
City DistrictCountry Geography
CancelSave
Waters
VocabulariesAnnotations
Geography
Berlin is located in eastern Germany,
about 70 kilometers (44 miles) west …
Climate
Summers are warm with average high
temperatures of 22 - 25°C (mid 70s) …
SearchBerlin
One Click Annotator
6
Kollaborative Semantische Annotation
7
Aspekte von Annotationen
• Markieren von Textatomen
• Umgang mit überlappenden Markierung
• Verknüpfen von Markierung und
Annotationsinhalten
 Zwei Nutzerstudien
Einfache semantische Annotationen und
deren Visualisierung
9
Erste Studie: Einfache semantische Annotationen
• Zuordnung von vordefinierten Kategorien
• Überlappende Annotationen
Überschneidung Inklusion
AngrenzungIdentität
10
Zuordnungen und Überlappungen
• Hintergrundfarbe
• Unterstreichung
• Fettdruck
• Farbmischung
• Mischung von Textstilen
• Horiz./vert. Balken
11
Design der Nutzerstudie
• Fokus
• Zuordnen von Kategorien
• Überlappungsarten
• kurze und lange Textatome
Balken-AnsichtBox-Ansicht
12
Durchführung der Studie
• Web-Anwendung
• 12 TeilnehmerInnen
• 2 Pilottests
• 4 Phasen
• 2 Gruppen
Studie erklären
Ausprobieren
Aufgaben lösen
Fragebogen
13
Hauptergebnis
• Balken-Ansicht  Lange Annotationen
• Box-Ansicht  Kurze Annotationen
Annotieren mit semantischen Identitäten
15
Semantik in Annotationen
Freitext
Kategorien
Semantische
Identität
16
Semantische Identität
• Feingranulare maschinelle Verarbeitung von Inhalten
 Zuordnen eines Identifikators zu einem Textatom
http://dbpedia.org/resource/Turkey
17
Design der Studie
• Fokus
• Zuordnen von semantischen Identitäten
• Studie
• Paper Prototype
• 12 TeilnehmerInnen
• 4 Phasen
18
Wahl der ID ist schwierig
Da müsste eine Liste aller
Kanzler der BRD sein.
Was ist das, sind das
ein oder zwei Flüsse?
19
Nicht alle Annotationen waren korrekt
Irgendwie ist der ganze
Text ein politisches Event.
Ich würde einen
Kollegen fragen.
20
Erkenntnisse
• Semantische Identitäten sind noch ungebräuchlich
• Task-Experte zusätzlich zum Domänenexperten
• Use Cases und Evaluationskriterien nötig
21
Vielen Dank
• Ralf Heese
heese@inf.fu-berlin.de
• Adrian Paschke
paschke@inf.fu-berlin.de
• Annika Hinze
hinze@cs.waikato.ac.nz
1. Corporate Semantic Web http://www.corporate-semantic-web.de
2. User-guided Semantic Enrichment
http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/
22
Links
• User-guided Semantic Enrichment Projekt
http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/
• Corporate Semantic Web Loomp
http://www.corporate-semantic-web.de/technologies.html
http://www.loomp.org/ Github: https://github.com/ag-csw/loomp
• Publications
• Annika Hinze, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke: Semantic Enrichment by
Non-experts: Usability of Manual Annotation Tools. International Semantic Web Conference
(1) 2012: 165-181 (spotlight best paper at ISWC 2012)
• Annika Hinze, Ralf Heese, Alexa Schlegel, Markus Luczak-Rösch: User-Defined Semantic Enrichment of
Full-Text Documents: Experiences and Lessons Learned. TPDL 2012: 209-214
• Alexa Schlegel, Ralf Heese, Annika Hinze: Visualisation of Semantic Enrichment. GI-Jahrestagung
2012: 1047-1058
• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Future Content Authoring", In Nodilities – The
Magazine of the Semantic Web, Issue 11, pp. 17-18, 2010.
• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click
Annotation", 6th Workshop on Scripting and Development for the Semantic Web, colocated with ESWC
2010, Crete, Greece, May 31, 2010.
• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Menschen und das Datenweb: Semantische
Textverarbeitung für Nicht-Experten Humans and the Web of Data", in i-com Volume 8, Issue 3, pp. 5-
11, 2009.
• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click
Annotation" (Poster), Workshop on Collaborative Construction, Management and Linking of Structured
Knowledge (CK 2009) , colocated with ISWC 2009, Washington, DC., USA, October 25, 2009
• Markus Luczak-Rösch and Ralf Heese, "Linked Data Authoring for Non-Experts", Linked Data on the
Web Workshop at WWW2009, Madrid, Spain, April 20, 2009

Loomp - Web 3.0 Collaborative Semantic Content Annotator

  • 1.
    Semantische Annotationen verstehen- Ergebnisse zweier Nutzerstudien Ralf Heese, Adrian Paschke, Annika Hinze, Alexa Schlegel Xinnovations 2012, 12. September 2012, Berlin
  • 2.
  • 3.
  • 4.
  • 5.
    5 Beispiel - Loomp:Semantische Anreicherung von Inhalten • Erzeuge semantisch angreicherten Inhalt … • so einfach wie Auszeichnungen in Word, • ohne Wissen über semantische Technologien, • mit automatischer Unterstützung durch Vorschlagsannotationen. History The earliest evidence of settlements in today's Berlin central areas is a wooden beam dated from approximately 1192.[18] The first written mention of towns in the area of present-day Berlin dates from the late twelfth century. The settlement of Spandau is first mentioned in 1197, and Köpenick in 1209, though these areas did not join Berlin until 1920.[19] The central part of Berlin can be traced back to two towns. Cölln on the Fischerinsel is first mentioned in a 1237 document, and Berlin, across the Spree in what is now called the Nikolaiviertel, is referenced in a document from 1244.[18] The former is considered to be the "founding date… City DistrictCountry Geography CancelSave Waters VocabulariesAnnotations Geography Berlin is located in eastern Germany, about 70 kilometers (44 miles) west … Climate Summers are warm with average high temperatures of 22 - 25°C (mid 70s) … SearchBerlin One Click Annotator
  • 6.
  • 7.
    7 Aspekte von Annotationen •Markieren von Textatomen • Umgang mit überlappenden Markierung • Verknüpfen von Markierung und Annotationsinhalten  Zwei Nutzerstudien
  • 8.
    Einfache semantische Annotationenund deren Visualisierung
  • 9.
    9 Erste Studie: Einfachesemantische Annotationen • Zuordnung von vordefinierten Kategorien • Überlappende Annotationen Überschneidung Inklusion AngrenzungIdentität
  • 10.
    10 Zuordnungen und Überlappungen •Hintergrundfarbe • Unterstreichung • Fettdruck • Farbmischung • Mischung von Textstilen • Horiz./vert. Balken
  • 11.
    11 Design der Nutzerstudie •Fokus • Zuordnen von Kategorien • Überlappungsarten • kurze und lange Textatome Balken-AnsichtBox-Ansicht
  • 12.
    12 Durchführung der Studie •Web-Anwendung • 12 TeilnehmerInnen • 2 Pilottests • 4 Phasen • 2 Gruppen Studie erklären Ausprobieren Aufgaben lösen Fragebogen
  • 13.
    13 Hauptergebnis • Balken-Ansicht Lange Annotationen • Box-Ansicht  Kurze Annotationen
  • 14.
  • 15.
  • 16.
    16 Semantische Identität • Feingranularemaschinelle Verarbeitung von Inhalten  Zuordnen eines Identifikators zu einem Textatom http://dbpedia.org/resource/Turkey
  • 17.
    17 Design der Studie •Fokus • Zuordnen von semantischen Identitäten • Studie • Paper Prototype • 12 TeilnehmerInnen • 4 Phasen
  • 18.
    18 Wahl der IDist schwierig Da müsste eine Liste aller Kanzler der BRD sein. Was ist das, sind das ein oder zwei Flüsse?
  • 19.
    19 Nicht alle Annotationenwaren korrekt Irgendwie ist der ganze Text ein politisches Event. Ich würde einen Kollegen fragen.
  • 20.
    20 Erkenntnisse • Semantische Identitätensind noch ungebräuchlich • Task-Experte zusätzlich zum Domänenexperten • Use Cases und Evaluationskriterien nötig
  • 21.
    21 Vielen Dank • RalfHeese [email protected] • Adrian Paschke [email protected] • Annika Hinze [email protected] 1. Corporate Semantic Web http://www.corporate-semantic-web.de 2. User-guided Semantic Enrichment http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/
  • 22.
    22 Links • User-guided SemanticEnrichment Projekt http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/ • Corporate Semantic Web Loomp http://www.corporate-semantic-web.de/technologies.html http://www.loomp.org/ Github: https://github.com/ag-csw/loomp • Publications • Annika Hinze, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke: Semantic Enrichment by Non-experts: Usability of Manual Annotation Tools. International Semantic Web Conference (1) 2012: 165-181 (spotlight best paper at ISWC 2012) • Annika Hinze, Ralf Heese, Alexa Schlegel, Markus Luczak-Rösch: User-Defined Semantic Enrichment of Full-Text Documents: Experiences and Lessons Learned. TPDL 2012: 209-214 • Alexa Schlegel, Ralf Heese, Annika Hinze: Visualisation of Semantic Enrichment. GI-Jahrestagung 2012: 1047-1058 • Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Future Content Authoring", In Nodilities – The Magazine of the Semantic Web, Issue 11, pp. 17-18, 2010. • Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation", 6th Workshop on Scripting and Development for the Semantic Web, colocated with ESWC 2010, Crete, Greece, May 31, 2010. • Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Menschen und das Datenweb: Semantische Textverarbeitung für Nicht-Experten Humans and the Web of Data", in i-com Volume 8, Issue 3, pp. 5- 11, 2009. • Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation" (Poster), Workshop on Collaborative Construction, Management and Linking of Structured Knowledge (CK 2009) , colocated with ISWC 2009, Washington, DC., USA, October 25, 2009 • Markus Luczak-Rösch and Ralf Heese, "Linked Data Authoring for Non-Experts", Linked Data on the Web Workshop at WWW2009, Madrid, Spain, April 20, 2009