Spaces:
Running
on
Zero
Running
on
Zero
Update app.py
Browse files
app.py
CHANGED
@@ -303,41 +303,52 @@ with gr.Blocks(css=custom_css, title="Daten Strukturieren und Analysieren") as d
|
|
303 |
<h1>Daten Strukturieren und Analysieren</h1>
|
304 |
<p style="font-size: 1.1rem; margin-top: -10px;">Dies ist eine Demoversion für die Extrahierung und Visualisierung von Daten</p>
|
305 |
</div>
|
306 |
-
|
307 |
-
Methodik: Vom unstrukturierten Text zur strukturierten Information
|
308 |
-
Die grundlegende Herausforderung bei der Arbeit mit historischen Quellen ist, dass relevante Informationen in langen Fließtexten eingebettet sind und manuell mühsam extrahiert werden müssen. Unser Ansatz automatisiert diesen Prozess.
|
309 |
-
Wie funktioniert die Informationsextraktion?
|
310 |
|
311 |
-
|
312 |
-
json{"earthquake location": "", "dateline location": ""}
|
313 |
|
314 |
-
|
315 |
|
316 |
-
|
317 |
-
"dateline location": "" → "Von wo wird berichtet?"
|
318 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
319 |
|
320 |
-
|
321 |
-
Strukturierte Ausgabe: Das Modell füllt das Template mit den extrahierten Informationen:
|
322 |
-
json{"earthquake location": "Japan, Yokohama", "dateline location": "Tokio"}
|
323 |
|
|
|
324 |
|
325 |
-
|
326 |
-
Das Modell verarbeitet den Input in diesem Format:
|
327 |
-
<|input|>
|
328 |
### Template:
|
329 |
{"earthquake location": "", "dateline location": ""}
|
330 |
### Text:
|
331 |
Neues Erdbeben in Japan. Aus Tokio wird berichtet, daß in Yokohama bei einem Erdbeben sechs Personen getötet...
|
332 |
-
|
333 |
-
Intern erfolgt die Verarbeitung in mehreren Schritten:
|
334 |
|
335 |
-
|
336 |
-
Kontextuelle Analyse: Der Transformer-Mechanismus ermöglicht die Analyse von Beziehungen zwischen allen Textteilen gleichzeitig.
|
337 |
-
Selektive Aufmerksamkeit: Das Modell fokussiert sich auf Textpassagen, die Antworten auf die impliziten Fragen enthalten könnten.
|
338 |
-
Generierung: Die erkannten Informationen werden in das vorgegebene Template eingefügt.
|
339 |
|
340 |
-
|
|
|
|
|
|
|
|
|
|
|
341 |
""")
|
342 |
|
343 |
with gr.Tabs() as tabs:
|
|
|
303 |
<h1>Daten Strukturieren und Analysieren</h1>
|
304 |
<p style="font-size: 1.1rem; margin-top: -10px;">Dies ist eine Demoversion für die Extrahierung und Visualisierung von Daten</p>
|
305 |
</div>
|
306 |
+
<p style="font-size: 1.1rem; margin-top: -10px;">In dieser Unterrichtseinheit befassen wir uns mit einer Methode zur Strukturierung unstrukturierter historischer Texte. Im Kern verbindet unsere Anwendung die systematische Strukturierung von Daten mit einem spezialisierten Sprachmodell, das auf der Question-Answering-Methode basiert.</p>
|
|
|
|
|
|
|
307 |
|
308 |
+
<h3>Methodik: Vom unstrukturierten Text zur strukturierten Information</h3>
|
|
|
309 |
|
310 |
+
<p>Die grundlegende Herausforderung bei der Arbeit mit historischen Quellen ist, dass relevante Informationen in langen Fließtexten eingebettet sind und manuell mühsam extrahiert werden müssen. Unser Ansatz automatisiert diesen Prozess.</p>
|
311 |
|
312 |
+
<h4>Wie funktioniert die Informationsextraktion?</h4>
|
|
|
313 |
|
314 |
+
<ol>
|
315 |
+
<li><strong>Template-Definition</strong>: Sie definieren ein JSON-Template mit den Informationstypen, die Sie extrahieren möchten:
|
316 |
+
<pre><code>{"earthquake location": "", "dateline location": ""}</code></pre>
|
317 |
+
</li>
|
318 |
+
|
319 |
+
<li><strong>Question-Answering-Methode</strong>: Das Sprachmodell interpretiert jedes leere Feld als implizite Frage:
|
320 |
+
<ul>
|
321 |
+
<li><code>"earthquake location": ""</code> → "Wo ist das Erdbeben passiert?"</li>
|
322 |
+
<li><code>"dateline location": ""</code> → "Von wo wird berichtet?"</li>
|
323 |
+
</ul>
|
324 |
+
</li>
|
325 |
+
|
326 |
+
<li><strong>Sprachmodell-Verarbeitung</strong>: Das NuExtract-1.5 Modell (ein Sequence-to-Sequence Transformer) analysiert den Text vollständig und identifiziert die relevanten Informationen für jedes Template-Feld.</li>
|
327 |
+
|
328 |
+
<li><strong>Strukturierte Ausgabe</strong>: Das Modell füllt das Template mit den extrahierten Informationen:
|
329 |
+
<pre><code>{"earthquake location": "Japan, Yokohama", "dateline location": "Tokio"}</code></pre>
|
330 |
+
</li>
|
331 |
+
</ol>
|
332 |
|
333 |
+
<h4>Technische Funktionsweise des Sprachmodells</h4>
|
|
|
|
|
334 |
|
335 |
+
<p>Das Modell verarbeitet den Input in diesem Format:</p>
|
336 |
|
337 |
+
<pre><code><|input|>
|
|
|
|
|
338 |
### Template:
|
339 |
{"earthquake location": "", "dateline location": ""}
|
340 |
### Text:
|
341 |
Neues Erdbeben in Japan. Aus Tokio wird berichtet, daß in Yokohama bei einem Erdbeben sechs Personen getötet...
|
342 |
+
<|output|></code></pre>
|
|
|
343 |
|
344 |
+
<p>Intern erfolgt die Verarbeitung in mehreren Schritten:</p>
|
|
|
|
|
|
|
345 |
|
346 |
+
<ol>
|
347 |
+
<li><strong>Tokenisierung</strong>: Der Text wird in bearbeitbare Einheiten zerlegt.</li>
|
348 |
+
<li><strong>Kontextuelle Analyse</strong>: Der Transformer-Mechanismus ermöglicht die Analyse von Beziehungen zwischen allen Textteilen gleichzeitig.</li>
|
349 |
+
<li><strong>Selektive Aufmerksamkeit</strong>: Das Modell fokussiert sich auf Textpassagen, die Antworten auf die impliziten Fragen enthalten könnten.</li>
|
350 |
+
<li><strong>Generierung</strong>: Die erkannten Informationen werden in das vorgegebene Template eingefügt.</li>
|
351 |
+
</ol>
|
352 |
""")
|
353 |
|
354 |
with gr.Tabs() as tabs:
|