oberbics commited on
Commit
b20ba89
·
verified ·
1 Parent(s): ba6db4d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +33 -22
app.py CHANGED
@@ -303,41 +303,52 @@ with gr.Blocks(css=custom_css, title="Daten Strukturieren und Analysieren") as d
303
  <h1>Daten Strukturieren und Analysieren</h1>
304
  <p style="font-size: 1.1rem; margin-top: -10px;">Dies ist eine Demoversion für die Extrahierung und Visualisierung von Daten</p>
305
  </div>
306
- <p style="font-size: 1.1rem; margin-top: -10px;">In dieser Unterrichtseinheit befassen wir uns mit einer innovativen Methode zur Strukturierung unstrukturierter historischer Texte. Im Kern verbindet unsere Anwendung die systematische Strukturierung von Daten mit einem spezialisierten Sprachmodell, das auf der Question-Answering-Methode basiert.
307
- Methodik: Vom unstrukturierten Text zur strukturierten Information
308
- Die grundlegende Herausforderung bei der Arbeit mit historischen Quellen ist, dass relevante Informationen in langen Fließtexten eingebettet sind und manuell mühsam extrahiert werden müssen. Unser Ansatz automatisiert diesen Prozess.
309
- Wie funktioniert die Informationsextraktion?
310
 
311
- Template-Definition: Sie definieren ein JSON-Template mit den Informationstypen, die Sie extrahieren möchten:
312
- json{"earthquake location": "", "dateline location": ""}
313
 
314
- Question-Answering-Methode: Das Sprachmodell interpretiert jedes leere Feld als implizite Frage:
315
 
316
- "earthquake location": "" → "Wo ist das Erdbeben passiert?"
317
- "dateline location": "" → "Von wo wird berichtet?"
318
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
319
 
320
- Sprachmodell-Verarbeitung: Das NuExtract-1.5 Modell (ein Sequence-to-Sequence Transformer) analysiert den Text vollständig und identifiziert die relevanten Informationen für jedes Template-Feld.
321
- Strukturierte Ausgabe: Das Modell füllt das Template mit den extrahierten Informationen:
322
- json{"earthquake location": "Japan, Yokohama", "dateline location": "Tokio"}
323
 
 
324
 
325
- Technische Funktionsweise des Sprachmodells
326
- Das Modell verarbeitet den Input in diesem Format:
327
- <|input|>
328
  ### Template:
329
  {"earthquake location": "", "dateline location": ""}
330
  ### Text:
331
  Neues Erdbeben in Japan. Aus Tokio wird berichtet, daß in Yokohama bei einem Erdbeben sechs Personen getötet...
332
- <|output|>
333
- Intern erfolgt die Verarbeitung in mehreren Schritten:
334
 
335
- Tokenisierung: Der Text wird in bearbeitbare Einheiten zerlegt.
336
- Kontextuelle Analyse: Der Transformer-Mechanismus ermöglicht die Analyse von Beziehungen zwischen allen Textteilen gleichzeitig.
337
- Selektive Aufmerksamkeit: Das Modell fokussiert sich auf Textpassagen, die Antworten auf die impliziten Fragen enthalten könnten.
338
- Generierung: Die erkannten Informationen werden in das vorgegebene Template eingefügt.
339
 
340
- Im Gegensatz zu regelbasierten Systemen oder klassischen Named Entity Recognition-Ansätzen versteht dieses Modell den semantischen Zusammenhang und kann flexibel auf verschiedene Extraktionsaufgaben angepasst werden.</p>
 
 
 
 
 
341
  """)
342
 
343
  with gr.Tabs() as tabs:
 
303
  <h1>Daten Strukturieren und Analysieren</h1>
304
  <p style="font-size: 1.1rem; margin-top: -10px;">Dies ist eine Demoversion für die Extrahierung und Visualisierung von Daten</p>
305
  </div>
306
+ <p style="font-size: 1.1rem; margin-top: -10px;">In dieser Unterrichtseinheit befassen wir uns mit einer Methode zur Strukturierung unstrukturierter historischer Texte. Im Kern verbindet unsere Anwendung die systematische Strukturierung von Daten mit einem spezialisierten Sprachmodell, das auf der Question-Answering-Methode basiert.</p>
 
 
 
307
 
308
+ <h3>Methodik: Vom unstrukturierten Text zur strukturierten Information</h3>
 
309
 
310
+ <p>Die grundlegende Herausforderung bei der Arbeit mit historischen Quellen ist, dass relevante Informationen in langen Fließtexten eingebettet sind und manuell mühsam extrahiert werden müssen. Unser Ansatz automatisiert diesen Prozess.</p>
311
 
312
+ <h4>Wie funktioniert die Informationsextraktion?</h4>
 
313
 
314
+ <ol>
315
+ <li><strong>Template-Definition</strong>: Sie definieren ein JSON-Template mit den Informationstypen, die Sie extrahieren möchten:
316
+ <pre><code>{"earthquake location": "", "dateline location": ""}</code></pre>
317
+ </li>
318
+
319
+ <li><strong>Question-Answering-Methode</strong>: Das Sprachmodell interpretiert jedes leere Feld als implizite Frage:
320
+ <ul>
321
+ <li><code>"earthquake location": ""</code> → "Wo ist das Erdbeben passiert?"</li>
322
+ <li><code>"dateline location": ""</code> → "Von wo wird berichtet?"</li>
323
+ </ul>
324
+ </li>
325
+
326
+ <li><strong>Sprachmodell-Verarbeitung</strong>: Das NuExtract-1.5 Modell (ein Sequence-to-Sequence Transformer) analysiert den Text vollständig und identifiziert die relevanten Informationen für jedes Template-Feld.</li>
327
+
328
+ <li><strong>Strukturierte Ausgabe</strong>: Das Modell füllt das Template mit den extrahierten Informationen:
329
+ <pre><code>{"earthquake location": "Japan, Yokohama", "dateline location": "Tokio"}</code></pre>
330
+ </li>
331
+ </ol>
332
 
333
+ <h4>Technische Funktionsweise des Sprachmodells</h4>
 
 
334
 
335
+ <p>Das Modell verarbeitet den Input in diesem Format:</p>
336
 
337
+ <pre><code>&lt;|input|&gt;
 
 
338
  ### Template:
339
  {"earthquake location": "", "dateline location": ""}
340
  ### Text:
341
  Neues Erdbeben in Japan. Aus Tokio wird berichtet, daß in Yokohama bei einem Erdbeben sechs Personen getötet...
342
+ &lt;|output|&gt;</code></pre>
 
343
 
344
+ <p>Intern erfolgt die Verarbeitung in mehreren Schritten:</p>
 
 
 
345
 
346
+ <ol>
347
+ <li><strong>Tokenisierung</strong>: Der Text wird in bearbeitbare Einheiten zerlegt.</li>
348
+ <li><strong>Kontextuelle Analyse</strong>: Der Transformer-Mechanismus ermöglicht die Analyse von Beziehungen zwischen allen Textteilen gleichzeitig.</li>
349
+ <li><strong>Selektive Aufmerksamkeit</strong>: Das Modell fokussiert sich auf Textpassagen, die Antworten auf die impliziten Fragen enthalten könnten.</li>
350
+ <li><strong>Generierung</strong>: Die erkannten Informationen werden in das vorgegebene Template eingefügt.</li>
351
+ </ol>
352
  """)
353
 
354
  with gr.Tabs() as tabs: