Sebbe33 commited on
Commit
d40b082
·
verified ·
1 Parent(s): c7e7db3

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -16
app.py CHANGED
@@ -2,13 +2,7 @@ import streamlit as st
2
  from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter, Language
3
  import tiktoken
4
 
5
- #
6
- # BEISPIELHAFTE CODE-SNIPPETS
7
- # ===========================
8
- # Da das Original-Beispiel auf "code_snippets" verweist, kannst du hier
9
- # eigene Code-Beispiele oder Strings einfügen. Für die Demo setzen wir
10
- # einfach ein paar Strings ein.
11
- #
12
  CHARACTER_LENGTH = "length_function=lambda x: len(x)"
13
  TOKEN_LENGTH = """enc = tiktoken.get_encoding("cl100k_base")
14
  length_function = lambda text: len(enc.encode(text))
@@ -35,15 +29,8 @@ LANGUAGE = """RecursiveCharacterTextSplitter.from_language(
35
  """
36
 
37
  # Streamlit UI
38
- st.title("Text Splitter Playground")
39
- st.info("""\
40
- Splitte einen Text in Teilstücke (Chunks), basierend auf deinen Einstellungen:
41
-
42
- - **Chunk Size**: Maximalgröße eines Teilstücks (in Zeichen oder Tokens)
43
- - **Chunk Overlap**: Überlappung zwischen den Teilstücken
44
- - **Length Function**: Gibt an, ob die Teilstück-Größe in Zeichen oder Tokens gemessen werden soll
45
- - **Splitter Choice**: Definiert den Text-Splitter (Charakter-basiert, rekursiv oder basierend auf einer Sprache)
46
- """)
47
 
48
  col1, col2, col3, col4 = st.columns([1, 1, 1, 2])
49
 
 
2
  from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter, Language
3
  import tiktoken
4
 
5
+
 
 
 
 
 
 
6
  CHARACTER_LENGTH = "length_function=lambda x: len(x)"
7
  TOKEN_LENGTH = """enc = tiktoken.get_encoding("cl100k_base")
8
  length_function = lambda text: len(enc.encode(text))
 
29
  """
30
 
31
  # Streamlit UI
32
+ st.title("Token Chunk Splitter Test")
33
+
 
 
 
 
 
 
 
34
 
35
  col1, col2, col3, col4 = st.columns([1, 1, 1, 2])
36