Update app.py
Browse files
app.py
CHANGED
@@ -38,9 +38,12 @@ def load_chunks_and_embeddings():
|
|
38 |
# ساخت امبدینگ با progress bar
|
39 |
progress = st.progress(0, text="در حال ساخت امبدینگ چانکها...")
|
40 |
chunk_embeddings = []
|
41 |
-
|
42 |
-
|
43 |
-
|
|
|
|
|
|
|
44 |
|
45 |
# ذخیره در فایل کش
|
46 |
with open(embeddings_file, 'wb') as f:
|
|
|
38 |
# ساخت امبدینگ با progress bar
|
39 |
progress = st.progress(0, text="در حال ساخت امبدینگ چانکها...")
|
40 |
chunk_embeddings = []
|
41 |
+
batch_size = 5
|
42 |
+
for i in range(0, len(chunk_texts), batch_size):
|
43 |
+
batch_texts = chunk_texts[i:i+batch_size]
|
44 |
+
batch_embeds = embeddings_model.embed_documents(batch_texts)
|
45 |
+
chunk_embeddings.extend(batch_embeds)
|
46 |
+
progress.progress((i + batch_size) / len(chunk_texts))
|
47 |
|
48 |
# ذخیره در فایل کش
|
49 |
with open(embeddings_file, 'wb') as f:
|