Spaces:
Running
Running
add: gitignore, README
Browse files- .gitignore +2 -0
- README.md +16 -2
.gitignore
CHANGED
@@ -1,4 +1,6 @@
|
|
1 |
models/
|
|
|
|
|
2 |
|
3 |
# Byte-compiled / optimized / DLL files
|
4 |
__pycache__/
|
|
|
1 |
models/
|
2 |
+
src/data/
|
3 |
+
tmp/
|
4 |
|
5 |
# Byte-compiled / optimized / DLL files
|
6 |
__pycache__/
|
README.md
CHANGED
@@ -9,15 +9,29 @@ LLMやBERTなどの自然言語処理技術を使ったプロジェクトの練
|
|
9 |
1. 既存のモデルを使用して、小説のあらすじを要約。
|
10 |
2. 簡単な感想も出力に含める。
|
11 |
3. 過去に書いたブログ記事を使ってファインチューニング。
|
12 |
-
1. 自分の文章をNotion
|
13 |
2. 小説のあらすじをスクレイピングで取得
|
14 |
4. 推論時にあらすじより長い文章を入力できるようにする。
|
|
|
15 |
5. gradioなどで公開する。
|
16 |
-
6. Google Cloud
|
17 |
|
18 |
## 環境
|
19 |
- M1 MacBook Air(2020)
|
20 |
- Python 3.11.9
|
21 |
- llama-cpp-python
|
|
|
22 |
- コマンドラインツールだけでなく、XCodeのアプリ自体もインストール
|
23 |
- brewでcmakeをインストール
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
9 |
1. 既存のモデルを使用して、小説のあらすじを要約。
|
10 |
2. 簡単な感想も出力に含める。
|
11 |
3. 過去に書いたブログ記事を使ってファインチューニング。
|
12 |
+
1. 自分の文章をNotionやWebページから取得
|
13 |
2. 小説のあらすじをスクレイピングで取得
|
14 |
4. 推論時にあらすじより長い文章を入力できるようにする。
|
15 |
+
1. 青空文庫など
|
16 |
5. gradioなどで公開する。
|
17 |
+
6. Google Cloudなどにデプロイ。
|
18 |
|
19 |
## 環境
|
20 |
- M1 MacBook Air(2020)
|
21 |
- Python 3.11.9
|
22 |
- llama-cpp-python
|
23 |
+
- ELYZAの量子化モデルを使用する際には必要
|
24 |
- コマンドラインツールだけでなく、XCodeのアプリ自体もインストール
|
25 |
- brewでcmakeをインストール
|
26 |
+
|
27 |
+
## ディレクトリ構成
|
28 |
+
|
29 |
+
```
|
30 |
+
.
|
31 |
+
├── Dockerfile
|
32 |
+
├── README.md
|
33 |
+
├── practice
|
34 |
+
└── src
|
35 |
+
├── collect # データセットを作成する
|
36 |
+
└── data
|
37 |
+
```
|