Hijiki-HF commited on
Commit
b728562
·
1 Parent(s): 0d26a59

add: gitignore, README

Browse files
Files changed (2) hide show
  1. .gitignore +2 -0
  2. README.md +16 -2
.gitignore CHANGED
@@ -1,4 +1,6 @@
1
  models/
 
 
2
 
3
  # Byte-compiled / optimized / DLL files
4
  __pycache__/
 
1
  models/
2
+ src/data/
3
+ tmp/
4
 
5
  # Byte-compiled / optimized / DLL files
6
  __pycache__/
README.md CHANGED
@@ -9,15 +9,29 @@ LLMやBERTなどの自然言語処理技術を使ったプロジェクトの練
9
  1. 既存のモデルを使用して、小説のあらすじを要約。
10
  2. 簡単な感想も出力に含める。
11
  3. 過去に書いたブログ記事を使ってファインチューニング。
12
- 1. 自分の文章をNotionから取得
13
  2. 小説のあらすじをスクレイピングで取得
14
  4. 推論時にあらすじより長い文章を入力できるようにする。
 
15
  5. gradioなどで公開する。
16
- 6. Google Cloudにデプロイ。
17
 
18
  ## 環境
19
  - M1 MacBook Air(2020)
20
  - Python 3.11.9
21
  - llama-cpp-python
 
22
  - コマンドラインツールだけでなく、XCodeのアプリ自体もインストール
23
  - brewでcmakeをインストール
 
 
 
 
 
 
 
 
 
 
 
 
 
9
  1. 既存のモデルを使用して、小説のあらすじを要約。
10
  2. 簡単な感想も出力に含める。
11
  3. 過去に書いたブログ記事を使ってファインチューニング。
12
+ 1. 自分の文章をNotionやWebページから取得
13
  2. 小説のあらすじをスクレイピングで取得
14
  4. 推論時にあらすじより長い文章を入力できるようにする。
15
+ 1. 青空文庫など
16
  5. gradioなどで公開する。
17
+ 6. Google Cloudなどにデプロイ。
18
 
19
  ## 環境
20
  - M1 MacBook Air(2020)
21
  - Python 3.11.9
22
  - llama-cpp-python
23
+ - ELYZAの量子化モデルを使用する際には必要
24
  - コマンドラインツールだけでなく、XCodeのアプリ自体もインストール
25
  - brewでcmakeをインストール
26
+
27
+ ## ディレクトリ構成
28
+
29
+ ```
30
+ .
31
+ ├── Dockerfile
32
+ ├── README.md
33
+ ├── practice
34
+ └── src
35
+ ├── collect # データセットを作成する
36
+ └── data
37
+ ```