|
|
--- |
|
|
title: Article Sphere Classification |
|
|
emoji: 🐠 |
|
|
colorFrom: indigo |
|
|
colorTo: blue |
|
|
sdk: streamlit |
|
|
sdk_version: 1.44.1 |
|
|
app_file: app.py |
|
|
pinned: false |
|
|
short_description: Define article sphere by it's name and abstract |
|
|
--- |
|
|
|
|
|
Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference |
|
|
|
|
|
# Article Theme Classifier |
|
|
|
|
|
## Описание |
|
|
|
|
|
Данный проект представляет собой модель для классификации тем статей, исходя из их названия и аннотации (abstract). Одно из этих полей обязательно для работы программы. Модель позволяет выбрать кумулятивный threshold для предсказания наиболее вероятных тем. |
|
|
|
|
|
## Архитектура модели |
|
|
|
|
|
В качестве основы для классификации была использована модель `distilbert-base-cased`. На эту модель был добавлен классификатор, состоящий из двух линейных слоев: |
|
|
|
|
|
1. Линейный слой (с размером выходного пространства 256), за которым следует активация ReLU. |
|
|
2. Линейный слой (с выходом на 8 классов), с активацией LogSoftmax. |
|
|
|
|
|
## Используемая loss функция |
|
|
|
|
|
Для обучения модели была использована loss функция `nn.KLDivLoss'. |
|
|
Дообучал только добавленные слои. |
|
|
|
|
|
Также пробавал обучить всю модель с MSE loss. При этом модель запомнила средние вероятности и не меняла предсказания от изменения входных данных. |
|
|
|
|
|
## Датасет |
|
|
|
|
|
Модель обучалась на предложенном Kaggle датасете "neelshah18/arxivdataset". |
|
|
|
|
|
## Проблемы и ограничение модели |
|
|
|
|
|
Несмотря на использование сильной основы, результаты модели оказались не очень хорошими. Возможные причины: |
|
|
|
|
|
1. **Выбор модели**: Использованная модель `distilbert-base-cased` является сравнительно небольшой и может не иметь достаточной мощности для более сложных задач классификации. |
|
|
2. **Размер входных данных**: Для модели был установлен небольшой `MAX_LENGTH`, что ограничивает количество информации, которую модель может обработать. |
|
|
3. **Выбор loss функции**: `KLDivLoss` не всегда является оптимальным выбором для классификационных задач. Возможно, использование другой loss функции, например, `CrossEntropyLoss`, улучшило бы результаты. |
