Advancing Sound Event Detection: Knowledge Distillation Applied to CRNN Models

• This repository is an official implemtation of Advancing Sound Event Detection: Knowledge Distillation Applied to CRNN Models
• 참고: 구글드라이브링크

Introduction

Dataset

• MIVIA
  • 지금은 다운로드 못받음
  • 구글드라이브 링크

참고 Dataset(여기선 사용 X)

• AudioSet(Strong)https://github.com/black-mold/carcrash-sed-mivia/blob/main/README.md
  • AUDIOSET-Temporally-Strong Labels: 데이터 많음, 라벨 품질 안좋음
• DESED
  • DCASE-task4: 데이터 많음, 가정 내 발생하는 오디오가 target, 라벨 품질 좋음
• 참고:
  • DCASE Challenge의 경우 label이 없는 데이터도 활용하여 학습하는 semi-supervised learning이 baseline임. 여기는 supervised learning만 구현됨.

Model

• [FDY-CRNN]_(https://github.com/frednam93/FDY-SED): SOTA
  • pre-trained weight를 사용할 것을 권장
• CRNN: 대충 만든 것 <- 사용 금지(대충 만듬)

Loss

• binary cross entropy

Evaluation

• 여기서는 util.py에 구현
• 참고자료: Metrics for Polyphonic Sound Event Detection
• 참고그림

Getting Started

• MIVIA 데이터셋을 다운받아서 data/mivia_raw에 놓기
  • 구글드라이브 링크
  • 

1. train

# supervised learning
CUDA_VISIBLE_DEVICES=0 python main.py --config ./configs/mivia_server.yaml --mode train

• (참고)

# Knowledge distillation
CUDA_VISIBLE_DEVICES=0 python main_kd.py --config ./configs/mivia_kd.yaml --mode train

2. test

• Test 하기 전에 yaml 파일의 resum_checkpoint 위치에 모델 학습 결과를 입력할 것
  • 예시:
  • 

CUDA_VISIBLE_DEVICES=0 python main.py --config ./configs/mivia_server.yaml --mode test