| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- deep learning
- Generative Model
- ue5.4
- userwidget
- WinAPI
- CNN
- 생성모델
- Unreal Engine
- motion matching
- NLP
- GAN
- 모션매칭
- 오블완
- Font Generation
- cv
- 딥러닝
- BERT
- animation retargeting
- dl
- WBP
- 언리얼엔진
- ddpm
- Diffusion
- UE5
- Few-shot generation
- multimodal
- 폰트생성
- 디퓨전모델
- Stat110
- RNN
Archives
- Today
- Total
목록DeiT설명 (1)
Deeper Learning
DeiT: Training data-efficient image transformers & distillation through attention
Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Herve Jegou. Facebook AI. Sorbonne University. (2020.12) Abstract Image task에 pure attention 기반 모델이 활용되지만 large dataset에서 pre-training이 필수적이며 이는 활용에 한계를 가져옴 single computer에서 3일 동안 ImageNet dataset만 학습하여 top-1 acc 83.1%를 달성 attention을 통해 학습하는 distillation token을 도입한 transformer를 위한 teacher-student strategy를 제시 ..
AI/Deep Learning
2022. 1. 5. 09:09