| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- cv
- motion matching
- animation retargeting
- Generative Model
- userwidget
- WinAPI
- WBP
- GAN
- 모션매칭
- 폰트생성
- Unreal Engine
- Font Generation
- 오블완
- 생성모델
- dl
- Few-shot generation
- Stat110
- ue5.4
- BERT
- Diffusion
- 딥러닝
- RNN
- NLP
- UE5
- ddpm
- CNN
- 언리얼엔진
- deep learning
- multimodal
- 디퓨전모델
Archives
- Today
- Total
목록DeiT설명 (1)
Deeper Learning
DeiT: Training data-efficient image transformers & distillation through attention
Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Herve Jegou. Facebook AI. Sorbonne University. (2020.12) Abstract Image task에 pure attention 기반 모델이 활용되지만 large dataset에서 pre-training이 필수적이며 이는 활용에 한계를 가져옴 single computer에서 3일 동안 ImageNet dataset만 학습하여 top-1 acc 83.1%를 달성 attention을 통해 학습하는 distillation token을 도입한 transformer를 위한 teacher-student strategy를 제시 ..
AI/Deep Learning
2022. 1. 5. 09:09