| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Font Generation
- userwidget
- 모션매칭
- 언리얼엔진
- Generative Model
- 오블완
- RNN
- animation retargeting
- WinAPI
- Unreal Engine
- dl
- 폰트생성
- cv
- Few-shot generation
- Diffusion
- ue5.4
- Stat110
- ddpm
- deep learning
- UE5
- CNN
- NLP
- WBP
- multimodal
- motion matching
- GAN
- 생성모델
- 딥러닝
- BERT
- 디퓨전모델
Archives
- Today
- Total
목록DeiT설명 (1)
Deeper Learning
DeiT: Training data-efficient image transformers & distillation through attention
Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Herve Jegou. Facebook AI. Sorbonne University. (2020.12) Abstract Image task에 pure attention 기반 모델이 활용되지만 large dataset에서 pre-training이 필수적이며 이는 활용에 한계를 가져옴 single computer에서 3일 동안 ImageNet dataset만 학습하여 top-1 acc 83.1%를 달성 attention을 통해 학습하는 distillation token을 도입한 transformer를 위한 teacher-student strategy를 제시 ..
AI/Deep Learning
2022. 1. 5. 09:09