| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- deep learning
- ddpm
- 폰트생성
- cv
- userwidget
- multimodal
- Few-shot generation
- 생성모델
- Generative Model
- 오블완
- Font Generation
- WinAPI
- Stat110
- 디퓨전모델
- 딥러닝
- motion matching
- GAN
- Unreal Engine
- 모션매칭
- dl
- NLP
- RNN
- CNN
- ue5.4
- animation retargeting
- BERT
- WBP
- 언리얼엔진
- UE5
- Diffusion
Archives
- Today
- Total
목록ALBERT 리뷰 (1)
Deeper Learning
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut, [Google Research][Toyota Technological Institute at Chicago], (2019.09) Abstract 자연어 표현을 사전학습 시킬 때 model size를 키우면 대체로 downstream task의 성능이 향상된다 하지만 model이 커짐에 따라 training time과 GPU, TPU memory 한계의 문제를 겪게 됨 이러한 문제를 해결하기 위해 BERT보다 더 적은 memory를 소모하고 학습 속도가 빠른 ALBERT를 제시 inter-sentence coherence를 모델링하기 위해 self..
AI/Deep Learning
2022. 6. 5. 19:11