| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Generative Model
- ue5.4
- 딥러닝
- deep learning
- multimodal
- NLP
- 오블완
- cv
- dl
- 언리얼엔진
- animation retargeting
- 생성모델
- Stat110
- ddpm
- Diffusion
- GAN
- 디퓨전모델
- Few-shot generation
- userwidget
- UE5
- BERT
- CNN
- Font Generation
- WinAPI
- 폰트생성
- WBP
- RNN
- Unreal Engine
- 모션매칭
- motion matching
Archives
- Today
- Total
목록ALBERT 설명 (1)
Deeper Learning
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut, [Google Research][Toyota Technological Institute at Chicago], (2019.09) Abstract 자연어 표현을 사전학습 시킬 때 model size를 키우면 대체로 downstream task의 성능이 향상된다 하지만 model이 커짐에 따라 training time과 GPU, TPU memory 한계의 문제를 겪게 됨 이러한 문제를 해결하기 위해 BERT보다 더 적은 memory를 소모하고 학습 속도가 빠른 ALBERT를 제시 inter-sentence coherence를 모델링하기 위해 self..
AI/Deep Learning
2022. 6. 5. 19:11