2025 · Preprint
Attention is All You Need Until You Need Retention
Yaşlıoğlu, M. M.
arXiv, vol.1, no.1, pp.1-20
Dikkat mekanizması dil modellerinde hatırlamanın yerini tutabilir mi?
Dönüştürücü mimarilerin başarısı dikkat mekanizmasına bağlanır; ancak bağlam penceresi büyüdükçe hatırlamanın dikkatle aynı şey olmadığı görünür hale gelir. Bu ön baskı dikkat ile kalıcı bellek arasındaki farkı ve mimari sonuçlarını tartışır.
Bir şeye bakabilmek, onu hatırlamak değildir.
AIAttentionRetentionLLMArchitecture
Nasıl atıf yapılır
Yaşlıoğlu, M. M. (2025). Attention is All You Need Until You Need Retention. arXiv, vol.1, no.1, pp.1-20.
@misc{yaslioglu2025attention,
author = {Yaşlıoğlu, M. M.},
title = {Attention is All You Need Until You Need Retention},
year = {2025},
journal = {arXiv, vol.1, no.1, pp.1-20}
}