大阪大学医学部 Python会 (情報医科学研究会)

Now is better than never.

attention勉強会2

2021-03-14(Sun) - Posted by 安部 in 技術ブログ    tag:Machine Learning tag:勉強会 tag:論文まとめ

Contents

    2021/03/14開催の勉強会の資料です。 最近attentionの流行を肌で感じだし、焦って勉強しています。

    スライド

    maskについての訂正

    • softmax(QK)についてではなく、QKにmaskをかけます。

    Linformer

    • D(Q,K,V)=softmax(QK)VのQKが低ランク
    • L(Q,K,V)=softmax(Q(EK))(FV)と、E,Fをかけて次元を落とす
    • maskはQKにかけるのではなく、K,V,(Q)にかける
    • 高速化は未確認...