attention勉強会2.5
2021/03/21開催の勉強会の資料です。 スライド atma6,10にこっそり参加していました。 6はがちで何もわからず10はattentionが散ったので悲しみは深いですが、大変勉強になったので感謝しております。n番煎じですが軽くまとめてみました。 非言語データについてw2vでの埋....
技術ブログ
attention勉強会2
2021/03/14開催の勉強会の資料です。 最近attentionの流行を肌で感じだし、焦って勉強しています。 スライド maskについての訂正 softmax(QK)についてではなく、QKにmaskをかけます。 Linformer D(Q,K,V)=softmax(QK)VのQKが低ラン....
行列方程式のクロネッカー積による解法
運動制御モデルの論文を読んでいた際に，行列方程式$AXB + CXD = E$の解法を忘却していたので，メモとして記事を書いた．結論から言えばクロネッカー積を用いて解くことができる．以下ではクロネッカー積の定義について触れ，簡単な行列方程式$AXB=C$に対してクロネッカー積を用いた解法....
PtitPrinceによるPythonでのRaincloud plotの描画
仮説に基づいたデータ解析における先入観の弊害
まず、以下のリンクから2つのデータをダウンロードしましょう。 data9b_m.txt：https://www.dropbox.com/s/r3wyn2ex20glsoa/data9b_m.txt?dl=0 data9b_w.txt：https://www.dropbox.com/s....
線形多層ニューラルネットワークにおける陰的正則化とIRMAE
この記事は以下の論文の再現実装を中心とし、線形多層ニューラルネットワークにおける陰的ランク最小化について解説を行います。 Jing, L., Zbontar, J. & LeCun, Y. Implicit Rank-Minimizing Autoencoder. NeurIPS' 20, 202....
Atcoder 緑になりました
9月から実習が始まって進捗が落ちてます、5年生の淡田です。 先週のABC179コンテストで緑になりました。 （GREEEN ( ´ ▽ ` )） やったこと 問題を解きまくりました（現在Atcoderで400ACくらい）。 8月はC問題を中心に、9月からD問題からE問題を中心に解いた感じです。 Cあた....
【勉強会資料 2020 第8回】 視覚とSparse coding
2020.08.21に行われた第8回勉強会のオンライン勉強会の資料を公開します。視覚生理学の基礎と第一次視覚野(V1)のモデルであるSparse codingモデル (Olshausen & Field, 1996) の説明を行いました。Sparse codingモデルをPythonで....
血糖値の数理シミュレーション
Python会とPythonとPython会で使われているPython
Python会は、Pythonを主に勉強したり研究に使ったりしています。 また、会の運営上の道具としてもPythonを利用しています。 なぜPython会ではPythonなのか、そして研究以外で例えばどのように使っているか、あらためて紹介してみたいと思います。 (主に新入会員向けの内容....
