attention勉強会2
2021/03/14開催の勉強会の資料です。 最近attentionの流行を肌で感じだし、焦って勉強しています。 スライド maskについての訂正 softmax(QK)についてではなく、QKにmaskをかけます。 Linformer D(Q,K,V)=softmax(QK)VのQKが低ラン....
技術ブログ
行列方程式のクロネッカー積による解法
運動制御モデルの論文を読んでいた際に，行列方程式$AXB + CXD = E$の解法を忘却していたので，メモとして記事を書いた．結論から言えばクロネッカー積を用いて解くことができる．以下ではクロネッカー積の定義について触れ，簡単な行列方程式$AXB=C$に対してクロネッカー積を用いた解法....
PtitPrinceによるPythonでのRaincloud plotの描画
仮説に基づいたデータ解析における先入観の弊害
まず、以下のリンクから2つのデータをダウンロードしましょう。 data9b_m.txt：https://www.dropbox.com/s/r3wyn2ex20glsoa/data9b_m.txt?dl=0 data9b_w.txt：https://www.dropbox.com/s....
線形多層ニューラルネットワークにおける陰的正則化とIRMAE
この記事は以下の論文の再現実装を中心とし、線形多層ニューラルネットワークにおける陰的ランク最小化について解説を行います。 Jing, L., Zbontar, J. & LeCun, Y. Implicit Rank-Minimizing Autoencoder. NeurIPS' 20, 202....
Atcoder 緑になりました
9月から実習が始まって進捗が落ちてます、5年生の淡田です。 先週のABC179コンテストで緑になりました。 （GREEEN ( ´ ▽ ` )） やったこと 問題を解きまくりました（現在Atcoderで400ACくらい）。 8月はC問題を中心に、9月からD問題からE問題を中心に解いた感じです。 Cあた....
【勉強会資料 2020 第8回】 視覚とSparse coding
2020.08.21に行われた第8回勉強会のオンライン勉強会の資料を公開します。視覚生理学の基礎と第一次視覚野(V1)のモデルであるSparse codingモデル (Olshausen & Field, 1996) の説明を行いました。Sparse codingモデルをPythonで....
血糖値の数理シミュレーション
Python会とPythonとPython会で使われているPython
Python会は、Pythonを主に勉強したり研究に使ったりしています。 また、会の運営上の道具としてもPythonを利用しています。 なぜPython会ではPythonなのか、そして研究以外で例えばどのように使っているか、あらためて紹介してみたいと思います。 (主に新入会員向けの内容....
同じ基本統計量・異なる散布図のデータセットを焼きなまし法で生成する
Anscombeの例 平均や標準偏差、相関係数といった基本統計量は重要ですが、散布図の外観が全く異なっていてもこれらの基本統計量が(ほぼ)同一となることは起こりえます。このような例としてAnscombeの例 (Anscombe's quartet) が有名です。Seabornを用いると、....
