attention勉強会2
2021/03/14開催の勉強会の資料です。 最近attentionの流行を肌で感じだし、焦って勉強しています。 スライド maskについての訂正 softmax(QK)についてではなく、QKにmaskをかけます。 Linformer D(Q,K,V)=softmax(QK)VのQKが低ラン....
線形多層ニューラルネットワークにおける陰的正則化とIRMAE
この記事は以下の論文の再現実装を中心とし、線形多層ニューラルネットワークにおける陰的ランク最小化について解説を行います。 Jing, L., Zbontar, J. & LeCun, Y. Implicit Rank-Minimizing Autoencoder. NeurIPS' 20, 202....
【勉強会資料 2020 第7回】機械学習実践編 : Kerasで作る深層学習画像分類器
今回は機械学習の実践編として、深層学習を使った画像分類器を実際に作って動かしてみます。 深層学習は「ゼロから作る」のもとても勉強になってよいのですが、実用的に使う場合には通常は何らかのライブラリを使います。GPUを動かすための処理なども全て組み込まれていて、慣れればとても楽ちんです....
【勉強会資料 2020 第6回】 機械学習とCNN入門
2020.06.24に行われた第6回勉強会のオンライン勉強会の資料を公開します。 紹介スライド
Neural Tangentsによる無限幅深層ニューラルネットワークの構築とベイズ推論
要点 Neural TangentsはGoogle AIが開発したJAXのラッパーライブラリです。無限幅 (中間層のユニット数$\to \infty$)のニューラルネットワーク (以後, NN: neural networks)を高速かつ簡単に構築及び学習させることを目的としています。 Neural....
機械学習のための最新GPU比較
某所でGPU調達の必要があって、いまどきの事情を調べました。 ゲームのことは知りません。 主要GPU一覧 NVidia製Volta/Turing世代ハイエンドデスクトップ／ワークステーション用の主要GPUラインアップ。 コア VRAM 最大精度 TDP 放熱 価格(税込) GeForce RTX 208....
転移学習とCAM
こんにちは。神大の味岡です。一年くらい前 (編注: 原記事が執筆された2019年6月頃のこと) にdeep learningを使用した画像分類をしていたので、それについて書きたいと思います。サンプルとして、Kaggleのdog vs catを用いました。 とてもありがちな内容で恐縮ですがよろし....
Graph Neural Network (GNN)をゼロから実装した話
U-Netで細胞認識
神大の味岡です。 今回は、deep learningの中でも画像から物体の領域を検出する「セマンティックセグメンテーション」といわれる手法についてです。 医療系の画像では、U-Netといわれるネットワークが有名です。 U-Netの特徴は？ (U-Netの処理の概要、https://lmb.....
NTT corevoチャレンジ: 話者の性別・年代識別
Signate内で開催されていた上記のコンペティションに参加してきました。以下試してみたこと、感想のまとめです。 思っていたよりも良い成績を残すことができて満足です。医学とはあまり関係なさそうですが、音声は脳波や心電図等と同じく時系列データなので、その扱いに慣れたことは良かったです....
