ReLuTropy

ReLu@ReLuTropy

386 ツイート 382 フォロー 89 フォロワー

作曲/編曲/薬学/ChemoML/Python/AppleMusic/Hulu/NintendoSwitch/

Japan 

NormalizationをReLu関数の後に通してみた

このユーザはTweezに登録されていません。
現在表示されているデータは一時的なキャッシュですが、こちらからすぐに削除できます。

2017年07月14日(金)

ReLuTropy

ReLu @ReLuTropy

加えてBatch NormalizationをReLu関数の後に通してみた。あれ? pic.twitter.com/bLHgOJ3EpX

03:26:06
ReLuTropy

ReLu @ReLuTropy

ReLu関数を通してみた場合。 pic.twitter.com/cTyttjts8k

03:16:39
ReLuTropy

ReLu @ReLuTropy

活性化関数通せよってくらいにシンプル

03:03:49
ReLuTropy

ReLu @ReLuTropy

とてもシンプルなAutoencoderをPytorchでとてもシンプルに。 pic.twitter.com/6h8IlQRPPp

02:58:34

2017年07月11日(火)

ReLuTropy

ReLu @ReLuTropy

ほんまにDeepLearningで創薬の部分で活用できるのか

13:03:58
ReLuTropy

ReLu @ReLuTropy

シリコンバレー四期毎週土曜日更新。楽しみだなあ

07:27:14
ReLuTropy

ReLu @ReLuTropy

つい今日までWindowsでMacみたいな仮想デスクトップできるなんて知らなかった。Ctrl+Windows+Dで作成、Ctrl+Windows+移動キーで切り替え

03:39:11

2017年07月10日(月)

ReLuTropy

ReLu @ReLuTropy

もちろん論文にしないでネットでささっと発表してしまった方が早いのかもしれないし、自分が思っている以上に論文を書く負担は小さくて、すべき比較試験さえ終わればすぐに論文として発表できるのかもしれない。

12:56:38
ReLuTropy

ReLu @ReLuTropy

薬を承認するのに時間がかかってしまう臨床試験のようなアレ

12:54:54
ReLuTropy

ReLu @ReLuTropy

それに加えて、思い付きを実装して実行するまでには時間はかからないものの、論文を書いて発表されるまでの時間がボトルネックになりつつあるんじゃないか説

12:53:53
ReLuTropy

ReLu @ReLuTropy

枝葉のようにやられていないことが増えていて残されているので、ある程度の事を学んで実装して比較するだけで論文に仕上がっちゃうんじゃないか説

12:52:26
ReLuTropy

ReLu @ReLuTropy

うわお。これ最近どうにかならないか考えていた事に近い。 twitter.com/crcrpar/status…

12:25:09
ReLuTropy

ReLu @ReLuTropy

@__YamYuki__ 基本的には上でまとめて書きます。もし適宜するときは、セルを実行した後にセルを動かしても有効なままなのでそれで分かりやすいように動かしてみちゃいます!個人的なので流してもらってかまいません。w

@__YamYuki__ への返信
05:59:17

2017年07月08日(土)

ReLuTropy

ReLu @ReLuTropy

GeneratorとDiscriminatorの学習率に差をつけて、Discriminatorの学習を遅めてバカにするか、Generatorの学習を早めてDiscriminatorに負けないようにしようとするんだけど、上手くいかないね。

07:28:59
ReLuTropy

ReLu @ReLuTropy

ある程度まで行ってそこから下がるのかなと思って見ていたんだけれど、その傾向はなかった。GANばれよまじで。

07:25:15
ReLuTropy

ReLu @ReLuTropy

損失関数の代わりにGANを代替させて学習させようとしたんだけど、明らかにDiscriminatorが正解するので、Generator(最終出力)のLossがうなぎのぼりに。

07:24:00
ReLuTropy

ReLu @ReLuTropy

GANよ収束しやがれ

02:58:49

2017年07月07日(金)

ReLuTropy

ReLu @ReLuTropy

CNNやLSTMやVAEやGANやAAE等が発表されて、今年はどんな期待ある新しいアーキテクチャが発表されたんだろう

23:42:34
ReLuTropy

ReLu @ReLuTropy

Kindle Unlimitedに含まれてる書籍も多いからどっちを課金したほうがいいか考えるのはありかもね〜。 twitter.com/universe_ex/st…

02:43:17
ReLuTropy

ReLu @ReLuTropy

@mangatrigger なにこれー!こんな漫画があるんですねー!ありがとうございます!読んで寝ます!

@mangatrigger への返信
01:55:14
ReLuTropy

ReLu @ReLuTropy

不眠症とか昼夜逆転です! #好きな言葉をツイートするとそれに合った漫画がセレクトされて送られてくる

01:32:43
ReLuTropy

ReLu @ReLuTropy

回す前の動作確認チェックリスト作るのがよかったかも...

01:17:54
ReLuTropy

ReLu @ReLuTropy

こんなことあるかあ

01:17:25
ReLuTropy

ReLu @ReLuTropy

数日返してん

01:17:10
ReLuTropy

ReLu @ReLuTropy

わろた

01:17:04
ReLuTropy

ReLu @ReLuTropy

うまいこと学習できてるのかなと思っていたら毎回ずっと同じラベルデータをロス関数に当てていた事が発覚した。

01:16:59
ReLuTropy

ReLu @ReLuTropy

ミニバッチverのラベルの当て方が分からない〜。書き方が分からない

01:16:09

2017年07月06日(木)

ReLuTropy

ReLu @ReLuTropy

GeneratorとDiscriminatorが対決してるのが図からよくわかる。対決しつつ収束に向かう図。 pic.twitter.com/fXrfTbkTHo

04:33:55

2017年07月04日(火)

ReLuTropy

ReLu @ReLuTropy

ライブラリをインストールするのにエラー出て止まった時の不安感。システムレベルの環境を手軽に一からやり直せるDockerにトライアンドエラーの恩恵受けた

14:37:21
ReLuTropy

ReLu @ReLuTropy

たぶん自分が最初にDocker入れてなかったら、何度クリーンインストールする必要あったか分からないくらい失敗してるから感謝なやつ

14:35:24
ReLuTropy

ReLu @ReLuTropy

Dockerの学習コストが少しあるのがネック。

14:34:08
ReLuTropy

ReLu @ReLuTropy

研究とか開発環境をOSの地べたに作るのはやめよう運動。Docker上に必ず環境を作るようにしよう運動。間違えた時、コンテナを抜けてやり直すか、捨てればいいだけ運動。

14:33:14
ReLuTropy

ReLu @ReLuTropy

そういう意味で予測を基に前もって行動するので、中継で現場に聞いてみても現場から緊迫感が伝わらないのかなあって妄想してる。

14:23:56
ReLuTropy

ReLu @ReLuTropy

今までは、台風が来ると氾濫が起きている状況をセンセーショナルに伝えることが中心になっていて、それを前もって伝えて防災するという意味合いが薄かったように思う。そういう意味で今日の朝の報道が昔より変わった気がした。

14:18:30
ReLuTropy

ReLu @ReLuTropy

昨日から大雨の報道が続いている。これまでの報道の傾向を考えると、大げさではないかと思う程に重要視した報道のように感じるけれど、反対に、今までは災害が起きていることを知らせることばかりで、防災としての役割が薄かったように思う。そういう意味で、予測能が近年の技術で高まった恩恵かなと

14:15:30
ReLuTropy

ReLu @ReLuTropy

@__YamYuki__ とても同じです。コードの方は可読性を意識したライブラリが使われてるので尚更です笑

@__YamYuki__ への返信
14:11:46
ReLuTropy

ReLu @ReLuTropy

論文読むよりコード読んだ方が分かりやすい現象なんなんだろうね

12:54:40
ReLuTropy

ReLu @ReLuTropy

つ行列 twitter.com/yu4u/status/88…

10:52:43
ReLuTropy

ReLu @ReLuTropy

もう少しオープンソース的なマインドの流れが音楽にも強くなればいいのにな、と思う。

10:08:34

2017年07月03日(月)

ReLuTropy

ReLu @ReLuTropy

クラスでネットワーク書くのもいいんだけど、柔軟に書くのに結局NN = torch.nn.Linear(n,m)ってした方が柔軟に書けるかもなってなった。

13:52:57
ReLuTropy

ReLu @ReLuTropy

行列のシェイプの変化
ミニバッチ数B×N(インプット数)の行列→ニューラルネットワーク(インプット数N,アウトプット数M)→ミニバッチ数B×M(アウトプット数)

13:31:34
ReLuTropy

ReLu @ReLuTropy

そのままネットワークに入力すればちゃんとミニバッチ数×M(アウトプット数)の行列が出力された

13:24:06
ReLuTropy

ReLu @ReLuTropy

Pytorchでミニバッチの当て方すごく単純だった。行列の積を考えれば当たり前だけど、単純にミニバッチ数×Mの行列を作ればいいだけだった。

13:21:08
ReLuTropy

ReLu @ReLuTropy

あ、sdfファイルか、、

01:02:19
ReLuTropy

ReLu @ReLuTropy

RDkitにSMILESのリストを与えたらまとめてリストのまま返してくれるのかな

01:01:16

2017年07月02日(日)

ReLuTropy

ReLu @ReLuTropy

ミニバッチ法って誤差を伝播させて更新させるタイミングがいちサンプルごとではなくて、まとめたサンプルの誤差ごとに更新するってのみ?

07:01:48
ReLuTropy

ReLu @ReLuTropy

Abema落ちた?

04:31:08

2017年07月01日(土)

ReLuTropy

ReLu @ReLuTropy

@wa3_pcs そうだったんでしたか。用語を検索する時に分かりやすいページが出てきたのがこのサイトでした。とても助かりました。ありがとうございます。ならず者はいますしたが、ぜひ役に立つサイトと思うのでこれからも役立てさせて頂きます!

@wa3_pcs への返信
15:53:10
ReLuTropy

ReLu @ReLuTropy

@wa3_pcs サイトの中身を全部持っていってしまったってサイトで見てどうなったんだろうと思いました。

13:58:06
このページをシェアする

ツイート検索 @ReLuTropy

このページをツイートする