読者です 読者をやめる 読者になる 読者になる

世界を目指すIT少年の学習記録

世界を股にかけITを武器に暮らしていく!ことを目指す少年の備忘録。本のレビュー、勉強したこと、学んだことなどを記録していきます。

Deep Learningをやっている。独学を支援するようなサイトを作り始めた。人類のためにね 1,2,3月振り返り

月一で更新する予定が全然できていなかった笑

 

Deep Learningを真面目にやっている

掲題の通り、最近はDeep Learningをやっている。

なぜやっているかといえば、

UdacityのDeep Learning nanodegree foundationというプログラムに参加しているからである。↓

www.udacity.com

なぜ入ったかというと、単純にプログラム内容が魅力的だったからである。

だって、画像認識とかは当たり前だけど、

映画のセリフをDeep Learningで自動生成、翻訳、音楽生成とかめっちゃ楽しそうやん!!!

ただそんだけ。あとやっぱ知っておいたほうが良いかな的な

主に、Tensorflowでの実装ですね。その前にもPythonで簡単なパーセプトロンでの3層構造くらいのNNは実装しました。

誤差逆伝播法(Back propagation)とかはふーーんくらいに思っていたけど、きちんと理解しておかないとどの活性化関数を選ぶべきかとか、勾配消失問題とかが理解できなくなるので大事だなと思います。

ちなみにこれについて載っているサイトはこれです↓

medium.com

※最近Mediumはまじめな記事が充実しているんですね。

 

あとRNNのLSTMをめっちゃわかり易く説明しているリンクが下記です。おすすめ

Understanding LSTM Networks -- colah's blog

 

自己学習を支援できるようなサイトを作り始めた

上記のリンクのように、コースをやっている中で外部リンクが紹介されることが多いので、それをどうやって管理しようかなぁという問題があったのでメモがてらで、リンクを集めるサイトを作った。(Google siteだけどね)

 

あとは、自己学習時におけるハードルって結構色々あると思っていて、自分も過去&現在でその課題を感じているので、何かしらの方法で解決できないかなを模索しようという意思もあり、実験的に作り始めた。

それが以下である。

Academic Wiki

人工知能機械学習系を主にまとめたリンク集は

Academic Wiki - 人工知能と機械学習

である。(これは普通に便利だと思います。英語多いけど)

 

このサイトのゴール

このサイトのゴールはサイト内にも記載したが下記のようなものである。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

サイトのゴールはオンライン、オフラインのリソース関わらず、自己学習をする人達を最大限サポートし、目標達成まで全力でサポートするエコシステムを構築することです。

卓越した能力を身につけるための学習プロセスを研究するK. Anders Ericsson著のPeak: Secrets from the New Science of Expertiseによる学習プロセスの4つに要素+学習後のプロセスの支援を目標とします。

 

1.能力、目的を把握

2.その人の能力よりやや難しいコンテンツを抽出

3.集中した時間を使って学習

4.適切なフィードバック

5.目標達成後のアカデミックパスやキャリアパスの支援

 

そのうち、

1.はクイズやインタビューなどで把握可能、2はカテゴライズされたリソースを体系的に整理すれば可能です。

3と4は課題ですが、自動採点システムや人が介入したコミュニティ作りで今後可能になるかもしれません。

5は現状の日本では大きな課題になっていますが、米国のUdacity nanodegree programなどは良い事例となるでしょう。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

 

で、色々独学とかをしている人やしていた人および自分の経験から考えると、

初めの「目的にあった教材選びやパス選択」が大きなポイントでかつ難しいところのようである。

例えばよくある独学でつまずく例として

Webサイト作れるようになりたくて、プログラミングを始めた。けど、本屋で一番多かったJavaをやり始めて、1から10の足し算だけできるようになって挫折。

みたいなことがある。

この例は、そもそも目的に合っていない言語と、目的に合っていない勉強方法によるモチベーションの低下が失敗要因。

と言える。

 

僕自身も人工知能やりたい!みたいなノリで初めたけど色々ありすぎてどうしたらいいんや。とりまPRMLがいいらしいよと頭いい人に言われて、これ無理やんってなる。

とかが起こった。

今はUdacityが最も良い解の一つに自分の中では落ち着きつつあるけど、だれもが感じるハードルだよねって思う。

英語も独学で頑張ったけど、今思うと、色々無駄にすごした部分とかもっといいやり方あったな。って思うし。みたいな。

 

今は特にお金にしようとか思っていないので、興味あるような人いたら一緒にプロジェクトをすすめたいなって思っている。

この記事を読んで興味を持った方がいたら、是非私に、Facebookで気軽に連絡をくれるとありがたいです。織田健嗣Facebookリンク

 

 

他にも勉強したこと&していること

3ヶ月分あるからざっくりでいいやw

 

 もっと詳細な理論とか知りたいなと思って読んだ。完全には理解していない部分もあるw DBMとか。でもCNNやRNNの理解には役に立ったなぁ

深層学習 (機械学習プロフェッショナルシリーズ)

深層学習 (機械学習プロフェッショナルシリーズ)

 

 

 馬田さん本。最後の章が一番おもしろかった

逆説のスタートアップ思考 (中公新書ラクレ 578)

逆説のスタートアップ思考 (中公新書ラクレ 578)

 

 

他にも色々読んだ気がするけど忘れたからいいやw

 

オンライン講座

データをいかに取得し加工するかという話。前処理ってやつですかね。データサイエンスの8割はこの作業に時間を費やされるとか。大変ですな。まだ、落とし込めている感が一ミリもないから、もう一回復習しようかなって思っている

www.udacity.com

 

今やっているなうだけどSklearnを主に使って、基礎的な機械学習が学べる、SVM, Naive bayes, Decision treeとかさ。Sklearn使うとマジ簡単だねw

www.udacity.com

 

基礎的なやーつ 大事だね。Siraj(Youtuberでデータサイエンスの面白いやつ)っていうやつのおすすめ

www.youtube.com

 

 

結論

独学は頑張ればすべてオンラインで完結する。

お金も必要じゃない。

けど、まだまだハードル高いから解決する何かを作りたい

それが Academic Wiki が目指すところ。

 

P.S.

Kaggleやりたい。やります。