LEVEL-15FX079-i7-LNFS-D [Windows 10 Home]　
【OS】Windows 10 Home 64ビット(DSP)
【プロセッサー】インテル(R) Core i7-8750H プロセッサー (2.2-4.1GHz/6コア/12スレッド/9MBキャッシュ/TDP45W)
【メインメモリ】DDR4-2400 4GB/SO-DIMM×2(デュアルチャンネル/計8GB)
【SSD[OSインストール]】240GB 2.5インチ Serial-ATA SSD
【グラフィックアクセラレーター】NVIDIA(R) GeForce GTX 1050 2GB GDDR5
【無線LAN】IEEE802.11 ac/a/b/g/n対応 2×2 Dual Band無線LAN + Bluetooth 5.0 [本体内蔵]
【液晶ディスプレイ】15.6型フルHD(1920×1080ドット)対応非光沢カラー液晶
【WEBカメラ】200万画素カメラ搭載 [本体内蔵]

勉強中の色々とかゲームデータ含め全部消えちゃったんで(数か月前にとったHDDのバックアップは持ってる)全部一から。まぁ自業自得なんでしょうがないね。

まずは環境構築から始めます

2018-10-16

Chainerを用いたSampleの実行

前回から大分時間空いちゃいました。色々忙しかったんよね…(現在進行形)

大学図書館に読みたかった本が入荷されてたので、今回はChainerを使います。

特徴はこの辺にいい感じにまとまってたので知りたい方は

kerasとchainerの違い - HELLO CYBERNETICS

早速mnistを実行

C:\Users\Work\Anaconda3\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conversion of the seco
nd argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated
as `np.float64 == np.dtype(float).type`.
from ._conv import register_converters as _register_converters
GPU: -1
# unit: 1000
# Minibatch-size: 100
# epoch: 20
C:\Users\Work\Anaconda3\lib\site-packages\chainer\optimizers\adam.py:111: RuntimeWarning: invalid va
lue encountered in sqrt
param.data -= hp.eta * (self.lr * m / (numpy.sqrt(vhat) + hp.eps) +
epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time
C:\Users\Work\Anaconda3\lib\site-packages\chainer\optimizers\adam.py:111: RuntimeWarning: invalid va
lue encountered in sqrt
param.data -= hp.eta * (self.lr * m / (numpy.sqrt(vhat) + hp.eps) +
1 0.190871 0.107907 0.941717 0.9654 54.5479

2 0.072921 0.0842337 0.976967 0.9744 118.261

3 0.0479986 0.0744116 0.9848 0.9782 183.098

4 0.0367444 0.0880967 0.98795 0.9729 240.717

5 0.0252666 0.0826538 0.9918 0.9783 295.29

6 0.0273493 0.0793123 0.990983 0.9775 357

7 0.0187371 0.0944553 0.993683 0.9761 412.202

8 0.017825 0.0784577 0.994383 0.9794 472.421

9 0.0184131 0.0774163 0.99385 0.9812 528.963

10 0.0134083 0.0774752 0.9959 0.9826 586.975

11 0.0129279 0.114243 0.995917 0.9779 644.081

12 0.0149902 0.0908477 0.9956 0.9821 708.042

13 0.0100187 0.10601 0.996583 0.9807 775.699

14 0.0176474 0.0908644 0.994517 0.981 843.054

15 0.0081587 0.08819 0.997367 0.9843 925.12

16 0.00590788 0.122111 0.998267 0.9779 1003.29

17 0.0154158 0.10091 0.995333 0.9825 1078.51

18 0.00894419 0.0968724 0.9975 0.9824 1154.11

19 0.00886336 0.118576 0.997517 0.9806 1232.31

20 0.00941179 0.0900947 0.997517 0.9839 1321.01

[回数]　[学習データでの損失関数]　[テストデータでの損失関数]　[学習データでの精度]　[テストデータでの精度]　[経過時間]

20分くらい学習に時間かかりました。

今日はここまで。ちょっと忙しいのでまた暫く触れなさそう。

次はchainer使って実際にサンプル集めて学習させたいな。

2018-09-28

TensorFlow MNIST For ML Beginners Tutorial

お久しぶりの更新。大学始まっちゃって触れる時間減っちゃったけど続けるように頑張るよ

文字認識のチュートリアルと言えばMNISTだよね。機械学習界のHellow Worldみたいな。

TensorFlow MNIST For ML Beginners チュートリアルの実施

mac推奨なんだろうけど私の環境はwin7です。

.pyファイル作ってAnaconda Promptで実行。

C:\Users\Work\Program>python mnist_for_ml_beginners.py
File "mnist_for_ml_beginners.py", line 14
print "開始時刻: " + str(start_time)
^
SyntaxError: invalid syntax

最初文字コード関連で詰まってるんだと思い、utf-8になってるし一行目のおまじない

# coding:utf-8

も記述してるしで悩んでたんですけどどうやらprint文の記述方法がver3.x以降で変わってたらしい。従来は

print "開始時刻: " + str(start_time)

でよかったらしいんだけど今は

print ("開始時刻: " + str(start_time))

じゃないといかんのね。

Python始めたばかりで色々初歩的なとこで躓くけど躓いて覚えよう

で次のエラー

C:\Users\Work\Program>python mnist_for_ml_beginners.py
Traceback (most recent call last):
File "mnist_for_ml_beginners.py", line 4, in <module>
import tensorflow as tf
ModuleNotFoundError: No module named 'tensorflow'

あれーインストールしてなかったっけ。２機のPC使って色々試してたもんでごっちゃになってた。という訳でtensorflowをインストールします。以下をAnaconda Promptで実行。

pip install tensorflow

黄文字でpipのバージョンが古いとか言われたら言われたとおりupgradeしよう。(その場合は完了後上記を再実行)

改めてpython mnist_for_ml_beginners.pyを実行

C:\Users\Work\Anaconda3\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from

`float` to `np.floating` is deprecated. In future, it will be treated as`np.float64 == np.dtype(float).type`.
from ._conv import register_converters as _register_converters

Traceback (most recent call last):
File "mnist_for_ml_beginners.py", line 8, in <module>
import input_data
ModuleNotFoundError: No module named 'input_data'

んん…？input_dataが無い…？？勝手にインポートしてくれるはずでは…？？？

f:id:otakkun:20180928003334p:plain

なかった。

tensorflow/input_data.py at r0.8 · tensorflow/tensorflow · GitHub

こちらにinput_data.pyがあったのでとりあえずもらって来て同じ階層に保存。

C:\Users\Work\Program>python mnist_for_ml_beginners.py
C:\Users\Work\Anaconda3\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as　`np.float64 ==np.dtype(float).type`.
from ._conv import register_converters as _register_converters
開始時刻: 1538062702.4394832
--- MNISTデータの読み込み開始 ---
WARNING:tensorflow:From mnist_for_ml_beginners.py:23: read_data_sets (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated　and will be removed in a future version.
Instructions for updating:
Please use alternatives such as official/mnist/dataset.py from　tensorflow/models.
WARNING:tensorflow:From C:\Users\Work\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:260: maybe_download (from tensorflow.contrib.learn.python.learn.datasets.base) is deprecated and will be removed in a future version.
Instructions for updating:
Please write your own downloading logic.
WARNING:tensorflow:From C:\Users\Work\Anaconda3\lib\site-packages\tensorflow\con
trib\learn\python\learn\datasets\mnist.py:262: extract_images (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.data to implement this functionality.
Extracting MNIST_data/train-images-idx3-ubyte.gz
WARNING:tensorflow:From C:\Users\Work\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:267: extract_labels (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.data to implement this functionality.
Extracting MNIST_data/train-labels-idx1-ubyte.gz
WARNING:tensorflow:From C:\Users\Work\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:110: dense_to_one_hot(from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.one_hot on tensors.
Extracting MNIST_data/t10k-images-idx3-ubyte.gz
Extracting MNIST_data/t10k-labels-idx1-ubyte.gz
WARNING:tensorflow:From C:\Users\Work\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:290: DataSet.__init__ (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use alternatives such as official/mnist/dataset.py from tensorflow/models
.
--- MNISTデータの読み込み完了 ---
WARNING:tensorflow:From C:\Users\Work\Anaconda3\lib\site-packages\tensorflow\pyt
hon\util\tf_should_use.py:118: initialize_all_variables (from tensorflow.python.
ops.variables) is deprecated and will be removed after 2017-03-02.
Instructions for updating:
Use `tf.global_variables_initializer` instead.
--- 訓練開始 ---
--- 訓練終了 ---
精度
0.9174
終了時刻: 1538062705.0886347
かかった時間: 2.649151563644409

すげぇ警告出てる気がするけどやっと動いた。

精度は92%前後で実行するたびに微妙に変わります。仕組みとかは下記参照のこと。

超入門訳TensorFlow MNIST For ML Beginners

日本語訳が何でもかんでもあるのは便利な時代に生まれたなぁと実感するね

今日はこの辺で。

2018-09-19

TensorFlowのインストール

インストールばっかで何も進んでないように見えるがこれもまた勉強

環境構築とかしてきてなかったのでこういうのも慣れだと思う。

TensorFlowをWindowsにインストール Python初心者でも簡単だった件

こちらの通り進めた。

前回まででAnaconda3は導入済みなのでAnaconda Navigator開いてtensorflow導入まで特にエラーもなく完了。以前これもわちゃわちゃやるだけやって放置してたのもあって、いくつか古いバージョンが残ってました。その際Anaconda Promptで

conda install "package-name"

conda update "package-name"

あたりは使う可能性が高いので覚えておくといいと思いました。

こちらにコマンドまとめられてるので忘れたら確認しようね

【備忘録】Anacondaとpipのコマンドまとめ

(tensorflow16) C:\Users\Work>python -m pip install --upgrade pip　Requirement already up-to-date: pip in c:\users\work\anaconda3\envs\tensorflow16\lib\site-packages (18.0)

で、無事最新版のtensorflowインストール完了。

(tensorflow16) C:\Users\Work>python
Python 3.6.6 |Anaconda, Inc.| (default, Jun 28 2018, 11:27:44) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow!!')
>>> sess = tf.Session()
>>> print(sess.run(hello))
b'Hello, TensorFlow!!'
>>> exit()

プロンプト上で実行もできることを確認。

Windows版AnacondaでTensorFlow環境構築

さらにこちらのサイトの tensorflow_intro.pyをお借りして実行テスト。

コードはリンク先を参照のこと。まだpython学習してないので何となくしか理解できません…

(tensorflow16) C:\Users\Work\Program>python tensorflow_intro.py
0 [0.78413403] [-0.13196243]
20 [0.28382057] [0.19676961]
40 [0.14796129] [0.2730658]
60 [0.11251372] [0.29297253]
80 [0.10326502] [0.29816642]
100 [0.10085191] [0.2995216]
120 [0.1002223] [0.29987517]
140 [0.100058] [0.29996744]
160 [0.10001514] [0.29999152]
180 [0.10000397] [0.29999778]
200 [0.10000104] [0.29999945]

でもまぁ一応学習過程まで確認できた。

これまでやったことを整理しておくと、

・Anaconda3のインストール

　→Pythonの導入

　→TensorFlowの導入→実行確認

・Darknetの環境構築

　→有志によるWinユーザ向けのリポジトリDarknet-masterをインストール

　→OpenCVはすでに手元にあったので環境変数の設定とvs上でプロパティページにopencvを追加(3箇所)

　→ビルド時に大量のエラー→殆どが拡張子のないファイル(おそらくc++)で起こってるのでこれが原因？→とりあえず詰まったのでこちらは一旦保留。

これからやること

・まずは動作確認ができたtensorflowをはじめとする機会学習ライブラリを有名どころから触ってみる→目的に応じた機能の把握とこれからメインで使っていくライブラリの決定に役立てる

・簡単そうなライブラリを用いて簡単な画像認識をやってみたい

とりあえずこんな感じでいきます。今日はここまで

2018-09-19

Darknetの環境構築①

連投。

機械学習フレームワークとしてつい最近知ったのがDarknet。

さらにこのフレームワークで実装されたのがYOLO。

こいつがまた面白いらしい。何でもリアルタイムで検出できることが強みらしい。正直あんまり実感ないけど、とある人に教えてもらったので試してみる。上手くいくならそのまま色々試してみたいな。

ただLinux向けに作られているらしくWindowsで実行するにはいくつかの過程を踏まないといけないらしい。

Windows10でYOLOv2-Darknet環境構築- | 技術的特異点

これ見ながらやる。ありがたいことにWin用リポジトリ作ってくれてるみたいね

こちらの人はGPU入れてるみたいだけど、使わなくてもできたはずなので私はそっちで試します。

で、書かれてるとおりに進めてビルドしたらエラー。

f:id:otakkun:20180919162930p:plain

分かる人には分かると思うが私には解決できなかったので一旦保留。

別のアプローチでいきます

2018-09-19

Pythonの環境準備 / 再インストール

先に書いておくとめちゃくちゃ苦戦した過程を乗せてるだけです。解決策とか知りたい人は一番下から読むと何か得られたりするかも。決して私がやった過程を踏まないこと。　結構ひっちゃかめっちゃかです

前回記事でAnaconda2をインストール後、プロンプト開いてすぐエラーが出て詰まりまして、原因であったC/USERSのユーザ名を変更しました。しかしながら、その副作用として様々なファイルが開けなくなり(当然場所を正しく指定してあげれば動くが)面倒なことになりました。

一々以前のフォルダに入っているものを探すのも面倒、ついでに最新版にしちゃおうということで改めてAnaconda3 5.2.0をインストール。アンスコとインスコを同時にして弊害起きないかな…

f:id:otakkun:20180919134153p:plain

インストール終わって次は別作業。

つい最近知ったフレームワークDarknetを導入します。

git clone https://github.com/pjreddie/darknet.git
darknet
make

これでできるはずだけどmakeでエラーはかれた。これはOSの所為かと思われる。

「darknet」C言語で機械学習！とりあえずインストールとmake、エラーの対処をしてみた - lisz-works

インターネットの力を借りてmakeまで実行できるもまたエラー。

compilation terminated due to -Wfatal-errors.
Makefile:89: recipe for target 'obj/go.o' failed
make: *** [obj/go.o] Error 1

正直良く分かってないがとりあえずMinGWをアプデからやってみる。

f:id:otakkun:20180919142450p:plain

入ってたけどこんなファイル触ったことないので再インストールする。

再インスコ終わり再びプロンプトでmake実行。エラー変わらず。

物体検出Yolov3を動かす♬～ハマった編～

同じようにハマッてる人もいた。なかよし。

これ見ながら同じようにハマってみる。

C:\Users\Work\darknet>pip install gcc
Collecting gcc
Could not find a version that satisfies the requirement gcc (from versions: )
No matching distribution found for gcc
Cache entry deserialization failed, entry ignored
You are using pip version 10.0.1, however version 18.0 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.

C:\Users\Work\darknet>python -m pip install --upgrade pip
Collecting pip
Downloading https://files.pythonhosted.org/packages/5f/25/e52d3f31441505a5f3af41213346e5b6c221c9e0
86a166f3703d2ddaf940/pip-18.0-py2.py3-none-any.whl (1.3MB)
100% |████████████████████████████████| 1.3MB 2.3MB/s
distributed 1.21.8 requires msgpack, which is not installed.
Installing collected packages: pip
Found existing installation: pip 10.0.1
Uninstalling pip-10.0.1:
Successfully uninstalled pip-10.0.1
Successfully installed pip-18.0

pipが古いらしいのでupdate

こっから解決できないほど詰まった。一旦置いておきます。

anaconda navigator開こうと思ったらなぜかインストールされておらず。どうして…

Anacondaのインストールでとらぶった話【解決済み？】

また同じことしてる人がいた。なかよし。

再び入れなおしたところpythonが認識されてないようでした。path関係だと思われる。

【2018年】【Windows】Anaconda利用でpythonをインストールする超具体的な方法｜さぎのみや家の分析録

もっかいインストールしなおしたら今度は入ってた。どっかにチェック入れ忘れたんだろうね。

C:\Users\Work>python
Python 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSCv.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

すごい遠回りしてる自覚はあるんですけど、失敗しないと覚えないのでこの時間も必要経費だと思うことにしようね。

anaconda navigatorも起動を確認。

一旦ここまで長くなるので次別記事で。

環境準備下手くそ過ぎてやばいわ