Maxkit: 5月 2017

2017/05/22

監督式機器學習方法 Supervised Machine Learning: 生成模型 (Generative Model) 與判別模型 (Discriminative Model)

機器學習是人工智慧的一個分支，讓機器透過某種學習方法，實現並解決人工智慧中的一些問題。機器學習演算法是從資料中自動分析獲得規律，並利用規律對未知資料進行預測的演算法。學習演算法需要用到大量的統計學理論，也被稱為統計學習理論。

Machine Learning 的分類

監督學習：從給定的訓練資料集中學習出一個函式，當新的資料到來時，可以根據這個函式預測結果，訓練資料中的目標是人工標註的。
無監督學習：與監督學習相比，訓練資料沒有人為標註的結果。常見的無監督學習演算法有聚類分析 Cluster Analysis。
半監督學習：介於監督學習與無監督學習之間。
增強學習：通過觀察來學習做成如何的動作。每個動作都會對環境有所影響，學習物件根據觀察到的周圍環境的反饋來做出判斷。

監督式機器學習方法 Supervised Learning

監督式機器學習方法 Supervised Learning 是 Machine Learning 中的一個方法，可以由訓練資料中學到或建立一個模式（函數 / learning model），並依此模式推測新的實例，換句話說，任務就是在觀察完一些訓練範例（輸入和預期輸出）後，利用這個函數去對任何可能出現的輸入的值，預測輸出的結果。

訓練資料是由輸入物件（通常是向量）和期待的輸出所組成。函數的輸出可以是一個連續的值（稱為迴歸分析），或是預測一個分類標籤（稱作分類）。

監督式機器學習方法可以分為生成方法和判別方法兩類，常見的生成方法有混合高斯模型、樸素貝葉斯法和隱形馬爾科夫模型等，常見的判別方法有SVM、LR等，生成方法學習出的是生成模型，判別方法學習出的是判別模型。

生成模型就是能夠隨機生成觀測數據的模型，也就是對影像、聲音以及對現實世界的一切其他實物（representations）進行創造的系統。如果 AI 學會了建立現實世界中的種種細節，例如現實中的圖像和聲音，這將幫助 AI 更好地理解現實世界的結構。

生成模型與判別模型的比較

生成式模型和判別式模型的區別很像人和機器的區別：機器採取的是完美主義，因為它可以不斷優化，追求極致。而人是把事情做得夠好就滿足了。

因為人類的構造天生跟機器不同，所以人類不需要跟 Alpha Go 比賽圍棋分出高下，Alpha Go 只專注在做圍棋這件事，並把它做到極限。

生成模型是所有變量的全機率模型，而判別模型是在給定觀測變量值前提下，觀測目標變量條件機率模型。

生成模型能夠用於模擬（即生成）模型中任意變量的分布情況，而判別模型只能根據觀測變量得到目標變量的樣本。

判別模型不提供觀測變量的分布建模，因此它不能夠表達觀測變量與目標變量之間更複雜的關係。因此，生成模型適用於無監督的任務，如分類和聚類。

由生成模型可以得到判別模型，但由判別模型得不到生成模型。

生成模型收斂速度比較快，如果樣本數量較多時，生成模型能更快地收斂於真實模型。生成模型中的聯合分佈能提供更多的資訊，但也需要更多的樣本和更多計算。

例如我們有一個輸入數據x，然後我們想將它分類為標籤y。最自然的做法就是條件概率分佈p(y|x)，這就是為什麼我們對其直接求p(y|x)方法叫做判別模型演算法。生成模型學習聯合概率分佈p(x,y)，p(x,y)可以通過貝葉斯方法轉化為p(y|x)，然後再用其分類。但是p(x,y)還有其他作用，例如，你可以用它去生成(x,y)。

假設我們有以下(x,y)形式的數據：(1,0), (1,0), (2,0), (2, 1)

那麼p(x,y)是：y 共有四種結果，0,0,0,1，產生的機率分別是 1/4，其中前面兩個 0,0，它的 x 都是 1，所以當 x 為 1，產生出 y 為 0 的機率是 1/4+1/4 = 1/2，不可能產生 y=1 的狀況，所以機率為0。而當 x 為 2，產生出 y 為 0 的機率是 1/4，產生出 y 為 1 的機率也是 1/4。目標是要生成 y，所以生成 y 的所有機率總和為 1。

            y=0   y=1

           -----------

   x=1 | 1/2   0

   x=2 | 1/4   1/4

而p(y|x) 是：因為當 x =1，y 一定為 0，所以在 x 為 1 的基本條件下，y 為 0 的機率為 1，如果 x = 2 的條件下，y 有 0 或 1 兩種可能，發生的機率分別是 1/2。目標是先以 x 為基本條件，在給定 x 之後，得到 y 的機率分佈。

           y=0   y=1

           -----------

    x=1| 1     0

    x=2| 1/2   1/2

如果有某項工作是要識別一個語音屬於哪種語言，有兩種方法達到這個目的：

1、把所有語言先都學會，然後就能識別任何一段新的語音了。

2、不去學習每一種語言，只學習這些語言模型之間的特徵及差別，然後再分類。只要學會了漢語和英語等語言的發音的差別，直接用這樣的差異去分類就好了。

第一種方法就是生成方法，第二種方法是判別方法。

生成算法嘗試去找到底這個數據是怎麼產生的，然後再對一個信號進行分類。基於你的生成假設，那個類別的資料最有可能產生這個信號，這個信號就屬於那個類別。判別模型不關心數據是怎麼生成的，它只關心信號之間的差異，然後用差異來簡單對給定的一個信號進行分類。

生成模型：一般是學習一個代表目標的模型，然後通過它去搜索圖像區域，然後最小化重構誤差。類似於生成模型描述一個目標，然後就是模式匹配了，在圖像中找到和這個模型最匹配的區域，就是目標了。

判別模型：將跟蹤問題看成一個二分類問題，找到目標和背景的決策邊界。它不管目標是怎麼描述的，只知道目標和背景的差異，然後你給一個新的圖像，看它屬於那一邊，就歸為哪一類。

生成式對抗網絡 GenerativeAdverserial Network GAN

有兩個系統，在互相對抗，兩個系統都試圖優化自己的目標函數。第一個系統對應判別式模型D：判別式模型D在試圖識別到來的樣本是否是自然真實的；它在儘量增大對真實樣本的識別率，同時減少對模擬生成的樣本的誤判率。

另一個系統則對應著生成式模型G：G希望它生成的模擬樣本可以在D那裡魚目混珠。所以G試圖最大可能地產生真實的樣本。判別器D從判別角度來說，判別的越好，D的目標實現的就越強大。

但對於生成器G來說，它要最小化（minimize）對方的優化函數，這就相當於最大化（maximize）它自己的優化函數。這個過程就像G和D在下棋一樣。

用一個AI對現實世界的圖像進行創造，再用另一個AI去分析結果並對圖像的真偽進行識別。兩個系統在競爭中不斷成長，最後兩個都達到最佳化。

將二者的關係想像成一個藝術家和一個文藝批評家。作為藝術家，生成模型希望愚弄藝術批評家，讓後者認為它畫出來的東西是真實的。因為藝術批評家努力地將這些畫辨認為假畫，藝術家慢慢學會了如何摹擬那些真的東西，而這原本只靠它自己是做不到的。

References

楊強教授漫談《西部世界》、生成式對抗網絡及遷移學習

機器學習中的貝氏定理：生成模型 (Generative Model) 與判別模型 (Discriminative Model)

生成模型與判別模型

機器學習“判定模型”和“生成模型‘有什麼區別？

GAN誕生記：最火的AI模型，來自一群博士的酒後爭吵

2017/05/15

以 docker 測試網站

docker container 本身並沒有 persistence 的機制，但可以透過共享 valume 的方式，將本地機器的某個實體的路徑，綁定到 container 中，由於 container 疊加式的文件檔案系統，我們還是會覺得只有一個檔案系統。

靜態網站

在 sample 目錄中，製作一個 Dockerfile 檔案

FROM ubuntu:latest
MAINTAINER yaocl
ENV REFRESHED_AT 2016-12-23

# 安裝 ngnix
RUN apt-get -yqq update && apt-get -yqq install nginx

# 建立 website 目錄
RUN mkdir -p /var/www/html/website

# 調整 nginx 設定
ADD nginx/global.conf /etc/nginx/conf.d/
ADD nginx/nginx.conf /etc/nginx/

# TCP Port 80
EXPOSE 80

另外準備兩個 nginx 設定檔：

nginx/global.conf

server {
        listen          0.0.0.0:80;
        server_name     _;

        root            /var/www/html/website;
        index           index.html index.htm;

        access_log      /var/log/nginx/default_access.log;
        error_log       /var/log/nginx/default_error.log;
}

nginx/nginx.conf

user www-data;
# process 數量
worker_processes 4;
# 紀錄 process id
pid /run/nginx.pid;

# 不讓 nginx 進入 daemon 狀態，以前景執行，否則會讓 container 啟動後直接停掉
daemon off;

events {  }

http {
  sendfile on;
  tcp_nopush on;
  tcp_nodelay on;
  keepalive_timeout 65;
  types_hash_max_size 2048;
  include /etc/nginx/mime.types;
  default_type application/octet-stream;
  access_log /var/log/nginx/access.log;
  error_log /var/log/nginx/error.log;
  gzip on;
  gzip_disable "msie6";
  include /etc/nginx/conf.d/*.conf;
}

在 website 目錄，放一個 index.html 網頁。

所有檔案的目錄結構為

sample\
    Dockerfile
    nginx\
        global.conf
        nginx.conf
    website\
        index.html

以 build 指令產生 docker image

docker build -t yaocl/nginx .

可透過 history 查看 image 的過程

docker history yaocl/nginx

啟動 container，以 -v 將 website 目錄綁定為 container 的 /var/www/html/website 目錄，覆蓋掉原本在 image 中的那個目錄，我們就可以修改 website 的網頁，並即時由 browser 看到網頁的結果。

$ docker run -d -p 80:80 --name website \
    -v $PWD/website:/var/www/html/website \
    yaocl/nginx nginx
b64855fbfc6bb313c9190eeead2f1d433d28b9d759dba85d06399841e0ef9f78

如果加上 :ro ，就變成 readonly，rw 則是可讀寫

docker run -d -p 80:80 --name website \
    -v $PWD/website:/var/www/html/website:ro \
    yaocl/nginx nginx

連結兩個 container

如果我們需要用到兩個 containers，其中一個用來執行 application server，另一個執行 redis或 db，這時候有兩種方式，可以讓兩個 containers 可以互相連結使用服務。

我們建立一個 redis image 跟 container，另外產生一個只有 os 的 container，讓測試讓後面那個 container 可以用 redis-cli 連結到 redis server。

產生 redis db server 的 Dockerfile

FROM ubuntu:latest
MAINTAINER yaocl
ENV REFRESHED_AT 2016-12-23

RUN apt-get -yqq update && apt-get -yqq install redis-server redis-tools

EXPOSE 6379

ENTRYPOINT ["/usr/bin/redis-server"]
CMD []

產生 redis image，並啟動 container

docker build -t yaocl/redis .

docker run -d -p 6379:6379 --name redis yaocl/redis

如果剛剛沒有指定主機的 port 可以用 port 指令查詢 port

$ docker port redis 6379
0.0.0.0:6379

以本機的 redis-cli 測試 redis:6379

$ redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379>

要從 container: redis-cli 連接到 redis，有兩種方式，一種是使用 docker 的內部網路 network stack，安裝 docker 時就會建立一個 docker0 的網路介面，每一個 docker container 都會在這個網路上分配到獨立的 172.16~172.30 這個範圍的 ip。

預設這些網路之間不能互相連接，如果搭配修改 iptables（DNAT），就可以讓 container 互相溝通，但 docker for mac 找不到 docker0 這個 network，如果要測試，可以參考 Docker container networking 的說明。

我們用另一個比較常見的方式，直接讓 container 互相連接。

在 mac 先將 lo0 綁定一個新的 ip

sudo ifconfig lo0 alias 10.200.10.1/24

首先刪除掉剛剛的 redis container

docker stop redis

docker rm redis

重新執行一個 redis container，但不指定 -p 6379

docker run -d --name redis yaocl/redis

redis-cli 的 Dockerfile

FROM ubuntu:latest
MAINTAINER yaocl
ENV REFRESHED_AT 2016-12-23

RUN apt-get update
RUN apt-get -y install inetutils-ping redis-tools

ENTRYPOINT ["/bin/bash"]
CMD []

產生 redis-cli image

docker build -t yaocl/redis-cli .

docker run --name webapp -t -i yaocl/redis-cli

如果不是用 docker for mac，可以用 link 的方式直接將 container 連接起來。

docker run --name webapp --link redis:db -t -i yaocl/redis-cli

啟動 redis-cli container webapp 後，就能直接用 db 這個 hostname 連接到 redis server

root@79bb961c2b78:/# redis-cli -h db
db:6379>

root@79bb961c2b78:/# env
HOSTNAME=79bb961c2b78
DB_NAME=/webapp/db
DB_PORT_6379_TCP_PORT=6379
TERM=xterm
DB_PORT=tcp://172.17.0.2:6379
DB_PORT_6379_TCP=tcp://172.17.0.2:6379
LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:
DB_ENV_REFRESHED_AT=2016-12-23
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
REFRESHED_AT=2016-12-23
PWD=/
DB_PORT_6379_TCP_ADDR=172.17.0.2
DB_PORT_6379_TCP_PROTO=tcp
SHLVL=1
HOME=/root
no_proxy=*.local, 169.254/16
DB_ENV_no_proxy=*.local, 169.254/16
_=/usr/bin/env

root@79bb961c2b78:/# ping db
PING db (172.17.0.2): 56 data bytes
64 bytes from 172.17.0.2: icmp_seq=0 ttl=64 time=0.223 ms
64 bytes from 172.17.0.2: icmp_seq=1 ttl=64 time=0.139 ms

References

The Docker Book

Networking your docker containers using docker0 bridge

How to create a bidirectional link between containers?

2017/05/08

docker for mac

docker 在 mac 上原本是用 boot2docker，但現在已經有了原生的 Docker for mac，Docker for mac 不再是使用 VirtualBox，而是改用比較輕量化的 macOS 虛擬機 HyperKit。

Docker for mac 需要 OS X El Capitan 10.11 以上的作業系統，以及 2010 或更新 Mac 硬體，以支援 MMU virtualization。

在 Get started with Docker for Mac 這個網頁可以下載 docker，目前分為 Stable 及 Beta 兩個版本，我們是安裝 Stable 版本，但還是隨時可以切換到 Beta 版。

安裝完成並執行後，可以在狀態列看到 docker 那隻鯨魚。

docker 的元件

客戶端及伺服器: client 發送 request 給 docker daemon，由 damone 代理工作並回傳結果

image: 由指令一步一步建構出來的 image，類似 container 的 source code
registry: docker 以 registry 保存 image，分為 public 及 private 兩種，公用的 registry 稱為 docker hub，可以自己架設 private registry。
container: image 是 docker 的建構及打包對象，而 container 是啟動跟執行的目標。

docker 的技術元件

libcontainer: 就是原生的 Linux 容器
獨立的 kernel namespace 用來隔離文件、process、網路
每個 container 都有自己的 /root，獨立的文件系統
獨立的 process
獨立的網路
資源隔離及分組: 使用 cgroups 將 CPU 及記憶體獨立分配給每個 container
copy-on-write: 分層的文件系統，但 user 還是只能看到所有文件疊加後的結果，會覺得只有一個文件系統
log: container 的 STDIN, STDOUT, STDERR 都會記錄到 log中
互動式 shell: 可建立虛擬的 tty terminal，連接到 STDIN

測試 docker

我們可以利用 ubuntu 的 image，執行一個 echo 指令進行 docker 的測試，在安裝了 docker for mac 之後，就可以直接在 terminal 使用 docker 的 command line tool。

$ docker run -it ubuntu echo "Hello World"
Unable to find image 'ubuntu:latest' locally
latest: Pulling from library/ubuntu
b3e1c725a85f: Pull complete
4daad8bdde31: Pull complete
63fe8c0068a8: Pull complete
4a70713c436f: Pull complete
bd842a2105a8: Pull complete
Digest: sha256:7a64bc9c8843b0a8c8b8a7e4715b7615e4e1b0d8ca3c7e7a76ec8250899c397a
Status: Downloaded newer image for ubuntu:latest
Hello World

我們也可以直接執行一個 nginx web server

$ docker run -d -p 80:80 --name webserver nginx
nable to find image 'nginx:latest' locally
latest: Pulling from library/nginx
75a822cd7888: Already exists
64f0219ba3ea: Pull complete
325b624bee1c: Pull complete
Digest: sha256:2a07a07e5bbf62e7b583cbb5257357c7e0ba1a8e9650e8fa76d999a60968530f
Status: Downloaded newer image for nginx:latest
50f78171d0e26922a0b01025125a231b33615086119ebf3e8a0846b2b297760b

啟動了 web server，就可以用 browser 連結到 http://localhost/ 瀏覽網頁。

使用 Kitematic 管理 docker container

docker for mac 並沒有將 kitematic 放進去，而是讓去下載 Kitematic ，下載後會取得 Kitematic-Mac.zip，直接用以下的指令將 kitematic 解壓縮到 Applications 目錄中。

sudo unzip ~/Downloads/Kitematic-Mac.zip -d /Applications

我們可以看到剛剛執行的那個 ubuntu 的 container。

一些 docker 的基本指令

docker 容器有兩種，一種是 interactive container，可以用互動的方式進行操作，一種是 daemonized container，可以執行應用服務 server。

執行一個名稱為 u1 的容器，-i 是保證容器有打開 STDIN，-t 是產生一個虛擬的 tty 終端，此容器使用 ubuntu 這個 image，然後執行 bash，在 bash shell 中以 exit 離開時，這個容器就會停止。可以在 bash 中執行 ls, ps -aux 等等指令。

docker run --name u1 -i -t ubuntu /bin/bash

啟動剛剛建立的 u1 container

docker start u1

重新附著到 u1，也就是進入 u1 的 bash

docker attach u1

利用 while，產生一個一直列印 hello world 的 daemon server

docker run --name d1 -d ubuntu /bin/sh -c "while true; do echo hello world; sleep 1; done"

查看正在執行的 container

$ docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS               NAMES
a0d673b448a8        ubuntu              "/bin/sh -c 'while tr"   About a minute ago   Up About a minute                       d1

列出所有的 containers，包含執行跟停止中的

docker ps -a

查看 d1 的 log

docker logs d1
# 類似 tail -f
docker logs -f d1

停止 d1

docker stop d1

產生一個新的 d2 container（新的容器名稱不能跟舊的一樣），不管遇到容器的(bash)退出碼是多少，都會自動重新啟動，也可以用 --restart=on-failure:5 來限制退出碼非0時，重新啟動，且只會重啟動 5 次。

docker run --restart=always --name d2 -d ubuntu /bin/sh -c "while true; do echo hello world; sleep 1; done"

可用 inspect 查看 d2 的資訊

$ docker inspect d2
[
    {
        "Id": "8dba5cf2a6ef94143f460bb6be37342d0e14bdae3d3d02645736ab1c9f343621",
        "Created": "2016-12-22T01:57:38.837925059Z",
        "Path": "/bin/sh",
        "Args": [
            "-c",
            "while true; do echo hello world; sleep 1; done"
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 2799,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2016-12-22T01:57:39.765031056Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:104bec311bcdfc882ea08fdd4f5417ecfb1976adea5a0c237e129c728cb7eada",
        "ResolvConfPath": "/var/lib/docker/containers/8dba5cf2a6ef94143f460bb6be37342d0e14bdae3d3d02645736ab1c9f343621/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/8dba5cf2a6ef94143f460bb6be37342d0e14bdae3d3d02645736ab1c9f343621/hostname",
        "HostsPath": "/var/lib/docker/containers/8dba5cf2a6ef94143f460bb6be37342d0e14bdae3d3d02645736ab1c9f343621/hosts",
        "LogPath": "/var/lib/docker/containers/8dba5cf2a6ef94143f460bb6be37342d0e14bdae3d3d02645736ab1c9f343621/8dba5cf2a6ef94143f460bb6be37342d0e14bdae3d3d02645736ab1c9f343621-json.log",
        "Name": "/d2",
        "RestartCount": 0,
        "Driver": "aufs",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": null,
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "always",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": null,
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": -1,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Name": "aufs",
            "Data": null
        },
        "Mounts": [],
        "Config": {
            "Hostname": "8dba5cf2a6ef",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "no_proxy=*.local, 169.254/16",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
            ],
            "Cmd": [
                "/bin/sh",
                "-c",
                "while true; do echo hello world; sleep 1; done"
            ],
            "Image": "ubuntu",
            "Volumes": null,
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "ea7a45d1dcfb681283e18aad9feaaedd98da8cc8cd4155ca2284e4aeb6db640f",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/ea7a45d1dcfb",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "48480731d5cb9ab9e268e341c65fd924671222660ffa58a6adc61734811bae83",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.2",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:02",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "b7f0ca41f518b121beb774aac41e709b5032e7cff96939e43e3ddac1ed16cf98",
                    "EndpointID": "48480731d5cb9ab9e268e341c65fd924671222660ffa58a6adc61734811bae83",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.2",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:02"
                }
            }
        }
    }
]

配合 format 查看特定的資訊

$ docker inspect --format='{{ .State.Running }}' d2
true
$ docker inspect --format='{{ .NetworkSettings.IPAddress }}' d2
172.17.0.2

$ docker inspect --format='{{.Name}} {{ .State.Running }}' d1 d2
/d1 false
/d2 true

先停止 d2 後，才能用 rm 刪除 d2

docker stop d2
docker rm d2

列出所有 images

docker images

取得 ubuntu 的 image

docker pull ubuntu

以 TAG 指定 ubuntu 的版本

docker run --name t1 -t -i ubuntu:12.04 /bin/bash

列出 ubuntu 的 images

$ docker images ubuntu
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
ubuntu              latest              104bec311bcd        6 days ago          129 MB
ubuntu              12.04               f0d07a756afd        6 days ago          103.6 MB

要先移除跟 image 相關的 containers，才能移除 image

docker rm t1

docker rmi ubuntu:12.04

搜尋所有 docker hub 的公用可用 image

docker search puppet

建立 docker image

有兩種方式:

使用 docker commit: 不建議用這種方式

登入 docker hub

$docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: yaocl
Password:
Login Succeeded

執行一個 ubuntu 的 container

docker run -i -t ubuntu /bin/bash

在容器中安裝 apache

apt-get -yqq update
apt-get -y install apache
exit

將 container 以 commit 存成另一個 image

$ docker commit fd915f899feb yaocl/apache2
sha256:32421625c13d3076c90a18d3146dab180a9ed5c33e8439b5572acdcf7a328e02

$ docker images yaocl/apache2
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
yaocl/apache2       latest              32421625c13d        31 seconds ago      267.6 MB

自訂一些資訊欄位，產生新的 image tag

$ docker commit -m="custom image" --author="yaocl" fd915f899feb yaocl/apache2:webserver
sha256:b2e0f5faed623a8f62bdad08223773ae85274c9fc40e12753ac1df1258152f2f

$ docker images yaocl/apache2
REPOSITORY          TAG                 IMAGE ID            CREATED              SIZE
yaocl/apache2       webserver           b2e0f5faed62        About a minute ago   267.6 MB
yaocl/apache2       latest              32421625c13d        2 minutes ago        267.6 MB

使用新的 yaocl/apache2:webserver image

docker run -t -i yaocl/apache2:webserver /bin/bash

使用 dokcer build 及 Dockerfile 文件

static_web 目錄就是 dokcer 的 build environment，此環境就稱為 context 或 build context，先在這個 context 中建立一個 Dockerfile

mkdir static_web
cd static_web/
touch Dockerfile

編輯 Dockerfile 內容

# Version 0.0.1
FROM ubuntu:latest
MAINTAINER yaocl
ENV REFRESHED_AT 2016/12/22
RUN apt-get update
RUN apt-get install -y nginx
RUN echo "hi from container" > /usr/share/ngnix/html/index.html
EXPOSE 80

以 build 指令建立 image，如果沒有寫 :v1，就是預設的 latest 這個 tag

cd static_web/
#docker build -t="yaocl/static_web" .

docker build -t="yaocl/static_web:v1" .

建立 images 時發生錯誤

Setting up nginx (1.4.6-1ubuntu3.7) ...
Processing triggers for libc-bin (2.19-0ubuntu6.9) ...
Processing triggers for sgml-base (1.26+nmu4ubuntu1) ...
 ---> 83f7d5f1ad20
Removing intermediate container 2681f1e39e14
Step 5 : RUN echo "hi from container"   > /usr/shre/ngnix/html/index.html
 ---> Running in f1bd373dc64e
/bin/sh: 1: cannot create /usr/shre/ngnix/html/index.html: Directory nonexistent
The command '/bin/sh -c echo "hi from container"    > /usr/shre/ngnix/html/index.html' returned a non-zero code: 2

以 docker images 可以看到錯誤步驟前那一個 image id: 83f7d5f1ad20

$ docker images
REPOSITORY                      TAG                 IMAGE ID            CREATED             SIZE
<none>                          <none>              83f7d5f1ad20        39 seconds ago      231.1 MB

以該 image id 執行一個 container

$ docker run --name test -i -t 83f7d5f1ad20 /bin/bash

發現是路徑寫錯了 /usr/share/nginx/html

修改 Dockerfile 內容

# Version 0.0.1
FROM ubuntu:latest
MAINTAINER yaocl
ENV REFRESHED_AT 2016/12/22
RUN apt-get update
RUN apt-get install -y nginx
RUN echo "hi from container" > /usr/share/nginx/html/index.html
EXPOSE 80

再 build 一次，就成功了

$ docker build -t="yaocl/static_web:v1" .
Sending build context to Docker daemon 2.048 kB
Step 1 : FROM ubuntu:latest
 ---> 3f755ca42730
Step 2 : MAINTAINER yaocl
 ---> Using cache
 ---> 062ac75f50aa
Step 3 : RUN apt-get update
 ---> Using cache
 ---> 43e1cecf45be
Step 4 : RUN apt-get install -y nginx
 ---> Using cache
 ---> 83f7d5f1ad20
Step 5 : RUN echo "hi from container" > /usr/share/nginx/html/index.html
 ---> Running in 9a1dcbadd174
 ---> 11fa4a76019d
Removing intermediate container 9a1dcbadd174
Step 6 : EXPOSE 80
 ---> Running in 2d0db9f90d57
 ---> 683486e4c00a
Removing intermediate container 2d0db9f90d57
Successfully built 683486e4c00a
[14:10]charley@cmbp ~/Downloads/static_web$ docker images
REPOSITORY                      TAG                 IMAGE ID            CREATED             SIZE
yaocl/static_web                v1                  683486e4c00a        4 seconds ago       231.1 MB

由於 docker 會在每一個步驟都產生 image，可以加上 --no-cache 避免產生這個問題

docker build --no-cache -t="yaocl/static_web:v1" .

產生 yaocl/static_web:v1 的 container

$ docker run --name t1 -d -p 80 yaocl/static_web:v1 nginx -g "daemon off;"
4dbe731715cb046c6c12bb23264e9b4add0631948b3dfa15cb4e740a586eed68

以 ps 指令查看主機隨機以 49153 ~ 65535 任意一個 port 對應到 80 的資訊

$ docker ps
CONTAINER ID        IMAGE                 COMMAND                  CREATED             STATUS              PORTS                   NAMES
4dbe731715cb        yaocl/static_web:v1   "nginx -g 'daemon off"   29 seconds ago      Up 28 seconds       0.0.0.0:32768->80/tcp   t1

瀏覽器可以連結到 http://localhost:32768 查看網頁

如果是 -p 80:80 就是使用主機的 80

$ docker run --name t1 -d -p 80:80 yaocl/static_web:v1 nginx -g "daemon off;"

綁定主機的 127.0.0.1:80

$ docker run --name t1 -d -p 127.0.0.1:80:80 yaocl/static_web:v1 nginx -g "daemon off;"

Dockerfile 指令

Dockerfile reference

CMD

指定 container 最後要執行的命令，也可以用 docker run 覆蓋 CMD 的指令
```
CMD ["nginx", "-g", "daemon off;"]
```
可以省略最後用 /bin/sh -c 執行的指令
```
$ docker run --name t2 -d -p 127.0.0.1:80:80 yaocl/static_web:v2
```
ENTRYPOINT

跟 CMD 類似但不一樣，使用 ENTRYPOINT 可以接受 run 後面增加的參數
```
ENTRYPOINT ["/usr/sbin/nginx"]
```
執行時會增加後面 -g "daemon off;" 的參數給 nginx
```
$ docker run --name t2 -d -p 127.0.0.1:80:80 yaocl/static_web:v2 -g "daemon off;"
```
所以實際上使用會是
```
ENTRYPOINT ["/usr/sbin/nginx"]
CMD ["-g", "daemon off;"]
```
或是在沒有參數時，列印 help 資訊
```
ENTRYPOINT ["/usr/sbin/nginx"]
CMD ["-h"]
```
WORKDIR

在 container 內設定工作目錄，執行 ENTRYPOINT 或 CMD

使用時可以在過程中隨時切換目錄
```
WORKDIR /opt/webapp/db
RUN bundle install
WORKDIR /opt/webapp
ENTRYPOINT ["rackup"]
```

ENV

設定環境變數，可以在 docker run 以 -e 參數指定環境變數

ENV RVM_PATH /home/rvm/

ENV TARGET_DIR /opt/app
WORKDIR $TARGET_DIR

docker run -i -t -e "WEB_PORT=8080" ubuntu env

USER

指定用什麼帳號身份執行指令，可以用 docker run 的 -u 參數覆蓋這個設定，如果沒有指定，預設為 root
```
USER user
USER user:group
USER uid
USER uid:gid
USER uid:group
```
VOLUME

對 container 增加 volume，一個 volume 可同時存在於一個或多個 container 的特定目錄，該目錄可繞過聯合文件系統，進行資料共享或持久化的工作
- volume 可在 container 之間共享, 重用
- container 不一定要跟其他 container 共享 volume
- 對 volume 修改資料會立即生效
- 修改 volume 裡面的資料，不會對 image 產生影響
- volume 會一直存在，直到沒有任何 container 使用它
```
VOLUME ["/opt/project", "/data"]
```
ADD

將建構環境中的檔案複製到 image 中，後面的目的地檔名不能省略，新目錄或檔案權限都是 0755，UID及 GID 都是 0
```
ADD sw.lic /opt/application/sw.lic
ADD http://wordpress.org/latest.zip /root/wordpress.zip
```
這會自動將 latest.tar.gz 解壓縮到目的地的目錄中
```
ADD latest.tar.gz /var/www/wordpress/
```
COPY

類似 ADD，但沒有解壓縮的功能
```
COPY conf.d/ /etc/apache2/
```
ONBUILD

為 image 增加 trigger 的功能，當 image 被使用時，就會觸發 trigger
```
ONBUILD ADD . /app/src
ONBUILD RUN cd /app/src && make
```

Docket hub 與私有的 Docker Registry

push image to Docker hub

docker push static_web

也可以在 docket hub 增加 github/BitBucket 帳號連結，然後製作 Automated Build 自動產生 image

用這個指令可以產生一個 private docker registry

docker run -p 5000:5000 registry

$ docker images yaocl/static_web
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
yaocl/static_web    v2                  1d48b7f306d8        2 hours ago         231.1 MB
yaocl/static_web    v1                  ce19993fc181        3 hours ago         231.1 MB

將 image push 到 docker.example.com:5000 這個 private registry

docker tag 1d48b7f306d8 docker.example.com:5000/yaocl/static_web

docker run -t -i docket.example.com:5000/yaocl/static_web /bin/bash

scripts

移除所有 stopped containers

docker rm $(docker ps -a -q)

移除所有 UNTAG images

docker rmi $(docker images | grep "<none>" | awk '{print $3}')

References

[Docker] 在 Mac 上使用原生的 Docker for Mac 操作 container

撰寫一份符合需求的 Dockerfile

訂閱：文章 (Atom)