2018年8月13日

如何編譯 RPi kernel

以下紀錄如何編譯 Raspberry Pi Kernel

查詢 RPi 上安裝的 kernel 版本號碼

$ uname -a
Linux raspberrypi 4.14.34-v7+ #1110 SMP Mon Apr 16 15:18:51 BST 2018 armv7l GNU/Linux

找一台 x86 linux 電腦,以 cross-compile 方式重新編譯 RPi kernel,雖然可以直接在 RPi 編譯,但速度會很慢,因此還是選擇用 cross-compile 方式編譯。

RPi kernel 存放在 git repository 裡面

cd
mkdir raspberry
cd raspberry

確認有安裝 git, 並更新一些套件(需要安裝nss 相關和更新curl)

yum update git
yum update nss nss-util nspr
yum update curl

下載 kernel source

git clone https://github.com/raspberrypi/linux.git

下載 cross-compilers tools

git clone https://github.com/raspberrypi/tools

使用 tools/arm-bcm2708/gcc-linaro-arm-linux-gnueabihf-raspbian,設定環境變數 CCPREFIX

export CCPREFIX=/root/raspberry/tools/arm-bcm2708/gcc-linaro-arm-linux-gnueabihf-raspbian/bin/arm-linux-gnueabihf-

${CCPREFIX}gcc -v

在 GitHub 上面的 kernel 有許多不同的 branch,請選擇你想要使用的 branch 來使用。

cd linux
git branch -a

目前版本為

* rpi-4.14.y
  remotes/origin/HEAD -> origin/rpi-4.14.y

由 RPi 取得目前的 kernel 設定,因為 RPi 上沒有 config.gz,用以下指令產生 /proc/config.gz

sudo modprobe configs

將 /proc/config.gz 複製到要編譯 kernel 的機器上的 /root/raspberry/linux 目錄中

cd /root/raspberry/linux
scp pi@192.168.1.15:/proc/config.gz . 
gunzip -c config.gz > .config

用以下指令產生新的 kernel configuration,如果遇到新的功能,就會問你要不要支援

ARCH=arm CROSS_COMPILE=${CCPREFIX} make oldconfig

reset .config 裡面的 debug symbols,Enable the ‘DEBUGINFO’ option and don’t enable the DEBUGINFO_REDUCED option.

grep -v DEBUG_INFO < .config > newconfig 
mv newconfig .config 
ARCH=arm CROSS_COMPILE=${CCPREFIX} make oldconfig

以 menuconfig 微調設定,調整 kernel modules support。

make -j4 ARCH=arm CROSS_COMPILE=${CCPREFIX} menuconfig

編譯 kernel,如果是 multi-core cpu,可加上 -j<amount of cores> 加速編譯

ARCH=arm CROSS_COMPILE=${CCPREFIX} make

如果編譯過程中,有發生 compile error,打開錯誤的 source code,在發生錯誤的 function 前面加上

#pragma GCC optimize("-g0")

編譯完成後,必須檢查 symbols,用以下指令,查看 initutsns.name.release 的值

${CCPREFIX}gdb vmlinux 
print init_uts_ns.name.release

確認 kernel 有包含 symbols 後,將 RPi 需要的 modules 放在 modules 目錄

ARCH=arm CROSS_COMPILE=${CCPREFIX} INSTALL_MOD_PATH=../modules make modules_install

建立 uncompressed kernel image,並放到 RPi 的 tmp 目錄中

cd <raspberry pi downloads>/tools/mkimage 
./imagetool-uncompressed.py ../../linux/arch/arm/boot/zImage
scp kernel.img pi@raspberrypi:/tmp

將 modules 目錄,壓縮後,傳送到 RPi 的 tmp 目錄中

cd <raspberry pi downloads>/tools/modules 
tar czf modules.tgz * 
scp modules.tgz pi@raspberrypi:/tmp

最後 ssh 到 RPi,安裝新的 kernel 及 modules

cd / 
sudo mv /tmp/kernel.img /boot/ 
sudo tar xzf /tmp/modules.tgz 
rm /tmp/modules.tgz

reboot RPi

sudo shutdown -r now

以 uname 檢查是否使用了新版的 kernel

uname -r

如果要 debug kernel ,可參考 Preparing Raspberry PI for JTAG Debugging 的說明

References

https://sysprogs.com/VisualKernel/tutorials/raspberry/buildkernel/

https://blog.gtwang.org/iot/raspberry-pi-compile-linux-kernel/

https://www.raspberrypi.com.tw/528/compiling-kernel-for-raspberry-pi/

https://coldnew.github.io/f5873b3f/

2018年8月6日

Architect 軟體架構師該做什麼事情?

架構 architecture 這個名詞是源於建築學,就是指建築物在設計上,是如何利用內部的支撐物相互結合,而製作出一個穩固的建築物的方法。而架構師 architect 則是為滿足某種架構設計目標,而進行整體建物的構思與設計的角色。在軟件系統工程領域,借用了建築學的 architecture 以及 architect 這兩個名詞,將軟體系統架構設計者,也稱為 architect。

Architect 這個角色跟 Project Manager 最根本的不同點,是 Project Manager 偏向管理面,比較重視專案的進度、成本、資源等管理項目,而 Architect 雖然也會進行管理工作,但只針對技術面,實作面,負責掌握所有開發者的做事方式及進度,有點像是 Technology Project Manager 的角色。

梓人傳

唐代的柳宗元,撰寫了一篇文章「梓人傳」,非常貼切地描寫了一位房屋建築師的工作寫照,文章的第一段,就明確地讓梓人自述他平常的工作內容跟收入:「吾善度材。視棟宇之制,高深圓方短長之宜,吾指使而群工役焉。舍我,眾莫能就一宇。故食於官府,吾受祿三倍;作於私家,吾收其宜大半焉。」語譯為「我擅長計算材料,看房子的規格,知道高深圓方短長所需要的木材。我指揮工人們去工作。沒有我,工人們就沒有人能蓋好一幢房子。如果我在政府機關裏做事,我領別人三倍的薪水。在私人住宅裡工作,我收的工錢也比別人多一大半。」

作者還是覺得這個人很奇怪的,為什麼不是拿著刀鋸斧斤,只會用尺規墨斗,領到的錢還比其他人多。甚至舉了例子,梓人家裡的椅子壞了,還要找工人來修理。後來作者實際到了梓人工作的地方,觀察了很久,發現他指揮大家做事,掌握進度,調度工人。最後完工後,還寫上他的名字以示負責。

軟體工程感覺上跟建築業很像,也需要一個 architect 出面,進行指揮調度的工作。不過有一點最大的差異,建築業的 architect 只需要進行設計,還能掌握成品的品質,就算他從來沒拿過鋸子,不拿工具,也可以完成工作。而軟體開發比較不一樣,沒有真正實作過一個軟體系統的經驗,是沒辦法直接用眼睛看,就看出軟體開發的奧秘,所以基本上,不大可能會出現一個從來沒有寫過程式的 architect。

架構師該做什麼?

接下來由不同的文章,來看看軟體架構師應該要做什麼,要會什麼?

抽象、分層、分治和演化思維

優秀架構師必須掌握的架構思維

架構的本質是管理複雜性,抽象、分層、分治和演化思維是架構師應對和管理複雜性的四種最基本武器。

抽象:架構師先要在大腦中形成抽象概念,然後是子模塊分解,然後是依次實現子模塊,最後將子模塊拼裝組合起來,形成最後系統。

分層:把整個系統劃分成若干個層次,每一層專註解決某個領域的問題,並向上提供服務。有些層次是縱向的,它貫穿所有其它層次,稱為共享層。分層也可以認為是抽象的一種方式,將系統抽象分解成若干層次化的模塊。

分治:分而治之(divide and combine或者split and merge) 把大問題分解成若干個子問題,如果子問題還無法直接解決,則繼續分解成子子問題,直到可以直接解決的程度,這個是分解(divide)的過程;然後將子子問題的解組合拼裝成子問題的解,再將子問題的解組合拼裝成原問題的解,這個是組合(combine)的過程。

架構既是設計出來的,同時也是演化出來的,對於互聯網系統,基本上可以說是三分設計,七分演化,而且是在設計中演化,在演化中設計,一個不斷迭代的過程。從單塊架構開始,隨著架構師對業務域理解的不斷深入,也隨著業務和團隊規模的不斷擴大,漸進式地把單塊架構拆分成微服務架構的思路,這就是演化式架構的思維。

廣度、高度、深度、寬度

如何成為一個架構師?

廣度指的是架構師應該對所在領域的主流技術體系有一個全面清晰的認識,每一種技術不需要很深入的瞭解,但必須知道每種技術的3W:1,Why:每種技術的由來,為什麼會出現這種技術,這個技術是用來解決什麼問題的?2,What:每種技術是什麼?技術的基本組成部分是什麼?3,Which:解決同一問題的相同技術各自的優缺點是什麼,更適合哪種場景?比如,ORM框架(Hibernate與IBatis),MVC框架(Struts與SpringMVC),大數據技術(Hadoop與Spark)它們各自的優缺點是什麼,只有清晰認識同一類型技術的優缺點,才能在技術選型時能夠使用更加合理的技術。

高度指的是架構師應具備對客觀事物的拔高能力,能夠從紛繁雜亂的信息中建立秩序,也就是我們一般所說的抽象能力。

深度指的是架構師能對主流技術有較為深入的理解,可以不瞭解源代碼,但對主流技術的原理,運作機理有一個基本的理解。

寬度指的是架構師能夠熟知當前的技術前沿和熱點,能夠使用新的技術解決問題。比如,微服務、大數據、雲計算、人工智能等。

廣度決定了系統架構技術選型的合理性 高度決定了系統架構設計的合理性 深度決定了系統架構的優化能力 寬度決定了系統架構的領先性,不至於三五年被淘汰

確認需求、系統分解、技術選型、制定技術規格

如何成為一個架構師?

確認需求:架構師要懂得用戶需求,理解用戶真正想要什麼,這使得架構師必須要和分析人員不斷溝通,反覆確認需求規格說明書,以此來保證他精準清楚用戶需求。

系統分解:在架構師認可需求規格說明書後,架構師已明確用戶需求是是什麼,這時候便看架構師的分解能力了。一般分為縱向分解和橫向分解,縱向分解是將整個系統分層,從而將整體系統分解成下一級的子系統與組件。橫向分解是在系統分解成不同的邏輯層或服務後,對邏輯層進行分塊,確定層與層之間的關係。

技術選型:在系統分解後,架構師會最終形成軟件整體架構,接下來,架構師的職責是技術選型。「前端到底用瘦客戶端還是富客戶端呢?數據庫是用MySQL還是MSSQL又或是Oracle呢?」在瞭解用戶需求後,分解完系統後,技術選型是非常重要的環節,提出各個方向,再進行評估。架構師在技術選型階段會提供參考信息給專案經理,專案經理再從預算、進度、人力、資源等各方面情況來權衡,最終確認。

制定技術規格:架構師在項目開發過程中是「靈魂人物」,並且要具備協調組織能力和懂得人員分工。在制定技術規格說明階段,架構師要協調起所有的開發人員,架構師通常會用技術規格說明書與開發人員保持溝通,讓開發人員能從各個視角去觀測、理解他們負責的模塊或者子系統,確保開發人員能夠按照架構意圖實現各項功能。

設計能力、技術實力、溝通能力

如何成為一個架構師?

設計能力:擅長整合分析架構是過程,並非結果。架構是架構師洞察內在結構、原則、規律與邏輯的過程,架構師要做到清晰理解系統,以及簡潔描述,這是分析整合的能力。一個架構師必須具備極強的分析能力,要做到根據產品宗旨和目標,分析清楚產品定位以及產品業務,再整合利用現有的技術領域,找出最佳方案,實現產品概念。

技術實力:實現產品規劃架構師首先要將代碼寫的清晰易懂,要能夠實現功能,做到沒有Bug,這要求架構師必須具備至少熟練掌握一門語言。這是最重要的,每一名出色的架構師,必定是一位優秀程序員。架構師並不是純粹的管理崗位,對那些愛寫各式文檔、畫流程圖、脫離代碼、只說不做、高高在上的架構師,程序員們通常會稱他們為——PPT 架構師。不懂編程的架構師的職業生涯必定是短暫的,無論如何都不可本末倒置,要想實現自己的職業規劃,不能荒廢自己本身的技能,技術是架構師賴以生存的最基本能力。

溝通能力:能夠橫向溝通架構師必須參與項目開發全過程,包括確認需求、系統分解、架構設計、技術選型、制定技術規格說明、系統實現、集成測試和部署各階段,在這一系列過程中,架構師會與各部門溝通交流。一個產品會有多部門合作,架構師在其中的溝通極為重要,直接影響產品進度與質量。架構師不僅要與開發人員溝通,也要和項目經理、分析人員甚至用戶溝通,來實現產品的各種可能性。所以,對於架構師來講,不僅有技術方面的要求,還有能夠橫向溝通的要求。

什麼是架構?架構師的職責是什麼?

設計能力:擅長整合分析 技術實力:實現產品規劃 溝通能力:能夠橫向溝通

References

四個架構設計案例分析及其背後的架構師思維

{程序員邀稿} 從軟體架構師(Architect)的觀點來看軟體開發流程

淺談技術型專案經理和管理型專案經理