A. 第三篇:ubuntu系統安裝+tensorflow2.0.0-gpu環境搭建
哎,生命在於折騰。。。
新加一塊兒ssd,單獨用來裝linux系統,幾天來專門裝這個環境,反復裝有幾十回,終於把環境裝個靠譜能的訓練的環境出來。不記錄一下對不起這些天的辛苦。
兩個大方面:
一、裝linux系統
裝linux系統碰到如下幾個問題:
1、bios設置如何配置
主板是華碩Z390P,此主板很不靠譜,不推薦使用。
此主板官游晌網文檔不支持linux系統,但是通過一些方法可以安裝ubuntu18.04或ubuntu19.04。centos8不能安裝,唉。
其中一個關礙就是bios配置,就z390p這塊板子,要改csm兼容模式,disable=>enable,相對於默認設置僅此一處更改,千萬別亂神磨鋒改,什麼快速啟動之類的都不用改。
2、ssd配置
ssd是nvme協議的,本身linux支持起來就不太正常,需要做如下處理:
分三個區:
- 先分一個1G的出來,刷成fat32格式,不選掛在,安裝系統時默認裝引導(此分區極其重要,必不可少)
- 再分一個60G左右的空間,ext4文件格式,掛在為/
- 剩下空間一個區,ext4文件格式,掛在為/home
3、安裝ubuntu時配置
拔網線!按界面操作步驟該設什麼設什麼,一定要拔網線。
4、進了系統後,拔這個界面全部取消選定
下一篇,將會把第二篇中的模型用tensorflow2.0.0API重寫一遍,體會一下兩個版本api的區別,檢測一下性能提升,當前性能18s訓練100step,captcha模型訓練出來需要10-12小時,不知2.0能提升多少游老。
B. 深度學習主機購置及環境配置(Ubuntu18.04)
最近在學習機器學習,看到了深度學習這一部分。用tensorflow寫了幾個例燃顫子,CNN的,然後在我的15年版的MacbookPro上跑了跑了,訓練速度真是不忍直視,而且,風扇呼呼轉,真是心疼我這個Mac了。於是意識到顯卡這個東西真是個門檻。因此才想著搞一台高配置的主機來跑深度網路。
既然是跑深度學習,那麼直接在電商網站上搜一下深度學習主機皮敏敗買來不就得了? 理論總是那麼簡單。。。
事實上,我看了下專門跑深度學習的主機,基本都是伺服器級別的,動輒2W+ 。我是沒這么多銀子來投入這個的,沒辦法,窮人啊。
那麼,想一下自己需求,找一個合適的主機吧。我的目的也很簡單的:
好了, 這么一羅列就明確了,就是一個高配游戲主機嘍。不要誤會,這是巧合~~ 於是 我去閑魚上瞅了瞅,看出點門道,一般i7 8700 + 1080Ti顯卡的主機,就可以賣到1W了~~ 嘖嘖 游戲真是敗家。
一開始我也想著直接買個這種主機,省事兒,不過既然都花到1W了,對各個配置外觀就很在意了。看了很多主機,感覺都不是理想中的樣子,要麼機箱丑, 要麼主板渣,要麼硬碟和內存規格不夠。其實我主要在意的是CPU和顯卡,只要這兩個滿足就OK啊,然後就可以慢慢攢出自己想要的主機了。我看了閑魚上的價格,i7 8代CPU的價格,代購的話也就2500左右,為了以後升級考慮,直接上了i7 8086K(這是個intel為了紀念第一代8086晶元40周年的紀念品,其實是從8700K中拿扒挑出來的體質好的片),4GHZ,高主頻,幹事兒快。1080Ti的顯卡是最具性價比的了,二手價格4K左右,不過容易踩到雷買到挖礦的卡~ 這個小心了。
總的來說,各個配件都准備妥當了,來一下清單:
總計: 9800吧~(真貴)~ 總的來說,必直接先閑魚上的主機要好一些,多了可配置性。
這個就不展開了,按照說明書一步步來就好。主要是安裝順序以及接線。
安裝順序:電源裝到機箱 -> CPU裝到主板 -> 主板裝到機箱 -> 水冷 散熱風扇 -> 接線
這里有兩個地方需要注意:
最後上個成品圖 啊哈哈~
這么好的顯卡不玩玩游戲是不是虧了?? 那就保留一個win系統吧~
現在網上的雙系統如何安裝帖子都是老教程了~ Ubuntu都發布了18.04,支持UEFI+GPT。那麼如何搞呢?
首先,先安裝win10,如果是自己製作U盤啟動項,務必選擇UEFI+GPT組合模式,也就是做用UEFI模式引導,硬碟為GPT格式。如果不是,那麼需要檢查一下並完成轉換,這里有個教程,直接用win10自帶的工具就能做到,但是前提是win10升級到1703之後的版本。
用Win10自帶的MBR2GPT無損轉換GPT磁碟分區形式
然後就是安裝Ubuntu18.04了。我是安裝在一個磁碟里,因此需要先空出一定大小的未分配空間。然後製作Ubuntu18.04的U盤啟動項,選擇UEFI+GPT組合模式。這里是官方教程:
win系統上製作Ubuntu的U盤啟動
然後按照這個教程就好了: Windows10+Ubuntu18.04雙系統安裝
安裝好Ubuntu18.04之後登錄進去發現系統變漂亮了(但是還是一貫的難用,相比Mac和win)。可以進行一些美化操作。。 好像很多人喜歡這個,貼個教程吧: Linux也可以這樣美——Ubuntu18.04安裝、配置、美化-踩坑記
之後就是配置我們的深度學習環境了。目前我主要用tensorflow,只記錄這個。
主要步驟:
好了,可以從GitHub上下點example跑起來了,CNN的計算有了1080TI的加持還是很快的,開心~~
需要配置遠程訪問,jupyter notebook服務。遠程Pycharm調試環境。
這里有個麻煩,就是家裡是區域網,而且接的是長城渣寬頻,沒有獨立IP,需要用frp中轉一下。
C. ubuntu 系統 怎樣設置環境變數
首先啟動終端。
單擊屏幕左上角的Ubuntu圖標,在彈出的窗口中點擊搜索欄清差枯,輸入「terminal」,
稍等片刻,終端就會赫然在目!二話不說,直接點擊!
然後打開環境設置文件。
Ubuntu的環境設置文件為/etc/profile。它本質上是一個Shell腳本,其中存儲了每次啟動系統或終端時都要運行的命令。
在終端中輸入"sudo gedit /etc/profile",回車,然後輸入管理員密碼後回車,即可打開。
加入環境變數設置語句。
Linux系統中,設置環境變數的語句是:
export <環境變數名>=<變數的值>
我們只需在這里新開一慶晌行,按照這個格式填寫即可。
例如答洞:我新建一個名為"mynewenvironmentvar"的環境變數,它的值為「加入一個新的環境變數!我來了!」,那麼就要這樣寫:
export mynewenvironmentvar=加入一個新的環境變數!我來了!
讓我們的修改生效。
回到終端,輸入"source /etc/profile",回車,即可讓我們的環境變數生效。
最後,檢驗一下效果!
我們用echo回顯命令,看看環境變數有沒有生效。
只需輸入
echo $<環境變數名>
回車即可。
對於我設置的變數,要輸入:
echo $mynewenvironmentvar
看到效果了吧!
不過目前,環境變數還只是部分生效,這就意味著重啟終端後,原先的設置又沒了。
不必擔心,重啟系統,讓環境變數的設置完全生效。
D. WSL Ubuntu 寶塔 PHP 環境安裝及配置
在 Microsoft Store 中找到 Ubuntu 18.04 LTS,點擊安裝。悉磨
修改 /etc/銀做ssh/sshd_config 中的相應配置項為
重啟ssh
安裝Nginx後,在 /etc/nginx/nginx.conf 的 http block 中加入(解決 PHP-FPM 超時問題)
重啟寶塔
配置為 阿鋒陸衡里雲 Composer 全量鏡像
增加個人配置 ~/.vimrc
E. ubuntu系統網路配置&ssh配置
該配置環境為ubuntu16.04.2
(一) 網路配置
安裝完成系統後網路配置如下:
第一步:ifconfig -a 查看有幾個網卡
如下截圖表示有四個網卡
第二步:找出接線網卡
執行命令:ifconfig +網卡 up
例:up 第一個網卡enp4s0f0
ifconfig enp4s0f0 up
然後執行命消鉛散令: ethtool enp4s0f0 查看Link狀態,如下截圖:
如果是yes表示該網卡已經接線 ,嘗試手動配置ip(配置方法請見下一步驟)。如果是no,繼續ifconfig up其他網卡,直到找到yes的為止。如果全部是no,請檢查網線是否接好
第拿氏三步:配置網卡ip(只有臨時作用,再次重啟伺服器配置會失效)
命令:ifconfig enp11s0f1 10.57.23.13/25
說明:配置網卡 enp11s0f1 IP為10.57.23.13 掩碼是25位。即255.255.255.128
配置好截圖如下:
第四步:檢測連通性
嘗試ping 網關,如果網關不通,表示直連不通,請檢查網線和配置。網關通,接著配置默認路由,見第五步
第五步:配置路由(臨時,重啟後失效)
route add default gw 10.57.23.1 (默認配置這一條後,內網可以正常訪問),如激渣果不能,添加如下明細:
route add -net 10.0.0.0/8 gw 10.57.23.1
route add -net 192.168.0.0/16 gw 10.57.23.1
route add -net 172.16.0.0/12 gw 10.57.23.1
route add -net 100.64.0.0/10 gw 10.57.23.1
第六步:寫入配置文件(永久)
註:一定要寫入配置文件
ubuntu為何不直接在最開始寫入配置文件里。因為ubuntu直接寫入配置文件,不重啟伺服器貌似不生效(個人經驗)
vim /etc/network/interfaces 可以直接在這里修改,具體配置如下:
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
source /etc/network/interfaces.d/*
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto enp11s0f1
iface enp11s0f1 inet static
address 10.57.23.13
netmask 255.255.255.128
gateway 10.57.23.1
####添加路由,這樣網卡服務重啟之後這些路由就會載入
up route add -net 10.0.0.0 netmask 255.0.0.0 gw 10.57.23.1
up route add -net 192.168.0.0 netmask 255.255.0.0 gw 10.57.23.1
up route add -net 172.16.0.0 netmask 255.240.0.0 gw 10.57.23.1
up route add -net 100.64.0.0 netmask 255.192.0.0 gw 10.57.23.1
重啟網卡服務之後,配置的路由會自動載入,如下:
(二) 修改ssh 配置文件
ubuntu系統安裝,默認是禁止root直接登錄的
vim /etc/ssh/sshd_config
修改:PermitRootLogin yes
然後重啟ssh服務 /etc/init.d/ssh restart
F. mac如何搭建ubuntu環境
首先需灶蠢要製作一個能從蘋果電腦啟動的ubuntu啟動盤:
在蘋果電腦的終端中輸入:
hdiutil convert /path/ubuntu.iso -format UDRW -o /path/ubuntu.dmg
這條命令是在MacBook Air上把ISO格喊攜式的鏡像文件轉換成dmg格式。
插入空白U盤,運行下列命令查看其序號
diskutil list
運行下面的命令,把N改成你U盤的序號,通常是2或者1。
diskutil unmountDisk /dev/diskN
運行下面的命令,把N改成你 U 盤的序隱滲陪號。
sudo dd if=/path/to/ubuntu.dmg of=/dev/rdiskN bs=1m
退出 U 盤,把N改成你 U 盤的序號
diskutil eject /dev/diskN