⑴ windows 2003 dfs 怎麼配置 必須是 域 伺服器嗎
最好有域環境可提供更可靠地安全認證
⑵ tomcat,nginx,fastdfs怎麼配置
1.系統環境
最小化安裝的 CentOS 6.2
tracker1: 192.168.68.113
tracker1: 192.168.68.116
storage1: 192.168.68.114
storage1: 192.168.68.115
2.環境准備[所有伺服器都需要]
安裝EPEL源
rpm -ivh epel-release-6-6.noarch.rpm
安裝開發工具和編譯nginx所需的開發包
yum groupinstall -y "Development Tools"
yum install -y libevent-devel pcre-devel zlib-devel
3.在tracker上的安裝配置
[root@tracker1]# wget http://fastdfs.googlecode.com/files/FastDFS_v3.06.tar.gz
[root@tracker1]# tar xvzf FastDFS_v3.06.tar.gz
[root@tracker1]# cd FastDFS
[root@tracker1]# vi make.sh
#將找到下面兩行,將前邊的"#"去掉,目的是安裝httpd和fdfs_trackerd/fdfs_storaged服務
WITH_HTTPD=1
WITH_LINUX_SERVICE=1
[root@tracker1]# ./make.sh
[root@tracker1]# ./make.sh install
[root@tracker1]# vi /etc/fdfs/tracker.conf
修改/etc/fdfs/tracker.conf,主要修改以下兩處,如有其他調整,可參考文檔備螞自行調整,默認的配置也可以工作。
# 配置data和log的存放凳滾肆路徑,該路徑如果不存在,需要自己創建棗轎
base_path=/home/tracker1/fastdfs
# 找到下面這行包含兩個"##"號
##include http.conf
# 去掉一個"#"
#include http.conf
[root@tracker1]# mkdir -p /home/tracker1/fastdfs
啟動tracker服務
[root@tracker1]# service fdfs_trackerd start
確認8080,22122埠已經監聽
[root@tracker1]# netstat -ntl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:45372 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN
tcp 0 0 :::111 :::* LISTEN
tcp 0 0 :::22 :::* LISTEN
tcp 0 0 :::45032 :::* LISTEN
4.在storage上的安裝配置
下載FastDFS,Nginx和fastdfs-nginx-mole
[root@storage1]# wget http://fastdfs.googlecode.com/files/FastDFS_v3.06.tar.gz
[root@storage1]# wget http://fastdfs.googlecode.com/files/fastdfs-nginx-mole_v1.10.tar.gz
[root@storage1]# wget http://nginx.org/download/nginx-1.0.11.tar.gz
安裝FastDFS =>安裝方法與tracker1上相同。
安裝nginx和fastdfs-nginx-mole
[root@storage1]# tar xvzf nginx-1.0.11.tar.gz
[root@storage1]# tar xvzf fastdfs-nginx-mole_v1.10.tar.gz
[root@storage1]# cd nginx-1.0.11
[root@storage1]# ./configure --prefix=/usr/local/nginx --add-mole=/home/fastdfs-nginx-mole/src
[root@storage1]# make
[root@storage1]# make install
[root@storage1]# vi /etc/fdfs/storage.conf
修改/etc/fdfs/storage.conf,主要修改以下幾處,如有其他調整,可參考文檔自行調整,默認的配置也可以工作。
# HTTP settings
# 關閉內置的web server
http.disabled=true
# the port of the web server on this storage server
# web server的埠改成80
http.server_port=80
# the name of the group this storage server belongs to
# 此台storage1所屬的伺服器組名,同組內storage數據完全相同
group_name=group1
# the base path to store data and log files
# 放置data和log的目錄
base_path=/home/storage1/fastdfs
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
# 放置文件的目錄
store_path0=/home/storage1/fastdfs
# tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
# tracker server的ip和埠,此處可以寫多個tracker server,每行一個
tracker_server=192.168.68.113:22122
tracker_server=192.168.68.116:22122
[root@storage1]# cp /home/fastdfs-nginx-mole/src/mod_fastdfs.conf /etc/fdfs/
[root@storage1]# vi /etc/fdfs/mod_fastdfs.conf
# the base path to store log files
# 放置log的目錄
base_path=/home/storage1/fastdfs
# FastDFS tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
# tracker1的ip和埠,此處可以寫多個tracker server,每行一個
tracker_server=192.168.68.113:22122
tracker_server=192.168.68.116:22122
# the group name of storage server
# 此台storage server所屬的伺服器組名
group_name=group1
# if uri including group name
# default value is false
# 在URL中包含group名稱
url_have_group_name = true
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
# 放置文件的目錄
store_path0=/home/storage1/fastdfs
[root@storage1]# mkdir -p /home/storage1/fastdfs
在nginx的server配置段中增加M00的location聲明
[root@storage1]# vi /usr/local/nginx/conf/nginx.conf
location /group1/M00 {
root /home/storage1/fastdfs/data;
ngx_fastdfs_mole;
}
創建M00目錄的軟連接
[root@storage1]# ln -s /home/storage1/fastdfs/data /home/storage1/fastdfs/data/M00
啟動storage服務
[root@storage1]# service fdfs_storaged start
啟動nginx,啟動之前,要確定fdfs_trackerd服務已啟動且相關防火牆埠已開放
[root@storage1]# /usr/local/nginx/sbin/nginx
確認80,23000埠已經監聽
[root@storage1]# netstat -ntl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:34169 0.0.0.0:* LISTEN
tcp 0 0 :::111 :::* LISTEN
tcp 0 0 :::22 :::* LISTEN
tcp 0 0 :::60001 :::* LISTEN
5.在tracker上的操作[作為client測試]
[root@tracker1]# /etc/fdfs/client.conf
# the base path to store log files
base_path=/tmp
# tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
tracker_server=192.168.68.113:22122
tracker_server=192.168.68.116:22122
創建一個用於測試的文件test.txt
[root@tracker1]# vi test.txt
輸入內容: hello,this is my first fastdfs test
保存。使用自帶的fdfs_test上傳文件測試
[root@tracker1]# /usr/local/bin/fdfs_test /etc/fdfs/client.conf upload test.txt
This is FastDFS client test program v3.06
Copyright (C) 2008, Happy Fish / YuQing
FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.
[2012-06-13 17:58:25] INFO - base_path=/tmp, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key
length=0
tracker_query_storage_store_list_without_group:
server 1. group_name=group1, ip_addr=192.168.68.114, port=23000
group_name=group1, ip_addr=192.168.68.114, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKhEck_YZEHqsZRSAAAAJdWuY6w607.txt
source ip address: 192.168.68.114
file timestamp=2012-06-13 17:58:25
file size=37
file crc32=3584975788
file url: http://192.168.68.113:8080/group1/M00/00/00/wKhEck_YZEHqsZRSAAAAJdWuY6w607.txt
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/wKhEck_YZEHqsZRSAAAAJdWuY6w607_big.txt
source ip address: 192.168.68.114
file timestamp=2012-06-13 17:58:25
file size=37
file crc32=3584975788
file url: http://192.168.68.113:8080/group1/M00/00/00/wKhEck_YZEHqsZRSAAAAJdWuY6w607_big.txt
6.使用瀏覽器打開上傳的文件
⑶ 怎麼設置win2012 server r2文件伺服器配置DFS
Windows Server 2012 R2供給非常豐富的新增和增強功用和特性,規模掩蓋伺服器虛擬化、存儲、軟體界說網路、伺服器辦理和自動化、Web和應用程序渠道、拜訪和信息保護、虛擬桌面根底結構等。win2012 server r2的文件伺服器高可用裝備能夠協助用戶在一台伺服器宕機的時分,另一台能夠持續團李為用戶服務。
1、首先裝置「DFS復制」與「DFS命名空間」,點擊「下一步」,斷定挑選內容項;
2、裝置完結,點擊「封閉」,點擊「工具塌談遲」挑選「DFS Management」;
3、右擊「命名空間」挑選「新建命名空間(N)...」,指定命名空間伺服器的核算機名,下一步,點擊「創立」;
4、如果在完成高可用一台DFS伺服器是不行的,這時分需求再增加一台伺服器,右擊新建的命侍胡名空間,點擊「增加命名空間伺服器(N)...」,經過編輯設置能夠設置許可權,點擊「斷定」
5、這時分咱們來拜訪一下同享一下,能夠正常拜訪,裝備成功。
⑷ 華碩路由的DFS功能幹什麼用
DFS是動態頻率選擇,避免同頻干擾用的,在同頻干擾過高時,能自動調整信道。目前華碩幾款明確支持DFS功能的是82U、86U、88U以及電競八爪魚AX11000,個人覺得這個功能還是有用的,拿WiFi魔盒一測2.4G信號一大堆,能不幹擾嗎~
⑸ 我們在哪種情況下用到DFS(分布式文件系統)了
DFS即分布式文件系統,主要用於解決把分散的共享資源集中管理的問題,DFS的基本概念是DFS根和DFS連接。
在大多數環境中,共享資源駐留在多台伺服器上的各個共享文件夾中。要訪問資源,用戶或程序必須將驅動器映射到共享資源的伺服器,或指定共享資源的通用命名約定 (UNC) 路徑。通過 DFS,一台伺服器上的某個共享點能夠作為駐留在其他伺服器上的共享資源的宿主。DFS 以透明方式鏈接文件伺服器和共享文件夾,然後將其映射到單個層次結構,以便可碰模簡以從一個位置對其進行訪問,而實際上數據卻分布在不同的位置。用戶不必再轉至網路上的多個位置以查找所需的信息,用戶在訪問此共享中的文件夾時將被重定向到包含共享資源的網路位置。這樣,用戶只需知道 DFS 根目錄共享即可訪問整個企業的共享資源。
另外解釋:
一、DFS為何物?
DFS即微軟分布式文件系統的簡稱,系統管理員笑褲可以利用它來有效的整合網路資源,並把這些資源以單一的層次結構呈現給網路用戶。管理員利用它可以把資源發布成一個樹形結構,這樣大大簡化了為用戶進行資源配置和對碼仔資源管理的工作量。我們可以在不同的機器上調整和移動文件,這不會影響到用戶的訪問。
二、為什麼要使用DES?
1、DFS使用了現有網路中的Share許可權,管理員不必進行新的配置
2、通過一個DFS樹形結構用戶就可以訪問多個網路資源,而不用再把遠程驅動器映射到本地共享資源中。
3、DFS可以配置一個資源的多個提供路徑,用戶對於最終資源的訪問是隨機的。若一個路徑提供的資源不能連接,DFS將定向到另一個提供者。這可以達到容錯和負載均衡的效果。
4、在伺服器故障或網路中斷時,我們可以將資源路徑重新定向的新的位置,而不會影響到用戶的訪問。
5、IIS可以和DFS配合發布資源
在以下情形下,您應該考慮實施 DFS:
訪問共享文件夾的用戶分布在一個站點的多個位置或多個站點上。
大多數用戶都需要訪問多個共享文件夾。
通過重新分布共享文件夾可以改善伺服器的負載平衡狀況。
用戶需要對共享文件夾的不間斷訪問。
您的組織中有供內部或外部使用的 Web 站點。
⑹ 安裝基於域的dfs的必要條件有哪幾點
安裝基於域的dfs的必要條件為:
1、安裝活動目錄的磁碟分區格式為NTFS,用戶需具櫻褲設備許可權,配置一個靜態IP地址。含帆
2、符合DNS規格的域名,在伺服器上安裝脊老簡DFS管理管理單元。
⑺ linux環境下安裝FastDFS配置詳解
項目中使用了FastDFS作為文件系統,這里記錄一下它的安裝和配置過程
由於是測試環境,所以只提供了一台伺服器,後續軟體的安裝和配置都在這台伺服器上完成
1、安裝fastdfs公共庫橘顫返libfastcommon,注意fastdfs和libfastcommon的安裝目錄,後面安裝fastdfs-nginx-mole時需要進行相關配置
2、安裝fastdfs
3、配置Tracker
注意一下存放數據和日誌的目錄,啟動後需要查看日誌信息
4、啟動Tracker
5、查看日誌
為了確保Tracker啟動成功,我們可以在剛在配置的日誌目錄中查看日誌信息
出現上述信息表示Tracker已啟動成功
6、遇到的問題
Tracker啟動後,如果改了Tracker的配置文件想要重新啟動,執行啟動命令後發現日誌中報錯
這是因為此時Tracker已經啟動了,再執行啟動命令就會報錯地址已被使用,此時可以執行restart命令進行重啟
或者
安裝步驟在上面Tracker的安裝中已經做好了,直接配置即可
1、配置Storage
注意tracker的地址配置是否正確,否則啟動時會報錯
2、啟動Storage
3、查看日誌
出現上述信息表示Storage已啟動成功
4、遇到的問題
Storage啟動後,如果改了Storage的配置文件想要重新啟動,執行啟動命令後發現日誌中報錯
這是因為此時Storage已經啟動了,再執行啟動命令就會報錯地址已被使用,此時可以執行restart命令進行重啟
或者
之前阿里雲ESC實例遷移,導致伺服器內網ip地址發生了改變,重啟Storage時日誌報錯
這是由於Storage配置文件中tracker_server的ip地址還是舊地址,所以會出現連接超時的問題,將配置文件中的地址改成新的地址重啟Storage
1、配置fastdfs-nginx-mole所需的配置文件,包括mod_fastdfs.conf,http.conf,mime.types
注意tracker_server地址,否則啟動後會報錯
2、安裝配置
注意CORE_INCS和CFLAGS兩項的配置
1、建立nginx用戶
2、安裝配置
3、更改nginx目錄許可權
4、配置文件nginx.conf
提供一個最簡單的配置方式供參考,由於項目中nginx還做了其他處理,配置洞宴文件比較復雜,這里就不貼出來了
5、啟動nginx
兩種方式
或者
使圓飢用過程中有其他問題多查看日誌報錯情況,或者查閱 Nginx 跳轉fastdfs存儲圖片地址報錯問題分析過程匯總 ,詳細原理講解和測試查閱下面的參考文檔
參考: 分布式文件系統FastDFS實踐
⑻ dfs業務開通時長
幾天到幾周不等。下面是幾個影響DFS業務開通時長的因素:
1、業務需求:DFS業務的開通時長會沖薯褲受到業務需求的影響。如果業務需求較為簡單,開通時長可能會比較短;如果業務需求較為復雜,需要多個部門的協作,開通時長可能會比較長。
2、系統規模:DFS業務的開通時長也會受到系統規模的影響。如果系統規模較小,開通時長可能會比較手纖短;如果系統規模較大,需要配置更多的硬體和軟體資源,開通時長可能會比較長。
3、技術難度:DFS業務的開通時長散簡也與技術難度有關。如果技術難度較低,開通時長可能會比較短;如果技術難度較高,需要解決更多的技術問題,開通時長可能會比較長。
⑼ dfs什麼時候需要在ad里配置site
分布式文件系統(DFS,Distributed File System)是文件服務非常重要的一個功能,DFS使用戶更加容易訪問和管理物理上跨網路分布的文件。
通過DFS,可以將同一網路中的不同計算機上的共享文件夾組織起來,形成一個單獨的、邏輯的、層次式的共享文件系統。
在文件服務中直接添加DFS分布式文件系統即可
打開伺服器管理可以看到文件服務多了DFS管理右鍵命名空間,可以打開新建命名空間向導來新建命名空間伺服器。
接著是命名空間的名字
系統默認會在C盤新建一個名為DFSRoots的共享文件夾,點擊編輯,可以手動設置共享文件夾的本地路徑和共享文件夾的訪問許可權
我們主要研究的是基於域環境的命名空間選擇第一項就可以了,
默認命名空間的類型是windows server 2000模式,如果啟用
windows server 2008模式的話可以支持基於訪問許可權的枚舉和增強可伸縮性
但是林功能級別必須windows server2003及以上並且域功能必須是windows server 2008
及以上才能夠支持這個功能的啟用。
點擊創建就可以,自動創建域命名空間了!
打開DFS管理變可以看到我們新建的命名伺服器了
可以手動添加伺服器上已經共享的文件夾統一到命名空間,手動分別在C盤和D盤手動創建
共享文件--測試、測試2,
然後在命名空間根域選擇新建文件夾,點擊添加,伺服器會自動顯示已經共享的文件夾供我們添加。
創建好以後可以看到我們的根域下面多了兩個命名空間
接著用客戶機打開根域,確定是可以訪問命名空間共享的,說明我們的創建是沒問題的。
這樣就備孫巧可以很方便的將零散的共凱拆享集合起來,方便用戶訪問!
關於DFS默認只有域管理組的可以管理,可以仿鍵手動指派用戶和組來管理,比如添加CC用戶。
最後說一下關於基於域的命名空間和獨立命名空間有什麼差別!
獨立命名空間存儲他們在主機伺服器注冊表中的配置信息。
基於域的命名空間存儲在活動目錄資料庫中的信息。
這個區別影響連接到DFS根的根目標數量。
獨立DFS根只能包含一個單一根目標,而基於域的DFS根只包含通過多個伺服器分離的多個根目標。
本文出自 「紫柒」 博客,請務必保留此出處
⑽ dfs.socket.timeout在哪兒配置
. DFSClient端
a)DFSOutputStream負責數據的接收和寫入,即通過DFSOutputSummer中的write方法(synchronized)獲得數據,而sync(主要代碼 synchronized(this))通過FlushBuffer建立packet後,通過enqueuePacket向dataQueue中寫入數據。
b)DFSOutputStream中的DataStreamer(Daemon線程),負責向DataNode發送州寬數據,每次發送前會檢查dataQueue中是否有數據,沒有就等待。
c)DataStreamer建立pipeline傳輸數據時,對這個pipeline會起一個ResponseProcessor(Thread)去獲得DataNode的反饋ack,並判斷是否有錯誤、進行recoverBlock等
2. DataNode端
a)在每個packet傳輸過程中,根據建立數據傳輸的pipleLine,上游依次向下游發送數據,下游依次向上游發送ack。
b)pipeline的最後一個節點(numTarget=0),PacketResponder 會一直運行lastDatanodeRun?方法,這個方法會兄孝在ack發送完畢(ackQueue.size()=0)後約1/2個dfs.socket.timeout?時刻發送心跳包,沿著pipeline發送給client。
3. HBase端
HBase端通過hlog中的writer向hdfs寫數據,每次有數據寫入,都會sync。同時,HLog中有個logSyncer,默認配置是每秒鍾調用一次sync,不管有沒有數據寫入。
這個問題首先是由於超時引起的,我們先分析一下超時前後DFSClient和DataNode上發生了什麼。
1. 問題重現
a)客戶端ResponseProcessor報69秒socket超時,出錯點在PipelineAck.readFields()。出錯冊塵亮後直接catch,標記hasError=true,closed=true。這個線程不會停止。
b)DataStreamer在輪詢中調用processDatanodeError對hasError=true進行處理。此時errorIndex=0(默認值),首先會拋出Recovery for Block的