『壹』 web應用並發量怎麼處理
大數據並發處理解決方案:
1、HTML靜態化
效率最高、消耗最小的就是純靜態化的html頁面,所以盡可能使網站上的頁面採用靜態頁面來實現,這個最簡單的方法其實也是最有效的方法。但是對於大量內容並且頻繁更新的網站,無法全部手動去挨個實現,於是出現了常見的信息發布系統CMS,像常訪問的各個門戶站點的新聞頻道,甚至他們的其他頻道,都是通過信息發布系統來管理和實現的,信息發布系統可以實現最簡單的信息錄入自動生成靜態頁面,還能具備頻道管理、許可權管理、自動抓取等功能,對於一個大型網站來說,擁有一套高效、可管理的CMS是必不可少的。
2、圖片伺服器分離
對於Web伺服器來說,不管是Apache、IIS還是其他容器,圖片是最消耗資源的,於是有必要將圖片與頁面進行分離,這是基本上大型網站都會採用的策略,他們都有獨立的圖片伺服器,甚至很多台圖片伺服器。這樣的架構可以降低提供頁面訪問請求的伺服器系統壓力,並且可以保證系統不會因為圖片問題而崩潰,在應用伺服器和圖片伺服器上,可以進行不同的配置優化,比如apache在配置ContentType的時候可以盡量少支持,盡可能少的LoadMole,保證更高的系統消耗和執行效率。 這一實現起來是比較容易的一現,如果伺服器集群操作起來更方便,如果是獨立的伺服器,新手可能出現上傳圖片只能在伺服器本地的情況下,可以在令一台伺服器設置的IIS採用網路路徑來實現圖片伺服器,即不用改變程序,又能提高性能,但對於伺服器本身的IO處理性能是沒有任何的改變。
3、資料庫集群和庫表散列
大型網站都有復雜的應用,這些應用必須使用資料庫,那麼在面對大量訪問的時候,資料庫的瓶頸很快就能顯現出來,這時一台資料庫將很快無法滿足應用,於是需要使用資料庫集群或者庫表散列。
4、緩存
緩存一詞搞技術的都接觸過,很多地方用到緩存。網站架構和網站開發中的緩存也是非常重要。架構方面的緩存,對Apache比較熟悉的人都能知道Apache提供了自己的緩存模塊,也可以使用外加的Squid模塊進行緩存,這兩種方式均可以有效的提高Apache的訪問響應能力。
網站程序開發方面的緩存,Linux上提供的Memory Cache是常用的緩存介面,可以在web開發中使用,比如用Java開發的時候就可以調用MemoryCache對一些數據進行緩存和通訊共享,一些大型社區使用了這樣的架構。另外,在使用web語言開發的時候,各種語言基本都有自己的緩存模塊和方法,PHP有Pear的Cache模塊,Java就更多了,.net不是很熟悉,相信也肯定有。
5、鏡像
鏡像是大型網站常採用的提高性能和數據安全性的方式,鏡像的技術可以解決不同網路接入商和地域帶來的用戶訪問速度差異,比如ChinaNet和ENet之間的差異就促使了很多網站在教育網內搭建鏡像站點,數據進行定時更新或者實時更新。在鏡像的細節技術方面,這里不闡述太深,有很多專業的現成的解決架構和產品可選。也有廉價的通過軟體實現的思路,比如Linux上的rsync等工具。
『貳』 如何測試web伺服器的最大並發數
1、查看Web伺服器(Nginx Apache)的並發請求數及其TCP連接狀態: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'netstat -n|grep ^tcp|awk '{print $NF}'|sort -nr|uniq -c 或者:netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"t",state[key]}'返回結果一般如下: LAST_ACK 5 (正在等待處理的請求數)SYN_RECV 30ESTABLISHED 1597 (正常數據傳輸狀態)FIN_WAIT1 51FIN_WAIT2 504TIME_WAIT 1057 (處理完畢,等待超時結束的請求數) 其他參數說明: CLOSED:無連接是活動的或正在進行LISTEN:伺服器在等待進入呼叫SYN_RECV:一個連接請求已經到達,等待確認SYN_SENT:應用已經開始,打開一個連接ESTABLISHED:正常數據傳輸狀態FIN_WAIT1:應用說它已經完成FIN_WAIT2:另一邊已同意釋放ITMED_WAIT:等待所有分組死掉CLOSING:兩邊同時嘗試關閉TIME_WAIT:另一邊已初始化一個釋放LAST_ACK:等待所有分組死掉 2、查看Nginx運行進程數ps -ef | grep nginx | wc -l返回的數字就是nginx的運行進程數,如果是apache則執行ps -ef | grep httpd | wc -l 3、查看Web伺服器進程連接數:netstat -antp | grep 80 | grep ESTABLISHED -c 4、查看Mysql進程連接數:ps -axef | grep mysqld -c
『叄』 影響web伺服器請求並發數量的因素
影響web伺服器請求並發數量的因素
只討論一台伺服器的話,3650雙路加4G內存支持到5萬並發是容易達到的,即使針對業務流比較復雜的情況,也能滿足很大程度的需要。
但是考慮到存儲子系統,比如4塊sas硬碟raid0,可能只能達到5000數量級的並發請求。如果是以另外的光纖盤陣來支持存儲則可以顯著提高硬碟傳輸帶寬的性能。
最後還要考慮到你的網路帶寬,對大多數網站來說,通常這才是最大的瓶頸所在。也就是說即使你的cpu、內存、硬碟都沒問題,也會因為租用的網路帶寬限制而影響最大的並發數。
『肆』 javaWeb如何提高並發數
對Collection、Map介面的類對象初始化時要先分配合理的空間大小,同時還要按照自已的實際需求選擇合適的對象。
2.優化循環體
循環是比較重復運行的地方,如果循環次數很大,循環體內不好的代碼對效率的影響就會被放大而變的突出。
3.少用new初始化一個實例
盡量少用new來初始化一個類的實例,當一個對象是用new進行初始化時,其構造函數鏈的所有構造函數都被調用到,所以new操作符是很消耗系統資源的,new一個對象耗時往往是局部變數賦值耗時的上千倍。同時,當生成對象後,系統還要花時間進行垃圾回收和處理。當new創建對象不可避免時,注意避免多次的使用new初始化一個對象。盡量在使用時再創建該對象,另外,應該盡量重復使用一個對象,而不是聲明新的同類對象。一個重用對象的方法是改變對象的值,如可以通過setValue之類的方法改變對象的變數達到重用的目的。
4 .選擇合適的方法調用:
在Java中,一切都是對象,如果有方法(Method)調用,處理器先要檢查該方法是屬於哪個對象,該對象是否有效,對象屬於什麼類型,然後選擇合適的方法並調用。可以減少方法的調用,不影響可讀性等情況下,可以把幾個小的方法合成一個大的方法。另外,在方法前加上final,private關鍵字有利於編譯器的優化。
5.異常處理技巧
異常是Java的一種錯誤處理機制,對程序來說是非常有用的,但是異常對性能不利。拋出異常首先要創建一個新的對象,並進行相關的處理,造成系統的開銷,所以異常應該用在錯誤處理的情況,不應該用來控製程序流程,流程盡量用while,if等處理。在不是很影響代碼健壯性的前提下,可以把幾個try/catch塊合成一個。
6 .盡量使用局部變數
盡量使用局部變數,調用方法時傳遞的參數以及在調用中創建的臨時變數都保存在棧(Stack) 中,速度較快。其他變數,如靜態變數、實例變數等,都在堆(Heap)中創建,速度較慢。
7.同步處理技巧
同步主要出現在多線程的情況,為多線程同時運行時提供對象數據安全的機制,多線程是比較復雜話題,應用多線程也是為了獲得性能的提升,應該盡可能減少同步。
另外,如果需要同步的地方,可以減少同步的代碼段,如只同步某個方法或函數,而不是整個代碼。
8 .盡可能的使用Java自身提供的API
Java的API一般都做了性能的考慮,如果完成相同的功能,優先使用API而不是自己寫的代碼,如數組復制。
9 .盡量減少I/O操作
輸入/輸出(I/O)包括很多方面,我們知道,進行I/O操作是很消耗系統資源的。程序中應該盡量少用I/O操作。使用時可以注意: . 合理控制輸出函數System.out.println()對於大多時候是有用的,特別是系統調試的時候,但也會產生大量的信息出現在控制台和日誌上,同時輸出時,有序列化和同步的過程,造成了開銷。
特別是在發行版中,要合理的控制輸出,可以在項目開發時,設計好一個Debug的工具類,在該類中可以實現輸出開關,輸出的級別,根據不同的情況進行不同的輸出的控制。
10 .盡量使用緩存
讀寫內存要比讀寫硬碟上的文件要快很多,應盡可能使用緩沖,以便直接從內存中讀取數據。盡可能使用帶有Buffer的類代替沒有Buffer的類,如可以用BufferedReader 代替Reader,用BufferedWriter代替Writer來進行處理I/O操作。
同樣可以用BufferedInputStream代替InputStream都可以獲得性能的提高
11 .盡量不使用同步:
Servlet是多線程的,以處理不同的請求,基於前面同步的分析,如果有太多的同步就失去了多線程的優勢了。
12.不用保存太多的信息在HttpSession中
很多時候,存儲一些對象在HttpSession中是有必要的,可以加快系統的開發,如網上商店系統會把購物車信息保存在該用戶的Session中,但當存儲大量的信息或是大的對象在會話中時,是有害的,特別是當系統中用戶的訪問量很大,對內存的需求就會很高。具體開發時,在這兩者之間應作好權衡。
13.清除SESSION:
通常情況,當達到設定的超時時間時,同時有些Session沒有了活動,伺服器會釋放這些沒有活動的Session,.. 不過這種情況下,特別是多用戶並訪時,系統內存要維護多個的無效Session。當用戶退出時,應該手動釋放,回收資源,實現如下:..
HttpSession theSession = request.getSession();
// 獲取當前Session
if(theSession != null){
theSession.invalidate(); // 使該Session失效
}
14 .緩存Home介面
EJB庫使用Enterprise Bean 的客戶端通過它的Home介面創建它的實例。客戶端能通過JNDI訪問它。伺服器通過Lookup方法來獲取。
JNDI是個遠程對象,通過RMI方式調用,對它的訪問往往是比較費時的。所以,在設計時可以設計一個類專門用來緩存Home介面,在系統初始化時就獲得需要的Home介面並緩存,以後的引用只要引用緩存即可。
15 .使用快速度的Jdbc驅動
JDBC API包括兩種實現介面形式,一種是純Java實現的驅動,一種利用ODBC驅動和資料庫客戶端實現,具體有四種驅動模式:
第一類:JDBC-ODBC橋,再加上ODBC驅動程序。
JDBC驅動程序是JDBC-ODBC橋再加上一個ODBC驅動程序。建議第一類驅動程序只用於原型開發,而不要用於正式的運行環境。橋接驅動程序由Sun提供,它的目標是支持傳統的資料庫系統。Sun為該軟體提供關鍵問題的補丁,但不為該軟體的最終用戶提供支持。一般地,橋接驅動程序用於已經在ODBC技術上投資的情形,例如已經投資了Windows應用伺服器。
盡管Sun提供了JDBC-ODBC橋接驅動程序,但由於ODBC會在客戶端裝載二進制代碼和資料庫客戶端代碼,這種技術不適用於高事務性的環境。另外,第一類JDBC驅動程序不支持完整的Java命令集,而是局限於ODBC驅動程序的功能,這種驅動方式也叫胖客戶,主要用於低並發請求,大數據量傳輸的應用。
第二類:本機API,部分是Java的驅動程序。
JDBC驅動程序是本機API的部分Java代碼的驅動程序,用於把JDBC調用轉換成主流資料庫API的本機調用。這類驅動程序也存在與第一類驅動程序一樣的性能問題,即客戶端載入二進制代碼的問題,而且它們被綁定了特定的平台。
第二類驅動程序要求編寫面向特定平台的代碼,主流的資料庫廠商,例如Oracle和IBM,都為它們的企業資料庫平台提供了第二類驅動程序,使用這些驅動程序的開發者必須及時跟進不同資料庫廠商針對不同操作系統發行的各個驅動程序版本。
另外,由於第二類驅動程序沒有使用純Java的API,把Java應用連接到數據源時,往往必須執行一些額外的配置工作。很多時候,第二類驅動程序不能在體系結構上與大型主機的數據源兼容;即使做到了兼容,效果也是比較差。
第三類:面向資料庫中間件的純Java驅動程序。
JDBC驅動程序是面向資料庫中間件的純Java驅動程序,JDBC調用被轉換成一種中間件廠商的協議,中間件再把這些調用轉換到資料庫API。第三類JDBC驅動程序的優點是它以伺服器為基礎,也就是不再需要客戶端的本機代碼,這使第三類驅動程序要比第一、二兩類快。另外,開發者還可以利用單一的驅動程序連接到多種資料庫。
第四類:直接面向資料庫的純Java驅動程序。
JDBC驅動程序是直接面向資料庫的純Java驅動程序,即所謂的「瘦」(thin)驅動程序,它把JDBC調用轉換成某種直接可被DBMS使用的網路協議,這樣,客戶機和應用伺服器可以直接調用DBMS伺服器。對於第四類驅動程序,不同DBMS的驅動程序不同。因此,在一個異構計算環境中,驅動程序的數量可能會比較多。但是,由於第四類驅動程序具有較高的性能,能夠直接訪問DBMS,所以這一問題就不那麼突出了, 這種驅動方式,主要用於高並發,低數據量請求的應用中。
16.使用Jdbc鏈接池
為了提高訪問資料庫的性能,我們還可以使用JDBC 2.0的一些規范和特性,JDBC是佔用資源的,在使用資料庫連接時可以使用連接池Connection Pooling,避免頻繁打開、關閉Connection。而我們知道,獲取Connection是比較消耗系統資源的。
Connection緩沖池:當一個應用程序關閉一個資料庫連接時,這個連接並不真正釋放而是被循環利用,建立連接是消耗較大的操作,循環利用連接可以顯著的提高性能,因為可以減少新連接的建立。
一個通過DataSource獲取緩沖池獲得連接,並連接到一個CustomerDB數據源的代碼演示如下:
Context ctx = new InitialContext();
DataSource dataSource = (DataSource) ctx.lookup(「jdbc/CustomerDB」);
Connection conn = dataSource.getConnection(「password」,」username」);
17.緩存DataSorce
一個DataSource對象代表一個實際的數據源。這個數據源可以是從關系資料庫到表格形式的文件,完全依賴於它是怎樣實現的,一個數據源對象注冊到JNDI名字服務後,應用程序就可以從JNDI伺服器上取得該對象,並使用之和數據源建立連接。
通過上面的例子,我們知道DataSource是從連接池獲得連接的一種方式,通過JNDI方式獲得,是佔用資源的。
為了避免再次的JNDI調用,可以系統中緩存要使用的DataSource。
18.即時關閉使用過的資源
互聯網應用系統一般是並發的系統,在每次申請和使用完資源後,應該釋放供別人使用,使用完成後應該保證徹底的釋放。
19 .架構選型
CoreMediaCMS將整個應用分成四成架構,每一層都可以獨立於其他層而正常運行,每一層都可以分布式布署,極大的提高了應用系統的穩定性、可擴展性、支持高並發的要求,每一次之前通過中間件Corba進行穩定的傳輸數據。
20 .開發框架的選型
充分利用開源框架,可以大大提高開發效率。很多初級開發者,都採用DB JavaBean JSP這種初級的開發模式,而現在主要使用Struts、Spring等MVC開發框架。
常用開發框架構選型有:
Struts、Spring、Webwork等。
天極傳媒選擇的開發框架是:Struts Spring iBatis,在這個開發框架里,充分利用了Struts、Spring各自己的優點,可以選擇StutsMVC,也可以選擇Spring MVC。
21.分級存儲
1)資料庫數據分級存儲:
將經常訪問的數據和訪問頻度低的數據,分別存放到不同的分區,甚至存放到不同的資料庫伺服器,以便合進分配硬碟I/O及系統I/O。
2)網站內容發布之後,分級存儲:
任何一個大型的網站,一般都有海量的內容,為了提高訪問效率,應搭建分級存儲體系,根據應用的重要性和訪問並發要求,將這些內容分級存儲,同時將靜態內容中的靜態頁面文件、圖片文件、下載文件分不同的Web伺服器訪問,降低I/O爭用,提高訪問效率,同時讓數據存儲、管理、備份更加清晰。
22 .頁面靜態化
一個大型網站,既有靜態內容,也有動態內容。靜態內容,直接通過Apache或者Squid訪問,效率高,穩定可靠,更多的是受伺服器等硬體設備的I/O吞吐量、網路環境及頁面代碼本身質量限制,不受應用系統及資料庫性能限制,這些內容往往訪問速度和效率不會有較大的問題。
而動態內容,除了受硬體設備I/O、操作系統I/O及內容、網路環境及頁面代碼的影響,還要受應用伺服器和資料庫性能影響,因此,這部份內容,要盡可能作靜態化或者偽靜態,並採用緩存技術,將其緩存,以減少對應用伺服器和資料庫伺服器的操作次數,提高用戶訪問效率和穩定性。
23.緩存策略
對於構建的業務系統,如果有些數據要經常要從資料庫中讀取,同時,這些數據又不經常變化,這些數據就可以在系統中緩存起來,使用時直接讀取緩存,而不用頻繁的訪問資料庫讀取數據。
緩存工作可以在系統初始化時一次性讀取數據,特別是一些只讀的數據,當數據更新時更新資料庫內容,同時更新緩存的數據值。
例如:在CMS2005系統中,我們將很少發生變化的網站節點樹數據,緩存在客戶端,當用戶登錄時,一次性讀入到客戶端緩存起來,以後編輯在使用時,不用再從資料庫中讀取,大大提高了應用系統的訪問速度。
當然,也可以將資料庫中重復訪問的數據緩存在應用伺服器內存中,減少對資料庫的訪問次數,Java常用的緩存技術產品有:MemoryCache、OSCache等。
『伍』 WebService 能承受多大的並發量
webservice是最臃腫、最慢、最容易出故障的。但是它省去了程序員序列化、反序列化這三個步驟的3、4條語句,所以它是和初學者使用。在十幾年來,如果是大型的系統(比如說電信公司傳統的數據同步系統)內部,並不需要webserive早期的大公司為了電子商務而定立的那些所謂「功能目標」(實際上經過這10幾年,這些目標基本上已經沒人在乎了),會直接使用 http 的GET、POST 方式來傳送數據、訪問服務,自己寫那3、4代碼來進行反序列化代碼,而不是因為僅僅不會寫這3、4行代碼就要使用一個webservice。
『陸』 並發50用戶的web應用,帶寬需要多少
這個不能只是根據並發量去核算,也要看web應用裡面的一些情況,圖片、文字的多少,有沒有視頻和一些其他的功能,需要根據web應用的詳細情況去確定核算的。並且各個伺服器配置支持的並發連接數是不同的,如果只是簡單的靜態宣傳頁面,50個並發,虛擬主機就夠用了,是共享帶寬,使用獨立雲伺服器的話,3-5M帶寬都可以的。
『柒』 linux 運維 中小企業web架構的 並發量一般是多少
一般中小企業真正給人用的產品的web架構都是後端apache前端nginx擋著,這樣更省資源並且並發也能最大,一般前端nginx服務都在1萬4連接/台左右,不過近年來都上cdn了,這個數字以後我就沒有詳細看過。
『捌』 現在主流的web伺服器的並發連接數是多少
IIS 默認4294967295
apache 默認256
『玖』 web項目的最多用戶數和並發數
不是的,這個問題不應該歸類到前端問題,用戶登錄數和並發數取決於系統的架構,做分布式、多中心,nginx負載均衡,都可以,並且多核計算機性能高,2000絕不是瓶頸,所以你這個問題問的很不專業噢!如果按你這個理論,估計淘寶就不存在了,是吧!
『拾』 怎麼評估web系統的並發量
你可以使用loadrunner進行測試,然後進行分析數據,測出最大並發數。