echo "5000 65000" > /proc/sys/net/ipv4/ip_local_port_range

• 連接1：192.168.1.101 5000 192.168.1.100 8090
• 連接2：192.168.1.101 5001 192.168.1.100 8090
• 連接N：192.168.1.101 ...  192.168.1.100 8090
• 連接6W：192.168.1.101 65000 192.168.1.100 8090
  

//修改整個(gè)系統(tǒng)能打開的文件描述符為20W echo 200000 > /proc/sys/fs/file-max
//修改所有用戶每個(gè)進(jìn)程可打開文件描述符為20W #vi /etc/sysctl.conf fs.nr_open=210000 #sysctl -p #vi /etc/security/limits.conf *  soft  nofile  200000
*  hard  nofile  200000

注意: limits中的hard limit不能超過nr_open, 所以要先改nr_open。而且最好是在sysctl.conf中改。避免重啟的時(shí)候 hard limit生效了，nr_open不生效導(dǎo)致啟動(dòng)問題。

“socket中有一個(gè)主要的數(shù)據(jù)結(jié)構(gòu)sock_common，在它里面有兩個(gè)聯(lián)合體?！?/span>

// file: include/net/sock.h struct sock_common { union {
  __addrpair skc_addrpair; //TCP連接IP對兒  struct { __be32 skc_daddr;
   __be32 skc_rcv_saddr;
  };
 }; union {
  __portpair skc_portpair; //TCP連接端口對兒 struct { __be16 skc_dport;
   __u16 skc_num;
  };
 };
 ......
}

“其中skc_addrpair記錄的是TCP連接里的IP對兒，skc_portpair記錄的是端口對兒?！?/span>

“在網(wǎng)絡(luò)包到達(dá)網(wǎng)卡之后，依次經(jīng)歷DMA、硬中斷、軟中斷等處理，最后被送到socket的接收隊(duì)列中了。”

“對于TCP協(xié)議來說，協(xié)議處理的入口函數(shù)是tcp_v4_rcv。我們看一下它的代碼”

// file: net/ipv4/tcp_ipv4.c int tcp_v4_rcv(struct sk_buff *skb) {
 ......
 th = tcp_hdr(skb); //獲取tcp header iph = ip_hdr(skb); //獲取ip header sk = __inet_lookup_skb(&tcp_hashinfo, skb, th->source, th->dest);
 ......
}

// file: include/net/inet_hashtables.h static inline struct sock *__inet_lookup(struct net *net, struct inet_hashinfo *hashinfo, const __be32 saddr, const __be16 sport, const __be32 daddr, const __be16 dport, const int dif)
{ u16 hnum = ntohs(dport); struct sock *sk = __inet_lookup_established(net, hashinfo, saddr, sport, daddr, hnum, dif); return sk ? : __inet_lookup_listener(net, hashinfo, saddr, sport,
          daddr, hnum, dif);
}

“先判斷有沒有連接狀態(tài)的socket，這會(huì)走到__inet_lookup_established函數(shù)中”

struct sock *__inet_lookup_established(struct net *net, struct inet_hashinfo *hashinfo, const __be32 saddr, const __be16 sport, const __be32 daddr, const u16 hnum, const int dif)
{ //將源端口、目的端口拼成一個(gè)32位int整數(shù) const __portpair ports = INET_COMBINED_PORTS(sport, hnum); 
 ...... //內(nèi)核用hash的方法加速socket的查找 unsigned int hash = inet_ehashfn(net, daddr, hnum, saddr, sport); unsigned int slot = hash & hashinfo->ehash_mask; struct inet_ehash_bucket *head = &hashinfo->ehash[slot]; begin: //遍歷鏈表，逐個(gè)對比直到找到 sk_nulls_for_each_rcu(sk, node, &head->chain) { if (sk->sk_hash != hash) continue; if (likely(INET_MATCH(sk, net, acookie,
          saddr, daddr, ports, dif))) { if (unlikely(!atomic_inc_not_zero(&sk->sk_refcnt))) goto begintw; if (unlikely(!INET_MATCH(sk, net, acookie,
       saddr, daddr, ports, dif))) {
    sock_put(sk); goto begin;
   } goto out;
  }
 }
}

// include/net/inet_hashtables.h #define INET_MATCH(__sk, __net, __cookie, __saddr, __daddr, __ports, __dif) \
 ((inet_sk(__sk)->inet_portpair == (__ports)) &&  \
  (inet_sk(__sk)->inet_daddr == (__saddr)) &&  \
  (inet_sk(__sk)->inet_rcv_saddr == (__daddr)) &&  \
  (!(__sk)->sk_bound_dev_if ||    \
    ((__sk)->sk_bound_dev_if == (__dif)))  &&  \
  net_eq(sock_net(__sk), (__net))) 

“在INET_MATCH中將網(wǎng)絡(luò)包tcp header中的__saddr、__daddr、__ports和Linux中的socket中inet_portpair、inet_daddr、inet_rcv_saddr進(jìn)行對比。如果匹配socket就找到了。當(dāng)然除了ip和端口，INET_MATCH還比較了其它一些東東，所以TCP還有五元組、七元組之類的說法?！?/span>

# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.2 (Santiago) # ss -ant | grep ESTAB |wc -l 1000013 # cat /proc/meminfo MemTotal:        3925408 kB
MemFree:           97748 kB
Buffers:           35412 kB
Cached:           119600 kB
......
Slab:            3241528 kB

總結(jié)

客戶端每建立一個(gè)連接就要消耗一個(gè)端口，所以很多同學(xué)當(dāng)看到客戶端機(jī)器上連接數(shù)一旦超過3W、5W就緊張的不行，總覺得機(jī)器要出問題了。

這篇文章的第一版也是很早就寫出來了，不過飛哥又打磨了好長時(shí)間才算滿意。在文中我們展示了一下 TCP socket的部分內(nèi)核代碼。通過源碼來看：

TCP連接就是在客戶機(jī)、服務(wù)器上的一對兒的socket。它們都在各自內(nèi)核對象上記錄了雙方的ip對兒、端口對兒（也就是我們常說的四元組），通過這個(gè)在通信時(shí)找到對方。

TCP連接發(fā)送方在發(fā)送網(wǎng)絡(luò)包的時(shí)候，會(huì)把這份信息復(fù)制到IP Header上。網(wǎng)絡(luò)包帶著這份信物穿過互聯(lián)網(wǎng)，到達(dá)目的服務(wù)器。目的服務(wù)器內(nèi)核會(huì)按照 IP 包 header 中攜帶的信物（四元組）去匹配找到正確的socket(連接)。

在這個(gè)過程里我們可以看到，客戶端的端口只是這個(gè)四元組里的一元而已。哪怕兩條連接用的是同一個(gè)端口號，只要客戶端ip不一樣，或者是服務(wù)器不一樣都不影響內(nèi)核正確尋找到對應(yīng)的連接，而不會(huì)串線！

所以在客戶端增加TCP最大并發(fā)能力有兩個(gè)方法。第一個(gè)辦法，為客戶端配置多個(gè)ip。第二個(gè)辦法，連接多個(gè)不同的server。

不過這兩個(gè)辦法最好不要混用。因?yàn)槭褂枚?IP 時(shí)，客戶端需要bind。一旦bind之后，內(nèi)核建立連接的時(shí)候就不會(huì)選擇用過的端口了。bind函數(shù)會(huì)改變內(nèi)核選擇端口的策略~~

最后我們親手實(shí)驗(yàn)證明了客戶端也可以突破百萬的并發(fā)量級。相信讀過此文的你，以后再也不用再懼怕65535這個(gè)數(shù)字了。