TCP客户/服务器程序示例
系列文章导航:《Unix 网络编程》笔记
目标
ECHO-Application 结构如下:
除此之外,还有:
- Client 和 Server 启动时发生什么
- Client 正常终止时发生什么
- Server 先意外终止会发生什么
程序代码
服务端
#include "unp.h" int main(int argc, char **argv) { int listenfd, connfd; pid_t childpid; socklen_t clilen; struct sockaddr_in cliaddr, servaddr; // 创建 Socket listenfd = Socket(AF_INET, SOCK_STREAM, 0); // 初始化连接参数 bzero(&servaddr, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_addr.s_addr = htonl(INADDR_ANY); servaddr.sin_port = htons(SERV_PORT); // 绑定 Bind(listenfd, (SA *)&servaddr, sizeof(servaddr)); // 开始监听 Listen(listenfd, LISTENQ); for (;;) { clilen = sizeof(cliaddr); // 服务器阻塞, 等待请求 connfd = Accept(listenfd, (SA *)&cliaddr, &clilen); if ((childpid = Fork()) == 0) { /* child process */ Close(listenfd); /* close listening socket */ str_echo(connfd); /* process the request */ exit(0); } Close(connfd); /* parent closes connected socket */ } }
#include "unp.h" void str_echo(int sockfd) { ssize_t n; char buf[MAXLINE]; again: while ((n = read(sockfd, buf, MAXLINE)) > 0) Writen(sockfd, buf, n); if (n < 0 && errno == EINTR) goto again; else if (n < 0) err_sys("str_echo: read error"); }
客户端
#include "unp.h" int main(int argc, char **argv) { int sockfd; struct sockaddr_in servaddr; if (argc != 2) err_quit("usage: tcpcli <IPaddress>"); sockfd = Socket(AF_INET, SOCK_STREAM, 0); bzero(&servaddr, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons(SERV_PORT); Inet_pton(AF_INET, argv[1], &servaddr.sin_addr); Connect(sockfd, (SA *) &servaddr, sizeof(servaddr)); str_cli(stdin, sockfd); /* do it all */ exit(0); }
#include "unp.h" void str_cli(FILE *fp, int sockfd) { char sendline[MAXLINE], recvline[MAXLINE]; while (Fgets(sendline, MAXLINE, fp) != NULL) { Writen(sockfd, sendline, strlen(sendline)); if (Readline(sockfd, recvline, MAXLINE) == 0) err_quit("str_cli: server terminated prematurely"); Fputs(recvline, stdout); } }
正常情况
当我们把服务器和客户端都启动后,可以通过命令查看网络的情况:
[root@centos-5610 Unix_Network]# netstat -a | grep 9877 tcp 0 0 0.0.0.0:9877 0.0.0.0:* LISTEN tcp 0 0 localhost:9877 localhost:38160 ESTABLISHED tcp 0 0 localhost:38160 localhost:9877 ESTABLISHED
- 第一个是服务器的父进程,状态为 LISTEN,监听范围和可接受范围如上所示
- 第二个是客户端进程
- 第三个是服务器的子进程,为客户端提供具体的服务
连接的正常断开
我们在客户端输入 EOF (Ctrl + D),之后会发生一系列事情:
(上述如套接字的操作其实是在内核完成的,这里为了简便所以标在了对应的线程上)
如下,可以看到客户端的 TIME_WAIT 状态持续了一段时间
[root@centos-5610 Unix_Network]# netstat -a | grep 9877 tcp 0 0 0.0.0.0:9877 0.0.0.0:* LISTEN tcp 0 0 localhost:38160 localhost:9877 TIME_WAIT [root@centos-5610 Unix_Network]# netstat -a | grep 9877 tcp 0 0 0.0.0.0:9877 0.0.0.0:* LISTEN
POSIX信号处理
僵死进程
背景
在上述程序中,其实子进程结束后,会向父进程发送一个 SIGCHLD
信号,我们这里没有捕捉,默认行为为被忽略。
既然父进程未加处理,子进程于是进入僵死状态,如下状态 Z 所示:
[root@centos-5610 Unix_Network]# ps -t pts/0 -o pid,ppid,stat,tty,args,wchan PID PPID STAT TT COMMAND WCHAN 2008 1771 S pts/0 ./tcpserv01 inet_csk_accept 2382 2008 Z pts/0 [tcpserv01] <defunct> do_exit
或如下所示:
[root@centos-5610 tcpcliserv]# ps PID TTY TIME CMD 1771 pts/0 00:00:00 bash 2008 pts/0 00:00:00 tcpserv01 2382 pts/0 00:00:00 tcpserv01 <defunct> 2555 pts/0 00:00:00 tcpserv01 <defunct> 2654 pts/0 00:00:00 tcpserv01 <defunct> 2886 pts/0 00:00:00 tcpserv01 <defunct> 3238 pts/0 00:00:00 tcpserv01 <defunct> 6685 pts/0 00:00:00 ps
为什么会有僵死进程
设置僵死的目的是维护子进程的信息,以便父进程在以后某个时候获取这些信息(包括进程 ID、终止状态、资源利用情况)
父进程终止了,还有人管这些僵死进程吗
如果父进程也终止了,而其有处于僵死状态的子进程,那么子进程的父进程会被设置为 1(init 进程的 ID),init 进程会清理他们(wait,后续讲解)
僵死进程的坏处
他们占用内核的空间,最终可能导致我们耗尽处理资源,所以我们必须处理僵死进程。
信号基础
信号就是告知某个进程发生了某个事件的通知,有时也称为软件中断。
信号的来源
- 一个进程发送给另一个进程(或自身)
- 由内核发给某个进程
信号的处理
通过调用 sigaction
函数设定一个信号的处理,并有三种选择:
- 设置一个信号处理函数。SIGKILL 和 SIGSTOP 不能被捕获
- 设定为
SIG_IGN
来忽略它。同样,上述两个信号不能被忽略 - 设定为
SIG_DFL
来启用他的默认处置。默认处置通常是终止进程
signal
sigaction 函数太过于复杂,所以一般我们会调用 signal 函数。
但是 signal 函数由于历史和标准的原因在不同的系统上实现不一致,所以我们实现自己的 signal 方法。其签名如下:
void (*signal(int signo, void (*func)(int)))(int);
我们会做一些处理,简化其表示:
typedef void Sigfunc(int); Sigfunc *signal(int signo, Sigfunc * func);
signal 函数如下:
#include "unp.h" Sigfunc *signal(int signo, Sigfunc *func) { struct sigaction act, oact; act.sa_handler = func; sigemptyset(&act.sa_mask); act.sa_flags = 0; if (signo == SIGALRM) { #ifdef SA_INTERRUPT act.sa_flags |= SA_INTERRUPT; /* SunOS 4.x */ #endif } else { #ifdef SA_RESTART act.sa_flags |= SA_RESTART; /* SVR4, 44BSD */ #endif } if (sigaction(signo, &act, &oact) < 0) return (SIG_ERR); return (oact.sa_handler); }
处理 SIGCHLD 信号
建立一个俘获 SIGCHLD 信号的信号处理函数,在函数体中调用 wait(后面会提到):
void sig_chld(int signo) { pid_t pid; int stat; pid = wait(&stat); printf("child %d terminated/n", pid); return; }
在 Listen 方法后调用:(必须在 fork 前调用,且只能执行一次)
Listen(listenfd, LISTENQ); Signal(SIGCHLD, sig_chld);
此时就不会再出现僵死进程了。
被中断的系统调用
慢系统调用
如 accept 等函数,如果没有用户连接,将一直阻塞下去,把这样的系统调用称为慢系统调用。
满系统调用的中断
如前一节我们处理 SIGCHLD 信号时,当系统阻塞于一个慢系统调用时,而该进程又捕获了一个信号,且相应的信号处理函数返回时,该系统调用可能会返回一个 IENTER 错误。
有些系统可能会自动重启某些被中断的系统调用,但是出于对程序的可移植性考虑,我们应该对此有所准备。
for (;;) { clilen = sizeof(cliaddr); if ((connfd = accept(listenfd, (SA *)&cliaddr, &clilen)) < 0) { if (errno == EINTER) { continue; } else { err_sys("XXX"); } } }
这种方式对 accept
以及诸如 read、write、select、open 之类的函数来说都是合适的,但是如前面所说,connect 函数不能重启。
wait 和 waitpid
#include <sys/wait.h> pid_t wait(int *statloc); pid_t waitpid(pid_t pid, int *statloc, int options);
相同之处
均返回已终止子进程的 ID,以及通过 statloc 指针返回的子进程终止状态
一些宏 WIFEXIST、WEXITSTATUS 可以用来查看其信息
不同之处
如果调用 wait 的进程没有已终止的子进程,则阻塞至第一个现有子进程终止为止
而 waitpid 可以通过 pid 和 options 参数来进行更多的控制
wait 的问题
如果我们用多台客户端发送请求,然后同时终止,如下:
多个 SIGCHLD 信号会到达,但是 wait 只会被执行一次,导致会留下 4 个僵死进程,如果是在不同的机器上执行的,则更为不确定。
用 waitpid 可以解决这个问题:
#include "unp.h" void sig_chld(int signo) { pid_t pid; int stat; while ( (pid = waitpid(-1, &stat, WNOHANG)) > 0) printf("child %d terminated/n", pid); return; }
- WNOHANG 表示如果没有终止的子进程就阻塞(因此我们可以用 while 循环)
异常情况
accept 返回前连接中止
连接刚刚建立,客户端就发送一个 RST。
什么样的场景下会发生这种事情?我在网上简单检索了一下,但是没有找到典型的发生场景。
书上给出的例子是 Web 服务器比较繁忙
如何处理这种情况取决于具体的实现。
服务器进程终止
这里指的是服务器的子进程,也就是提供具体服务的那个进程。
我们先把 server/client 启动,然后把子进程关闭掉,观察现象:
[root@centos-5610 tcpcliserv]# ./tcpcli01 127.0.0.1 >>1 str_cli: server terminated prematurely
- 如果我们什么也不做,那么客户端会一直被 fgets 阻塞,它对外界发生的事情一无所知
- 如果我们发送什么新的信息,那么会出现一个报错信息
过程解释
- 服务器的相关 socket 关闭后,会发送一个 FIN 个客户端
- 客户端 socket 虽然接收到了,但是这只表示服务器进程关闭了连接的服务器端,从而不在往其中发送任何消息了,但并没有告知客户 TCP 服务器进程已经终止;所以客户端还是可以发送 writen 的
- 当服务器 TCP 接收到来自客户的数据时,由于该 TCP 已经被关闭,所以会相应一个 RST
- 客户端在调用 write 后便进入 readline,于是接收到了 TCP 之前发送到的 FIN (客户端没有接收到 RST),这将使 readline 返回 0,程序结束
- 客户端进行关闭资源的各项操作
本例的问题在于:
- 客户端同时应对了两个描述符:套接字和用户输入
- 客户端应该阻塞在其中任何一个源的输入上,而不是单纯地阻塞在这两个源中某个特定源的输入上
这正是后文 select 和 poll 这两个函数的目的之一;后文经过修改,即可让程序立刻对服务器的 FIN 进行处理
SIGPIPE 信号
- 前文:接收到客户端的 FIN 后,仍然可以 write 写数据
- 但是,如果接收到了服务器的 RST,此时如果再写数据,就会由内核向进程发送一个 SIGPIPE 信号;此信号的默认行为是终止进程
- 我们可以捕获该信号,不过无论是否捕获,readline 还是会返回一个 EPIPE 错误
服务器主机崩溃
例如服务器宕机了,这种情况下服务器来不及交代“遗言”就挂掉了。
发生的事情
- 如果客户端不发送消息,则会想上文提到的场景一样,永远等下去
- 如果发送消息,则会由于接收不到服务器的响应而不断尝试重新发送,书中等待了 9 分钟才放弃发送,返回
ETIMEDOUT
,如果被路由器判定不可达,则返回EHOSTUNREACH
或ENETUNREACH
改进
- 对于上述第一种问题,可以采用后文的
SO-KEEPALIVE
套接字选项 - 第二个人问题可以对
readline
设置一个超时
如果服务器重启
- 尽管重启了,但是 TCP 套接字的信息都丢失了
- 只能对发过来的请求说:我认识你吗(RST)
- 客户端 readline 接收到 RST 后,返回
ECONNRESET
错误
服务器主机关机
Unix 系统关机时,会“先礼后兵”:
- 先发送
SIGTERM
信号给所有进程,在一段时间后再发送SIGKILL
信号 - 接收到
SIGTERM
进程一般会进行一些善后操作,如果进程不捕获这个信号,那他的默认行为就是终止进程 SIGKILL
会让所有进程终止,自然也会释放套接字等信息
数据格式
由于如下的问题:
- 不同的实现以不同的方式存储二进制,如大小端字节序
- 不同的实现在存储相同的 C 数据类型上的差异
- 不同的实现给结构打包的方式存在差异
所以通过套接字传输二进制数据是不明智的。
解决方法有:
- 把所有的数值数据作为文本串来传递
- 显示定义所支持数据类型的二进制格式,并传输此格式的数据,如 RPC 通常包括这种技术