由于工作原因，要管理一些图片服务器，其中有几台是作为图片存放的机器，每台机器配有10T的硬盘，最近硬盘告急，都只剩下几百个G，所以要删除一些图片。

目前服务器有一亿多个文件，删过这种大量的小碎文件的朋友一定知道使用rm -rf的下场，效果非常的差，基本上看不到什么效果。通过find命令带delete的效果也不太好，后来使用了rsync将空目录同步过去的方式，效果比较好，一天大概能清理出400G的空间。

为了保证并发的效果，写了脚本充当守护进程

1. #!/bin/sh 
2. #./delete.sh get_dir_path_cmd rsync_delete_cmd_process_total_count 
3. #./delete.sh "find /data1/sinawapcms/htdocs/p_w_picpaths/iask/2012/08/*  -maxdepth 0"   20    
4.  
5. rsync_path=rsync 
6. empty_dir=/tmp/empty/ 
7.  
8. get_rsync_process_num() 
9. { 
10.  
11.     echo  $(ps -ef | grep rsync | grep delete | wc -l); 
12. } 
13.  
14. #$1 is rsync cmd , $2 is rsync total process num 
15. do_rsync_cmd() 
16. { 
17.     while test 1 = 1  
18.     do 
19.         if test  $(get_rsync_process_num) -lt $2  
20.         then 
21.             ($1 >/dev/null 2>&1 &); 
22.             break; 
23.         else 
24.             sleep 100; 
25.         fi  
26.     done  
27.      
28. } 
29. if ! ( $rsync_path --version > /dev/null 2>&1 )  
30. then 
31.     echo rsync path error; 
32.     exit 1;  
33. fi 
34.  
35. if ! ls -l $empty_dir  > /dev/null 2>&1 
36. then 
37.     if ! mkdir -p $empty_dir >/dev/null 2>&1 
38.     then 
39.         echo Permission Denied, make sure you have permission to mkdir -p /tmp/empty ;     
40.         exit 3; 
41.     fi 
42. fi 
43.  
44. if ! test $( ls -la $empty_dir | wc -l) = 3 
45. then 
46.     echo  Directoty \"$empty_dir\" is not empty, empty directory? ; 
47.  
48.     printf "Enter (Y/N):"; 
49.     read action < /dev/tty; 
50.  
51.     if test $action = "Y" || test $action = 'y' 
52.     then 
53.         if ! rm -rf ${empth_dir}/* >/dev/null 2>&1  
54.         then 
55.             echo Permission Denied, make sure you have permission to rm -rf $empty_dir; 
56.             exit 3; 
57.         fi  
58.     else 
59.         echo error, Directoty \"$empty_dir\" is not empty; 
60.         exit 2; 
61.     fi  
62.  
63. fi 
64.  
65.  
66. dir=$($1); 
67. #rsync --delete-before -a -H  /tmp/empty/   /data1/sinawapcms/htdocs/p_w_picpaths/iask/2012/08/ff/  >/dev/null & 
68. for i in $dir 
69. do 
70.     sleep 5; 
71.     cmd="$rsync_path --delete-before -a -H $empty_dir ${i}/" ; 
72.     (do_rsync_cmd "$cmd" $2); 
73. done 

调用方式：

./delete.sh "find /data1/sinawapcms/htdocs/p_w_picpaths/iask/2012/08/*  -maxdepth 0"   20  第一个参数用来获取我们要清空的目录 第二个参数限定并发数，防止服务器负载过高