Erjing’s Blog

November 9, 2008

推荐一个镜像网站,速度很快。无意中搜索到的。

Filed under: linux, 计算机与 Internet — Tags: — erjing @ 10:29 am

http://www.by.kernel.org/pub/

里面各种unix包都有。

November 5, 2008

mount ntfs-3g and support chinese..

Filed under: linux, 计算机与 Internet — erjing @ 2:04 am

mount.ntfs-3g /dev/sdb5 sdb5 -o force -o locale=zh_CN.UTF-8

-o force means force mount whatever sdb5 clean or not.

-o locale=zh_CN.UTF-8 means use zh_CN.UTF-8, same as my XP.

October 29, 2008

推荐三个ubuntu的源。

Filed under: linux, 计算机与 Internet — Tags: , , — erjing @ 12:24 am

CN99的这个大家用的比较多了。http://ubuntu.cn99.com/ubuntu/

今天发现还有一个http://mirror.lupaworld.com/ubuntu/ 速度不错。

还有一个教育网的 http://ftp.sjtu.edu.cn/ubuntu/ 大家有机会测试一下吧。

October 25, 2008

awk合并列

Filed under: linux, linux script, 计算机与 Internet — Tags: , , — erjing @ 1:35 pm

有两个文件f1,f2,
每个文件都是100 行4列
怎么造一个新文件f3, 也是100行 4列
f3 的第一列,第二列是f1 的第四列,第二列,
f3 的第三列,第四列是f2 的第二列,第三列。

awk ‘{printf “%s %s “,$4,$2;getline <”f2″; printf “%s %s\n”,$2,$3} ‘ f1 >f3

VIM如何在每行后面添加一同样的字符?

Filed under: linux, linux script, 计算机与 Internet — Tags: , — erjing @ 12:51 pm

今天遇到的,后来查了一下VIM里$就代表页末,俺这样一下

:%s/$/>123<p>$/

这样就在每行后面添加了一个>123<p>了。其实就是把页末字符替换掉。

October 23, 2008

在ubuntu下用chroot装centos,install-centos-under-chroot-in-ubuntu

Why ? Becouse I want install Qmail. The Qmail Toaster is really good chioce for me….I am lazy…very very lazy….

So..I just have one ubuntu server, How to install Centos?

1.  wget -c http://mirror.averse.net/centos/5.2/isos/i386/CentOS-5.2-i386-bin-DVD.iso

2. mkdir /mnt/sde1/centos && mkdir /mnt/isocentos && mount -t iso9660 -o loop CentOS-5.2-i386-bin-DVD.iso /mnt/isocentos && cd /mnt/sde1/centos

3. write a bash shell script ..I named  ccc.sh ths context is :

——————————————-

#!/bin/sh
file=$1
rpm2cpio $file | cpio -ivd
——————————————-

chmod +x ccc.sh

Just easy, use rpm2copi convert rpm package to cpio, then use cpio -idv to extart package.

4. find /mnt/isocentos/CentOs/ -name “*.rpm” –exec ./ccc.sh {}\;

use find to extart all the package…I am lazy…

5.then you will find /mnt/sde1/centos have one centos copy.

root@ERJING:/mnt/sde1/centos# ls
bin   ccc.sh  etc   lib    misc  opt   root  selinux  sys       tmp  var
boot  dev     home  media  mnt   proc  sbin  srv      tftpboot  usr
root@ERJING:/mnt/sde1/centos#
6. cp /etc/fstab /mnt/sde1/centos/etc

you must take care have one line:

proc            /proc           proc    defaults        0       0

If you don’t have ,just use mount proc  /proc -t proc by hand when chrooted.

7. chroot /mnt/sde1/centos

8.done

October 21, 2008

孤陋寡闻了…ssh后面还能直接跟命令参数呀…

Filed under: linux, linux script, 计算机与 Internet — Tags: — erjing @ 9:46 pm

ssh  user@domain.com df

一次执行一个命令

ssh  user@domain.com  “df;uptime”

执行多个命令

ssh  user@domain.com  “df|grep sdd”

还能筛选啥的…..

October 19, 2008

一个批量移动文件的脚本。

Filed under: linux, linux script, 计算机与 Internet — erjing @ 11:29 pm

提问:文件批量改名问题

G:\新歌需要整理1
├─其他歌曲
│  ├─大陆
│  │  ├─001
│  │  │      张靓颖+三角COOL–HEROS.mpg
│  │  │      李子璇–有没有一种爱让人不流泪(原版伴奏).mpg
│  │  │      沈建祥-我的心你能够明白吗.mpg
│  │  │      爱戴-听雪(消伴).mpg
│  │  │      王键-飞蛾扑火DIY(左伴右唱).mpg
│  │  │      石卫–痴人(原版伴奏).mpg
│  │  │      胡灵–不爱拉倒(消伴).mpg
│  │  │      蛤蟆爱天鹅[动漫+原版伴奏].mpg
│  │  │      郭燕-下半生.mpg
│  │  │      长春虫子–动了情伤了心(原版伴奏).mpg
│  │  │      陈玉建-爱上离婚的女人.mpg
│  │  │      高榕–钢琴上的芭蕾(天音 原伴).mpg
│  │  │
│  │  ├─002
│  │  │      初百军-今天你爱了吗.dat
│  │  │      小宋佳–女人的梦(天音).mpg
│  │  │      小宋佳–如果我离开(天音).mpg
│  │  │      张爽–写一首歌.mpg
│  │  │      张爽–挽留(天音 原伴).mpg
│  │  │      李宇春-差生(天音).mpg
│  │  │      李维–风与叶子(原版伴奏).mpg
│  │  │      高寒–情罪.mpg

硬盘里的文件就是这样的,我需要修改成

G:\新歌需要整理1\大陆\李子璇\有没有一种爱让人不流泪(原版伴奏).mpg
就是说要把“–”前面的字生成文件夹,然后把这个文件放到这个文件夹里。如果能把(原版伴奏)去掉也可以。

回答:

windows下不会…linux下可以这样
写一个新的脚本叫domove.sh,内容如下
—————————————————————————————————-
#!/bin/sh
filename=$1
ddname=`echo $filename |gawk -F — ‘{print $1}’`

if [ -d $ddname ]
then
mv $filename ./$ddname/
else
mkdir ./$ddname && mv $filename ./$ddname/
fi
exit 0
————————————————————————————————————–
然后执行
find ./ -name “*.mpg” -exec ./domove.sh {} \;

可以在windows下安装个cygwin执行….

September 18, 2008

正则表达式。

Filed under: linux, linux script, 计算机与 Internet — erjing @ 10:39 pm
中国电话号码验证 
匹配形式如:0511-4405222或者021-878888822或者 021-44055520-555 或者 (0511)44052222
正则表达式 “((d{3,4})|d{3,4}-)?d{7,8}(-d{3})*”

中国邮政编码验证
匹配形式如:215421
正则表达式 “d{6}”

电子邮件验证
匹配形式如:justali@justdn.com
正则表达式 “w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*”

身份证验证
匹配形式如:15位或者18位身份证
正则表达式 “d{18}|d{15}”

常用数字验证
正则表达式
“d{n}” n为规定长度
“d{n,m}” n到m的长度范围

非法字符验证
匹配非法字符如:< > & / ‘ |
正则表达式 [^<>&/|’\]+

日期验证
匹配形式如:20030718,030718
范围:1900–2099
正则表达式((((19){1}|(20){1})d{2})|d{2})[01]{1}d{1}[0-3]{1}d{1}
正则表达式是一个好东西,但是一般情况下,我们需要验证的内容少之又少。下面是常用的17种正则表达式:

“^\d+$”  //非负整数(正整数 + 0)

“^[0-9]*[1-9][0-9]*$”  //正整数

“^((-\d+)|(0+))$”  //非正整数(负整数 + 0)

“^-[0-9]*[1-9][0-9]*$”  //负整数

“^-?\d+$”    //整数

“^\d+(\.\d+)?$”  //非负浮点数(正浮点数 + 0)

“^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$”  //正浮点数

“^((-\d+(\.\d+)?)|(0+(\.0+)?))$”  //非正浮点数(负浮点数 + 0)

“^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$”  //负浮点数

“^(-?\d+)(\.\d+)?$”  //浮点数

“^[A-Za-z]+$”  //由26个英文字母组成的字符串

“^[A-Z]+$”  //由26个英文字母的大写组成的字符串

“^[a-z]+$”  //由26个英文字母的小写组成的字符串

“^[A-Za-z0-9]+$”  //由数字和26个英文字母组成的字符串

“^\w+$”  //由数字、26个英文字母或者下划线组成的字符串

“^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$”    //email地址

“^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$”  //url

[code]电子邮件 : @”^\w+((-\w+)|(\.\w+))*\@\w+((\.|-)\w+)*\.\w+$”
HTTP URL : @”^http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?”;
邮编 : @”\d{6}”
身份证 : @”\d{18}|\d{15}”
整数 : @”^\d{1,}$”
数值 : @”^-?(0|\d+)(\.\d+)?$”
日期 : @”^(?:(?:(?:(?:1[6-9]|[2-9]\d)?(?:0[48]|[2468][048]|[13579][26])|(?:(?:16|[2468][048]|[3579][26])00)))(\/|-|\.)(?:0?2\1(?:29))$)|(?:(?:1[6-9]|[2-9]\d)?\d{2})(\/|-|\.)(?:(?:(?:0?[13578]|1[02])\2(?:31))|(?:(?:0?[1,3-9]|1[0-2])\2(29|30))|(?:(?:0?[1-9])|(?:1[0-2]))\2(?:0?[1-9]|1\d|2[0-8]))$”
合法的用户名(以字母开头,长度不小于4) : @”(([a-zA-Z]){1})+(\w{3,29})”[/code]
[code]常用正则表达式语法例句
这里有一些可能会遇到的正则表达式示例:

/^\[ \t]*$/ “^\[ \t]*$” 匹配一个空白行。

/\d{2}-\d{5}/ “\d{2}-\d{5}” 验证一个ID号码是否由一个2位字,一
个连字符以及一个5位数字组成。

/<(.*)>.*<\/\1>/ “<(.*)>.*<\/\1>” 匹配一个 HTML 标记。

下表是元字符及其在正则表达式上下文中的行为的一个完整列表:

字符 描述

\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 后
向引用、或一个八进制转义符。例如,’n’ 匹配字符 “n”。’\n’
匹配一个换行符。序列 ‘\\’ 匹配 “\” 而 “\(” 则匹配 “(”。

^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的
Multiline 属性,^ 也匹配 ‘\n’ 或 ‘\r’ 之后的位置。

$ 匹配输入字符串的结束位置。如果设置了 RegExp 对象的
Multiline 属性,$ 也匹配 ‘\n’ 或 ‘\r’ 之前的位置。

* 匹配前面的子表达式零次或多次。例如,zo* 能匹配 “z” 以及
“zoo”。 * 等价于{0,}。

+ 匹配前面的子表达式一次或多次。例如,’zo+’ 能匹配 “zo” 以
及 “zoo”,但不能匹配 “z”。+ 等价于 {1,}。

? 匹配前面的子表达式零次或一次。例如,”do(es)?” 可以匹配
“do” 或 “does” 中的”do” 。? 等价于 {0,1}。

{n} n 是一个非负整数。匹配确定的 n 次。例如,’o{2}’ 不能匹配
“Bob” 中的 ‘o’,但是能匹配 “food” 中的两个 o。

{n,} n 是一个非负整数。至少匹配n 次。例如,’o{2,}’ 不能匹配
“Bob” 中的 ‘o’,但能匹配 “foooood” 中的所有 o。’o{1,}’
等价于 ‘o+’。’o{0,}’ 则等价于 ‘o*’。

{n,m} m 和 n 均为非负整数,其中n <= m。最少匹配 n 次且最多匹
配 m 次。刘, “o{1,3}” 将匹配 “fooooood” 中的前三个o。
‘o{0,1}’等价于’o?’。请注意在逗号和两个数之间不能有空格

? 当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,},
{n,m}) 后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的
匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜
索的字符串。例如,对于字符串 “oooo”,’o+?’ 将匹配单个
“o”,而 ‘o+’ 将匹配所有 ‘o’。

. 匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任
何字符,请使用象 ‘[.\n]’ 的模式。

(pattern) 匹配pattern 并获取这一匹配。所获取的匹配可以从产生的
Matches 集合得到,在VBScript 中使用 SubMatches 集合,在
Visual Basic Scripting Edition 中则使用 $0…$9 属性。要
匹配圆括号字符,请使用 ‘\(’ 或 ‘\)’。

(?:pattern) 匹配 pattern 但不获取匹配结果,也就是说这是一个非获取匹
配,不进行存储供以后使用。这在使用 “或” 字符 (|) 来组合
一个模式的各个部分是很有用。例如, ‘industr(?:y|ies) 就
是一个比 ‘industry|industries’ 更简略的表达式。

(?=pattern) 正向预查,在任何匹配 pattern 的字符串开始处匹配查找字符
串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后
使用。例如,’Windows (?=95|98|NT|2000)’ 能匹配”Windows
2000″中的”Windows”,但不能匹配”Windows3 .1″中”Windows”。
预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹
配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之
后开始。

(?!pattern) 负向预查,在任何不匹配Negative lookahead matches the
search string at any point where a string not matching
pattern 的字符串开始处匹配查找字符串。这是一个非获取匹
配,也就是说,该匹配不需要获取供以后使用。例如’Windows
(?!95|98|NT|2000)’ 能匹配 “Windows 3.1″ 中的 “Windows”,
但不能匹配 “Windows 2000″ 中的 “Windows”。预查不消耗字
符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开
始下一次匹配的搜索,而不是从包含预查的字符之后开始

x|y 匹配 x 或 y。例如,’z|food’ 能匹配 “z” 或 “food”。’(z|f)
ood’ 则匹配 “zood” 或 “food”。

[xyz] 字符集合。匹配所包含的任意一个字符。例如, ‘[abc]’ 可以
匹配 “plain” 中的 ‘a’。

[^xyz] 负值字符集合。匹配未包含的任意字符。例如, ‘[^abc]’ 可以
匹配 “plain” 中的’p'。

[a-z] 字符范围。匹配指定范围内的任意字符。例如,’[a-z]’ 可以匹
配 ‘a’ 到 ‘z’ 范围内的任意小写字母字符。

[^a-z] 负值字符范围。匹配任何不在指定范围内的任意字符。例如,
‘[^a-z]’ 可以匹配任何不在 ‘a’ 到 ‘z’ 范围内的任意字符。

\b 匹配一个单词边界,也就是指单词和空格间的位置。例如,
‘er\b’ 可以匹配”never” 中的 ‘er’,但不能匹配 “verb” 中
的 ‘er’。

\B 匹配非单词边界。’er\B’ 能匹配 “verb” 中的 ‘er’,但不能匹
配 “never” 中的 ‘er’。

\cx 匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或
回车符。 x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一
个原义的 ‘c’ 字符。

\d 匹配一个数字字符。等价于 [0-9]。

\D 匹配一个非数字字符。等价于 [^0-9]。

\f 匹配一个换页符。等价于 \x0c 和 \cL。

\n 匹配一个换行符。等价于 \x0a 和 \cJ。

\r 匹配一个回车符。等价于 \x0d 和 \cM。

\s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于
[ \f\n\r\t\v]。

\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。

\t 匹配一个制表符。等价于 \x09 和 \cI。

\v 匹配一个垂直制表符。等价于 \x0b 和 \cK。

\w 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。

\W 匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。

\xn 匹配 n,其中 n 为十六进制转义值。十六进制转义值必须为确
定的两个数字长。例如, ‘\x41′ 匹配 “A”。’\x041′ 则等价
于 ‘\x04′ & “1″。正则表达式中可以使用 ASCII 编码。.

\num 匹配 num,其中num是一个正整数。对所获取的匹配的引用。
例如,’(.)\1′ 匹配两个连续的相同字符。

\n 标识一个八进制转义值或一个后向引用。如果 \n 之前至少 n
个获取的子表达式,则 n 为后向引用。否则,如果 n 为八进制
数字 (0-7),则 n 为一个八进制转义值。

\nm 标识一个八进制转义值或一个后向引用。如果 \nm 之前至少有
is preceded by at least nm 个获取得子表达式,则 nm 为后
向引用。如果 \nm 之前至少有 n 个获取,则 n 为一个后跟文
字 m 的后向引用。如果前面的条件都不满足,若 n 和 m 均为
八进制数字 (0-7),则 \nm 将匹配八进制转义值 nm。

\nml 如果 n 为八进制数字 (0-3),且 m 和 l 均为八进制数字 (0-
7),则匹配八进制转义值 nml。

\un 匹配 n,其中 n 是一个用四个十六进制数字表示的Unicode字
符。例如, \u00A9 匹配版权符号 (?)。 [/code]
常用正则表达式
——————————————————————————–

匹配html的嵌入代码 [code]<[^>]*>[/code]

匹配[….]的嵌入码[code] \[[^]]\{1,\}\][/code]

删除仅由空字符组成的行
[code]sed ‘/^[[:space:]]*$/d’ filename[/code]

匹配html标签
[code]/\(<[^>]*>\)/[/code]例如:从html文件中剔除html标签
[code]sed ’s/\(<[^>]*>\)//g;/^[[:space:]]*$/d’ file.html[/code]

例如:要从下列代码中去除”[]”及其中包括的代码
[code]一. 替换
sed ’s/\[[^]]\{1,\}\]//g’ filename[/code]

匹配日期:
[code]Month, Day, Year [A-Z][a-z]\{3,9\}, [0-9]\{1,2\}, [0-9]\{4\}
2003-01-28 或 2003.10.18 或 2003/10/10 或 2003 10 10
\([0-9]\{4\}[ /-.][0-2][0-9][ /-.][0-3][0-9]\)[/code]
匹配IP地址
[code]\([0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\)
\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\)[/code]

匹配数字串
[code][-+]*[0-9]\{1,\} 整数
[-+]*[0-9]\{1,\}\.[0-9]\{1,\} 浮点数[/code]

从字串中解析出两个子串(前2各字符和后9个字符)
[code]echo “WeLoveChinaUnix”|sed -e ‘H;s/\(..\).*/\1/;x;s/.*\(.\{9\}\)$/\1/;x;G;s/\n/ /’
We ChinaUnix [/code]

分解日期串
[code]echo 20030922|sed ’s/\(….\)\(..\)\(..\)/\1 \2 \3/’|read year month day
echo $year $month $day [/code]

文件内容倒序输出
[code]sed ‘1!G;h;$!d’ oldfile >newfile[/code]

[code]匹配中文字符的正则表达式:
[\u4e00-\u9fa5]

匹配双字节字符(包括汉字在内):
[^\x00-\xff]

匹配空行的正则表达式:
\n[\s| ]*\r

匹配HTML标记的正则表达式:
/<(.*)>.*<\/\1>|<(.*) \/>/

匹配首尾空格的正则表达式:
(^\s*)|(\s*$)

URL:
http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?

Email:
\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

中华人民共和国电话号码
(\(\d{3}\)|\d{3}-)?\d{8}

中华人民共和国邮编
\d{6}

门丁注册的id格式:2-12位,数字、字符、下划线(0-9,a-z,A-Z,_)
^[0-9a-zA-Z]+(\w){1,11}[/code]

蓝吧甜 宝宝:主人,陪我去森林里玩好不好?
你和宝宝在森林里找了个好东西给你~~管理员作的特别科研卡!
卡片说明:获得社区特别科研基金100个金币。
卡片效果:得到100金币。
你高兴我也高兴!

点击在新窗口中浏览原图 CTRL+鼠标滚轮放大或缩小

[code]匹配中文字符的正则表达式: [\u4e00-\u9fa5]

匹配双字节字符(包括汉字在内):[^\x00-\xff]

匹配空行的正则表达式:\n[\s| ]*\r

匹配HTML标记的正则表达式:/<(.*)>.*<\/\1>|<(.*) \/>/

匹配首尾空格的正则表达式:(^\s*)|(\s*$)(像vbscript那样的trim函数)

匹配Email地址的正则表达式:\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

匹配网址URL的正则表达式:http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?
—————————————————————————
以下是例子:

利用正则表达式限制网页表单里的文本框输入内容:

用正则表达式限制只能输入中文:onkeyup=”value=value.replace(/[^\u4E00-\u9FA5]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^\u4E00-\u9FA5]/g,”))”

1.用正则表达式限制只能输入全角字符: onkeyup=”value=value.replace(/[^\uFF00-\uFFFF]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^\uFF00-\uFFFF]/g,”))”

2.用正则表达式限制只能输入数字:onkeyup=”value=value.replace(/[^\d]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^\d]/g,”))”

3.用正则表达式限制只能输入数字和英文:onkeyup=”value=value.replace(/[\W]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^\d]/g,”))”

4.计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)

String.prototype.len=function(){return this.replace([^\x00-\xff]/g,”aa”).length;}

5.javascript中没有像vbscript那样的trim函数,我们就可以利用这个表达式来实现,如下:

String.prototype.trim = function()
{
return this.replace(/(^\s*)|(\s*$)/g, “”);
}

利用正则表达式分解和转换IP地址:

6.下面是利用正则表达式匹配IP地址,并将IP地址转换成对应数值的Javascript程序:

function IP2V(ip)
{
re=/(\d+)\.(\d+)\.(\d+)\.(\d+)/g //匹配IP地址的正则表达式
if(re.test(ip))
{
return RegExp.$1*Math.pow(255,3))+RegExp.$2*Math.pow(255,2))+RegExp.$3*255+RegExp.$4*1
}
else
{
throw new Error(”不是一个正确的IP地址!”)
}
}

不过上面的程序如果不用正则表达式,而直接用split函数来分解可能更简单,程序如下:

var ip=”10.100.20.168″
ip=ip.split(”.”)
alert(”IP值是:”+(ip[0]*255*255*255+ip[1]*255*255+ip[2]*255+ip[3]*1))[/code]

August 20, 2008

自己写的linux防火墙脚本,非常干净的,没有啥特别功能,限制一下端口可以。

Filed under: linux, linux script, 计算机与 Internet — Tags: , , , — erjing @ 1:00 am

linux下的iptables防火墙脚本,

没有用啥特殊的东西,没有加放DDOS之类的,就一个限制端口功能,

然后融合了收集来的一些其他iptables脚本,能Drop IP之类的。

总之用起来很方便,开机直接运行就行了,默认就开22和80。

过几天有空了添加一些增强,比如DDOS,高级过滤之类的。

现在没空啊….

点此下载linux防火墙脚本

内容如下:

#! /bin/bash
#Script fwinit.sh by erjing@@@126@@@com.

#Initial environment.
IPT=/sbin/iptables
DIR=/root/bin/fwinit
OUTIP=`ifconfig eth0|grep “inet addr”|awk ‘{print$2}’|awk -F \: ‘{print$2}’`
INIP=`ifconfig eth1|grep “inet addr”|awk ‘{print$2}’|awk -F \: ‘{print$2}’`
Allow_ip_inside=`cat $DIR/share/list |grep “allow_ip_inside=”|awk -F \= ‘{print$2}’`
Allow_ip_outside=`cat $DIR/share/list |grep “allow_ip_outside=”|awk -F \= ‘{print$2}’`
Allow_ports_inbound_inside=`cat $DIR/share/list |grep “allow_ports_intbound_inside=”|awk -F \= ‘{print$2}’`
Allow_ports_inbound_outside=`cat $DIR/share/list |grep “allow_ports_inbound_outside=”|awk -F \= ‘{print$2}’`
Drop_ip_outside=`cat $DIR/share/list |grep “drop_ip_outside=”|awk -F \= ‘{print$2}’`
Drop_ip_inside=`cat $DIR/share/list |grep “drop_ip_inside=”|awk -F \= ‘{print$2}’`
Good_ip_outside=`cat $DIR/share/list |grep “good_ip_outside=”|awk -F \= ‘{print$2}’`
Good_ip_inside=`cat $DIR/share/list |grep “good_ip_inside=”|awk -F \= ‘{print$2}’`

#Clean and set all to default.
$IPT -F INPUT
$IPT -X
$IPT -P INPUT ACCEPT
$IPT -F OUTPUT
$IPT -P OUTPUT ACCEPT
$IPT -F FORWARD
$IPT -P FORWARD DROP

#For local loop device.
$IPT -A INPUT -i lo -p all -j ACCEPT
$IPT -A OUTPUT -o lo -p all -j ACCEPT

#Common rule.
$IPT -A INPUT -m state –state ESTABLISHED -j ACCEPT

#For allow port in outside.
for Port in $Allow_ports_inbound_outside
do
for IP in $Allow_ip_outside
do
$IPT -A INPUT -i eth0 -p tcp -s $IP -d $OUTIP –dport $Port -j ACCEPT
$IPT -A INPUT -i eth0 -p udp -s $IP -d $OUTIP –dport $Port -j ACCEPT
$IPT -A INPUT -i eth0 -p icmp -s $IP -d $OUTIP -j ACCEPT
done
done
#For allow port in inside.
for Port in $Allow_ports_inbound_inside
do
for IP in $Allow_ip_inside
do
$IPT -A INPUT -i eth1 -p tcp -s $IP -d $INIP –dport $Port -j ACCEPT
$IPT -A INPUT -i eth1 -p udp -s $IP -d $INIP –dport $Port -j ACCEPT
$IPT -A INPUT -i eth1 -p icmp -s $IP -d $INIP -j ACCEPT
done
done

#For allow ip in outside. Warning: “you should be careful for use this, The ip address will be trusted, No limit! “
for IP in $Good_ip_outside
do
$IPT -I INPUT -i eth0 -s $IP -j ACCEPT
$IPT -I OUTPUT -o eth0 -d $IP -j ACCEPT
done

#For allow ip in inside. Warning: “you should be careful for use this, The ip address will be trusted, No limit! “
for IP in $Good_ip_inside
do
$IPT -I INPUT -i eth1 -s $IP -j ACCEPT
$IPT -I OUTPUT -o eth1 -d $IP -j ACCEPT
done

#For drop ip in outside.
for IP in $Drop_ip_outside
do
$IPT -I INPUT -i eth0 -s $IP -j DROP
$IPT -I OUTPUT -o eth0-d $IP -j DROP
$IPT -I FORWARD -i eth0 -d $IP -j DROP
done

#For drop ip in inside.
for IP in $Drop_ip_inside
do
$IPT -I INPUT -i eth1 -s $IP -j DROP
$IPT -I OUTPUT -o eth1 -d $IP -j DROP
$IPT -I FORWARD -i eth1 -d $IP -j DROP
done

$IPT -P INPUT DROP
$IPT -nL

——————————————————-

看到了吗?就是把文件解压缩到/root/bin/fwinit,然后执行,文件会从/root/bin/fwinit/share/list里找哪些端口需要打开,哪些是信任主机。

/root/bin/fwinit/share/list内容如下:

#There is port and IP list for fwinit.sh

allow_ip_outside= 0.0.0.0/0
allow_ip_inside=
allow_ports_inbound_outside=22 80
allow_ports_intbound_inside=
good_ip_outside=1.2.3.4/32
good_ip_inside=
drop_ip_outside=
drop_ip_inside=

简单吧,写这个就是为了简单,看到那么多的linux防火墙脚本我头都要大了,我仅仅想有一个脚本能从配置文件里读取参数然后开放端口之类的,就需要这个功能而已。

August 18, 2008

www.cygwin.cn速度有点慢了,我也建立一个 cygwin中国镜像 分分流吧。

Filed under: linux, 计算机与 Internet — Tags: , — erjing @ 7:39 pm

新建了一个cygwin镜像,因为cygwin.cn现在上的人好像很多,这次安装用了足足12小时….

http://erjing.com/cygwin/

就这个了,大家宣传一下吧,算是做点贡献,自动升级的。

August 17, 2008

嘿嘿又找到一个老早写的脚本,建立三级目录,类似squid的。

Filed under: linux, linux script, 计算机与 Internet — erjing @ 2:01 am

for w in a b c d e f g h i j k l m n o p q r s t u v w x y z 0 1 2 3 4 5 6 7 8 9
do
mkdir $w
done

for x in a b c d e f g h i j k l m n o p q r s t u v w x y z 0 1 2 3 4 5 6 7 8 9
do
cd $x
for m in a b c d e f g h i j k l m n o p q r s t u v w x y z 0 1 2 3 4 5 6 7 8 9
do
mkdir $m
done
for y in a b c d e f g h i j k l m n o p q r s t u v w x y z 0 1 2 3 4 5 6 7 8 9
do
cd $y
for x in a b c d e f g h i j k l m n o p q r s t u v w x y z 0 1 2 3 4 5 6 7 8 9
do
mkdir $x
done
cd ..
done
cd ..
done

好玩吧,建立三层目录,类似squid一样的。不过真的好用吗?结果是否定的,实践证明,管理巨型存储用二级目录就行了,三级目录只能影响性能,没有实际用处。

很早以前写的处理数据库的脚本,今天偶尔翻出来了,贴上免得以后想用又要重新写。

Filed under: linux, linux script, 计算机与 Internet — erjing @ 1:56 am

#!/bin/sh

#备份数据库
mysqldump -uroot -p123456 haocaiwu > haocaiwu.sql
#删除内容数据库导出临时文件
rm -f /cygdrive/r/w/wiki_doc_content_tab.tmp
#导出数据
mysql -uroot -p123456 haocaiwu -e”select concat(’update wiki_doc set doc_content=\”,doc_content,’\’ where doc_id=’,doc_id,’;') into outfile ‘r://w/wiki_doc_content_tab.tmp’ from wiki_doc”
#转化编码为GBK
iconv.exe -f utf-8 -t GBK /cygdrive/r/w/wiki_doc_content_tab.tmp > /cygdrive/r/w/wiki_doc_content_tab.tmp.gbk
#去掉内容里所有的链接,初始化数据
cat /cygdrive/r/w/wiki_doc_content_tab.tmp.gbk |sed -e ’s/<\/a>//g’|sed -e ’s/<a href[^>]*>//g’ > /cygdrive/r/w/wiki_doc_content_tab.tmp.gbk.clean
#运行clean_tesu.sh,去掉特殊字符(目前不能在shell下运行,只能复制粘贴了运行内容了。得到wiki_doc_content_tab.tmp.gbk.clean.again)
#删除keyword数据导出临时文件
rm -f /cygdrive/r/w/keyword.tmp
#导出keyword数据
mysql -uroot -p123456 -Dhaocaiwu -e”SELECT doc_title INTO OUTFILE ‘r://w/keyword.tmp’ FROM wiki_doc”
#转化为GBK编码
iconv.exe -f utf-8 -t GBK /cygdrive/r/w/keyword.tmp > /cygdrive/r/w/keyword.tmp.gbk
#去掉多余字符,并且去掉重复,格式化keyword文件。
./makekeyword.sh
#|tr “\n” “\t”
#首先进行unicode编码,防止汉字在sed的处理的时候出问题。
cat keyword.tmp.gbk.clean | ./urlencode  > key.en
按照长度排列,这样会首先匹配词组,然后再匹配字。
awk ‘{print  length($0),$0}’ key.en |sort -nr|sed ‘/^[^ ]* /s///’> key.en.swp;mv key.en.swp key.en
#给key.en加上两个(),生成key.enformated,方便后面做匹配。
cat key.en |awk ‘{print “(”$1″)”}’ > key.enformated
cat wiki_doc_content_tab.tmp.gbk.clean.again| ./urlencode > c.en
生成第一次编码keyword文件,
cat key.en|./urldecode > key.de
echo “” > url.en1 ;for i in `cat key.de`; do ./e.sh $i >> url.en1 ;done
cat url.en1 |./urlencode > url.en2
合并key.en和url.en2到 k_url.en,这样k_url.en可以被用来当作匹配有keyword的url文件,可以直接调用啦。(注意还没有自动删除最上面一行空白)
paste.exe key.enformated url.en2  >k_url.en

#开始转换
#for i in `cat key.en`;do m=`cat k_url.en|grep $i`; sed -e “s/$i/$m/g” c.en > c.en.tmp;mv c.en.tmp c.en;done
#for i in `cat key.en`;do m=cat k_url.en|grep $i|awk ‘{print $2}’;sed -e “s/$i/$m/g” c.en > e.en.tmp;mv c.en.tmp c.en;done
#for i in `cat key.en`;do m=`cat k_url.en|grep $i|awk ‘{print $2}’`;sed -e “s/$i/$m/g” c.en > c.en.tmp;mv c.en.tmp c.en;done
#for i in `cat key.en`;do m=`cat k_url.en|grep $i|awk ‘{print $2}’`;sed -e ’s/”$i”/”$m”/g’ c.en > c.en.tmp;mv c.en.tmp c.en;done
#for i in `cat key.en`;do m=`cat k_url.en|grep $i|awk ‘{print $2}’`;sed -e “s/$i/$m/g” c.en > c.en.tmp;mv c.en.tmp c.en;done
for i in `cat key.en`;do m=`cat k_url.en|grep “(”$i”)”|awk ‘{print $2}’`;sed -e “s/$i/$m/g” c.en > c.en.tmp;mv c.en.tmp c.en;done
#转换GBK到utf-8
#iconv.exe -f GBK -t utf-8 /cygdrive/r/w/wiki_doc_content_tab.tmp.gbk.clean > /cygdrive/r/w/wiki_doc_content_tab.tmp
#导入数据库
#mysql -uroot -p123456 haocaiwu < r://w/wiki_doc_content_tab.tmp

过滤掉内容的<a href=xxx></a>
cat sewinter_wikihaocaiwu.gb2312 |sed -e ’s/<\/a>//g’|sed -e ’s/<a href[^>]*>//g’

过滤出简介,用时间2008-01-20 22:22:00 这样的格式
cat sewinter_wikihaocaiwu.gb2312.clean|awk -F”‘[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9]’,” ‘NR==3 {print $1}’
过滤出正文,用时间2008-01-20 22:22:00 这样的格式
cat sewinter_wikihaocaiwu.gb2312.clean|awk -F”‘[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9]’,” ‘NR==3 {print $2}’

得到内容部分
cat sewinter_wikihaocaiwu.gb2312.clean|awk -F”‘[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9]’,” ‘NR==1 {print $2}’

SET character_set_client = utf8;
SET character_set_results = utf8;
SET character_set_connection = utf8;

在mysql配置的时候:
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
default-character-set=utf8

在建立数据库的时候,最好就直接建立成utf-8的。

CREATE DATABASE haocaiwu
CHARACTER SET utf8
DEFAULT CHARACTER SET utf8
COLLATE utf8_general_ci
DEFAULT COLLATE utf8_general_ci ;

如果是已经建立好的数据库,一定要把数据库修改成utf-8的,这样在后面select的时候才不会出错,
ALTER DATABASE  haocaiwu
CHARACTER SET utf8
DEFAULT CHARACTER SET utf8
COLLATE utf8_general_ci
DEFAULT COLLATE utf8_general_ci;

这样数据会追加到后面:
rm -f /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 -Dhaocaiwu -e”SELECT doc_content INTO OUTFILE ‘z://w/wiki_doc_content_tab.tmp’ FIELDS TERMINATED BY ‘#’ FROM wiki_doc”
iconv.exe -f utf-8 -t GBK /cygdrive/z/w/wiki_doc_content_tab.tmp > /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk
iconv.exe -f GBK -t utf-8 /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk > /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 -Dhaocaiwu -e”LOAD DATA INFILE ‘z://w/wiki_doc_content_tab.tmp’ INTO TABLE wiki_doc FIELDS TERMINATED BY ‘#’ (doc_content)”

正确替换的格式是,唯一的缺陷是没有replace”‘”,所以在导入的时候可能会出问题,如果是php程序导入的内容估计没有问题,因为在php程序往数据库里写的时候就转义过了。
mysql -uroot -p123456 haocaiwu -e”select concat(’update wiki_doc set doc_content=\”,doc_content,’\’ where doc_id=’,doc_id,’;') into outfile ‘z://w/wiki_doc_content_tab.tmp’ from wiki_doc where doc_id between 50 and 200″
mysql -uroot -p123456 haocaiwu < z://w/wiki_doc_content_tab.tmp

这样可以替换原数据,
rm -f /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 haocaiwu -e”select concat(’update wiki_doc set doc_content=\”,doc_content,’\’ where doc_id=’,doc_id,’;') into outfile ‘z://w/wiki_doc_content_tab.tmp’ from wiki_doc”
iconv.exe -f utf-8 -t GBK /cygdrive/z/w/wiki_doc_content_tab.tmp > /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk
iconv.exe -f GBK -t utf-8 /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk > /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 haocaiwu < z://w/wiki_doc_content_tab.tmp

导出2000-3000,并且替换。
rm -f /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 haocaiwu -e”select concat(’update wiki_doc set doc_content=\”,doc_content,’\’ where doc_id=’,doc_id,’;') into outfile ‘z://w/wiki_doc_content_tab.tmp’ from wiki_doc where doc_id between 2000 and 3000″
iconv.exe -f utf-8 -t GBK /cygdrive/z/w/wiki_doc_content_tab.tmp > /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk
iconv.exe -f GBK -t utf-8 /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk > /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 haocaiwu < z://w/wiki_doc_content_tab.tmp

rm -f /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 haocaiwu -e”select concat(’update wiki_doc set doc_content=\”,doc_content,’\’ where doc_id=’,doc_id,’;') into outfile ‘z://w/wiki_doc_content_tab.tmp’ from wiki_doc where doc_id”
iconv.exe -f utf-8 -t GBK /cygdrive/z/w/wiki_doc_content_tab.tmp > /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk
cat /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk |sed -e ’s/<\/a>//g’|sed -e ’s/<a href[^>]*>//g’ > /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk.clean
iconv.exe -f GBK -t utf-8 /cygdrive/z/w/wiki_doc_content_tab.tmp.gbk.clean > /cygdrive/z/w/wiki_doc_content_tab.tmp
mysql -uroot -p123456 haocaiwu < z://w/wiki_doc_content_tab.tmp

得到keyword并且过滤掉特殊字符,并且去掉重复字符:
mysql -uroot -p123456 -Dhaocaiwu -e”SELECT doc_title INTO OUTFILE ‘z://w/keyword.tmp’ FROM wiki_doc
iconv.exe -f utf-8 -t GBK /cygdrive/z/w/keyword.tmp > /cygdrive/z/w/keyword.tmp.gbk
cat keyword.tmp.gbk |sed \
-e ’s/([^>]*)//g’ \
-e ’s/([^>]*)//g’ \
-e ’s/!//g’ \
-e ’s/。//g’ \
-e ’s/,//g’ \
-e ’s/?//g’ \
-e ’s/@//g’ \
-e ’s/#//g’ \
-e ’s/$//g’ \
-e ’s/%//g’ \
-e ’s/︿//g’ \
-e ’s/&//g’ \
-e ’s/*//g’ \
-e ’s/-//g’ \
-e ’s/+//g’ \
-e ’s/://g’ \
-e ’s/;//g’ \
-e ’s/'//g’ \
-e ’s/"//g’ \
-e ’s/~//g’ \
-e ’s/`//g’ \
-e ’s/·//g’ \
-e ’s/¥//g’ \
-e ’s/|//g’ \
-e ’s/“//g’ \
-e ’s/”//g’ \
-e ’s////g’ \
-e ’s/——//g’ \
-e ’s/—//g’ \
-e ’s/、//g’ \
-e ’s/{[^>]*}//g’ \
-e ’s/<[^>]*>//g’ \
-e ’s/[[^>]*]//g’ \
-e ’s/"[^>]*"//g’ \
-e ’s/“[^>]*”//g’ \
-e ’s/《[^>]*》//g’ \
-e ’s/\~//g’ \
-e ’s/\`//g’ \
-e ’s/\!//g’ \
-e ’s/\@//g’ \
-e ’s/\#//g’ \
-e ’s/\$//g’ \
-e ’s/\%//g’ \
-e ’s/\^//g’ \
-e ’s/\&//g’ \
-e ’s/\*//g’ \
-e ’s/(//g’ \
-e ’s/)//g’ \
-e ’s/\_//g’ \
-e ’s/\+//g’ \
-e ’s/{//g’ \
-e ’s/}//g’ \
-e ’s/\[//g’ \
-e ’s/\]//g’ \
-e ’s/\|//g’ \
-e ’s/\://g’ \
-e ’s/\”//g’ \
-e ’s/\>//g’ \
-e ’s/\?//g’ \
-e ’s/\,//g’ \
-e ’s/\.//g’ \
-e ’s/\///g’ \
-e ’s///g’ \
-e ’s///g’ \
-e ’s///g’ \
-e ’s///g’ \
-e ’s///g’ \
-e ’s/\[[^>]*]\]//g’ \
-e ’s/\”[^>]*\”//g’ \
-e ’s/\<[^>]*\>//g’ \
-e ’s/{[^>]*}//g’ \
-e ’s/\<//g’ \
-e ’s/\;//g’ \
-e “s/\’[^>]*\’//g” \
-e ’s/\\//g’ \
-e “s/\’//g”

注意:
1、不要使用 -e ’s/{[^>]*}//g’ \,也不能用-e ’s/\<[^>]*\>//g’ \,否则会匹配所有的英文单词,导致维生素没有ABC区分,只有“维生素”这个单词的关联。
2、匹配{}或者()这样的应该先放在前面执行。
2、部分汉字损坏。
3. -e ’s/://g’ \ 这句删除很重要。

July 10, 2008

Aapache 的防止DDOS模块安装配置。

Filed under: linux, 计算机与 Internet — Tags: , — erjing @ 1:48 pm

没防火墙….开了一个syn cooikes..添加了几条策略,还是觉得不保险…

自己一直用apache,虽然慢一点,但是功能齐全,在ubuntu的源里搜索了一下有  libapache2-mod-evasive,以前没功过,拿来看看。

安装很简单:

apt-get install libapache2-mod-evasive

生成了

/etc/apache2/mods-available/mod-evasive.load

然后我手动建立了一个配置文件:

/etc/apache2/mods-available/mod-evasive.conf

内容:

<IfModule mod_evasive20.c>

DOSHashTableSize 3097

DOSPageCount 5

DOSSiteCount 50

DOSPageInterval 1

DOSSiteInterval 1

DOSBlockingPeriod 10

DOSEmailNotify my@mail.com

</IfModule>

参数很简单俺就不解释了。

然后apache2ctl graceful,重新启动。搞定。

还没有遇到DDOS的攻击,不知道能抵挡多少流量。估计真的攻击来了业就挂了…

Powered by WordPress