本页使用了标题或全文手工转换

正则表达式

维基百科,自由的百科全书
跳转至: 导航搜索
regular expression」的各地常用譯名
中国大陸 正则表达式
臺灣 正規表示式、規則運算式、正規表示法
常規表示式、正規運算式
常規表示法、正規表式
香港 正則表達式

正则表达式,又称正规表示式正規表示法、正規運算式、規則運算式、常規表示法英语:Regular Expression,在代码中常简写为regexregexpRE),是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器裡,正則表达式通常被用来检索、替换那些符合某个模式的文本。

许多程序设计语言都支持利用正則表达式进行字符串操作。例如,在Perl中就内建了一个功能强大的正則表达式引擎。正則表达式这个概念最初是由Unix中的工具软件(例如sedgrep)普及开的。正则表达式通常缩写成“regex”,单数有regexp、regex,复数有regexps、regexes、regexen。

譯名問題[编辑]

Regular Expression的「Regular」一般被譯為「正则」、「正規」、「常規」。此處的「Regular」即是「規則」、「規律」的意思,Regular Expression即「描述某種規則的表達式」之意。

历史[编辑]

最初的正则表达式出现于理论计算机科学自动控制理论和形式化语言理论中。在这些领域中有对计算(自动控制)的模型和对形式化语言描述与分类的研究。

1940年,沃伦·麦卡洛克Walter Pitts英语Walter Pitts神经系统中的神经元描述成小而简单的自动控制元。

1950年代,数学家斯蒂芬·科尔·克莱尼利用称之为「正则集合」的数学符号来描述此模型。肯·汤普逊将此符号系统引入编辑器QED英语QED (text editor),随后是Unix上的编辑器ed英语ed(text editor),并最终引入grep。自此以后,正則表达式被广泛地应用于各种Unix或类Unix系统的工具中。正则表达式的POSIX规范,分为基本型正则表达式(Basic Regular Expression,BRE)和扩展型正则表达式(Extended Regular Express,ERE)两大流派。在兼容POSIX的UNIX系统上,grep和egrep之类的工具都遵循POSIX规范,一些数据库系统中的正则表达式也符合POSIX规范。grep、vi、sed都属于BRE,是历史最早的正则表达式,因此元字符必须转义之后才具有特殊含义。egrep、awk则属于ERE,元字符不用转义

Perl的正则表达式源自于Henry Spencer英语Henry Spencer于1986年1月19日发布的regex,它已经演化成了PCRE(Perl兼容正则表达式,Perl Compatible Regular Expressions英语PCRE,一个由Philip Hazel英语Philip Hazel开发的,为很多现代工具所使用的库。

各计算机语言之间的正則表达式的整合目前[何时?]开展得很差。Perl6的子项目Apocalypse的设计中已考虑到了这点。

理论[编辑]

正则表达式可以用形式化语言理论的方式来表达。正则表达式由常量和算子组成,它们分别指示字符串的集合和在这些集合上的运算。给定有限字母表Σ定义了下列常量:

  • (“空集”)指示集合
  • (“空串”)ε指示集合{ε}
  • (“文字字符”)在Σ中的a指示集合{a}

定义了下列运算:

  • (“串接”)RS指示集合{ αβ | α ∈ R,β ∈ S }。例如:{"ab","c"}{"d","ef"} = {"abd", "abef", "cd", "cef"}。
  • (“选择”)R|S指示RS的并集。例如:{"ab", "c"}|{"ab", "d", "ef"}= {"ab", "c", "d", "ef"}
  • (“Kleene星号”)R* 指示包含ε并且闭合在字符串串接下的R的最小超集。这是可以通过R中的零或多个字符串的串接得到所有字符串的集合。例如,{"ab", "c"}* = {ε, "ab", "c", "abab", "abc", "cab", "cc", "ababab", ... }。

上述常量和算子形成了克莱尼代数

很多课本使用对选择使用符号, +替代竖杠。

为了避免括号,假定Kleene星号有最高优先级,接着是串接,接着是并集。如果没有歧义则可以省略括号。例如,(ab)c可以写为abca|(b(c*))可以写为a|bc*

例子:

  • a|b*指示{a, ε, b, bb, bbb, ...}。
  • (a|b)*指示由包括空串、任意数目个ab字符组成的所有字符串的集合。
  • ab*(c|ε)指示开始于一个a接着零或多个b和最终可选的一个c的字符串的集合。

正则表达式的定义非常精简,避免多余的量词?+,它们可以被表达为:a+ = aa*a? = (a|ε)。有时增加补算子~;~R指示在Σ*上的不在R中的所有字符串的集合。补算子是多余的,因为它使用其他算子来表达(尽管计算这种表示的过程是复杂的,而结果可能以指数增大)。

这种意义上的正则表达式可以表达正则语言,精确的是可被有限状态自动机接受的语言类。但是在简洁性上有重要区别。某类正则语言只能用大小指数增长的自动机来描述,而要求的正则表达式的长度只线性的增长。

正则表达式对应于乔姆斯基层级类型-3文法。在另一方面,在正则表达式和不导致这种大小上的爆炸的非确定有限状态自动机(NFA)之间有简单的映射;为此NFA经常被用作正则表达式的替代表示。

我们还要在这种形式化中研究表达力。如下面例子所展示的,不同的正则表达式可以表达同样的语言:这种形式化中存在着冗余。

有可能对两个给定正则表达式写一个算法来判定它们所描述的语言是否本质上相等,简约每个表达式到极小确定有限自动机,确定它们是否同构(等价)。

这种冗余可以消减到什么程度?我们可以找到仍有完全表达力的正则表达式的有趣的子集吗? Kleene星号和并集明显是需要的,但是我们或许可以限制它们的使用。这提出了一个令人惊奇的困难问题。因为正则表达式如此简单,没有办法在语法上把它重写成某种规范形式。过去公理化的缺乏导致了星号高度问题。最近Dexter Kozen用克莱尼代数公理化了正则表达式。

很多现实世界的“正则表达式”引擎实现了不能用正则表达式代数表达的特征。[來源請求]

基本语法[编辑]

一個正则表达式通常被稱為一個模式(pattern),為用来描述或者匹配一系列符合某个句法规则的字符串。例如:HandelHändelHaendel這三个字符串,都可以由「H(a|ä|ae)ndel」这个模式来描述。大部分正则表达式的形式都有如下的结构:

选择
|竖线符代表选择(即并集),具有最低优先级。例如「gray|grey」可以匹配grey或gray。
数量限定
某个字符后的数量限定符用来限定前面这个字符允许出现的个数。最常见的数量限定符包括“+”、“?”和“*”(不加数量限定则代表出现一次且仅出现一次):
+加号代表前面的字符必须至少出现一次。(1次、或多次)。例如,「goo+gle」可以匹配googlegoooglegoooogle等;
?问号代表前面的字符最多只可以出现一次。(0次、或1次)。例如,「colou?r」可以匹配color或者colour;
*星号代表前面的字符可以不出现,也可以出现一次或者多次。(0次、或1次、或多次)。例如,「0*42」可以匹配42042004200042等。
匹配
圆括号可以用来定义操作符的范围和优先度。例如,「gr(a|e)y」等价于「gray|grey」,「(grand)?father」匹配fathergrandfather

上述这些构造子都可以自由组合,因此,「H(ae?|ä)ndel」和「H(a|ae|ä)ndel」是相同的。

精确的语法可能因不同的工具或程序而异。

PCRE表达式全集[编辑]

正则表达式有多種不同的风格。下表是在PCRE英语Perl_Compatible_Regular_Expressions中元字符及其在正则表达式上下文中的行为的一个完整列表,适用于Perl或者Python编程语言(grep或者egrep的正则表达式文法是PCRE的子集):

字符 描述
\ 共计12个)、或一个向后引用(backreferences)、或一个八进制转义符。例如,「n」匹配字符「n」。「\n」匹配一个换行符。序列「\\」匹配「\」而「\(」则匹配「(」。
^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配「\n」或「\r」之后的位置。
$ 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配「\n」或「\r」之前的位置。
* 匹配前面的子表达式零次或多次。例如,zo*能匹配「z」、「zo」以及「zoo」。*等价于{0,}。
+ 匹配前面的子表达式一次或多次。例如,「zo+」能匹配「zo」以及「zoo」,但不能匹配「z」。+等价于{1,}。
? 匹配前面的子表达式零次或一次。例如,「do(es)?」可以匹配「do」或「does」中的「do」。?等价于{0,1}。
{n} n是一个非负整数。匹配确定的n次。例如,「o{2}」不能匹配「Bob」中的「o」,但是能匹配「food」中的两个o。
{n,} n是一个非负整数。至少匹配n次。例如,「o{2,}」不能匹配「Bob」中的「o」,但能匹配「foooood」中的所有o。「o{1,}」等价于「o+」。「o{0,}」则等价于「o*」。
{n,m} mn均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,「o{1,3}」将匹配「fooooood」中的前三个o。「o{0,1}」等价于「o?」。请注意在逗号和两个数之间不能有空格。
? 非贪心量化(Non-greedy quantifiers):当该字符紧跟在任何一个其他重复修饰符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串「oooo」,「o+?」将匹配单个「o」,而「o+」将匹配所有「o」。
. 匹配除「\n」之外的任何单个字符。要匹配包括「\n」在内的任何字符,请使用像「(.|\n)」的模式。
(pattern) 匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括號字符,请使用「\(」或「\)」。
(?:pattern) 匹配pattern但不获取匹配的子字符串(shy groups),也就是说这是一个非获取匹配,不存储匹配的子字符串用于向后引用。这在使用或字符「(|)」来组合一个模式的各个部分是很有用。例如「industr(?:y|ies)」就是一个比「industry|industries」更简略的表达式。
(?=pattern) 正向肯定预查(look ahead positive assert),在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,「Windows(?=95|98|NT|2000)」能匹配「Windows2000」中的「Windows」,但不能匹配「Windows3.1」中的「Windows」。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。
(?!pattern) 正向否定预查(negative assert),在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如「Windows(?!95|98|NT|2000)」能匹配「Windows3.1」中的「Windows」,但不能匹配「Windows2000」中的「Windows」。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始
(?<=pattern) 反向(look behind)肯定预查,与正向肯定预查类似,只是方向相反。例如,「(?<=95|98|NT|2000)Windows」能匹配「2000Windows」中的「Windows」,但不能匹配「3.1Windows」中的「Windows」。
(?<!pattern) 反向否定预查,与正向否定预查类似,只是方向相反。例如「(?<!95|98|NT|2000)Windows」能匹配「3.1Windows」中的「Windows」,但不能匹配「2000Windows」中的「Windows」。
x|y 匹配x或y。例如,「z|food」能匹配「z」或「food」。「(?:z|f)ood」则匹配「zood」或「food」。
[xyz] 字符集合(character class)。匹配所包含的任意一个字符。例如,「[abc]」可以匹配「plain」中的「a」。特殊字符仅有反斜线\保持特殊含义,用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合;如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述;如果如果出现在首位(或末尾)则仅作为普通字符。右方括号应转义出现,也可以作为首位字符出现。
[^xyz] 排除型字符集合(negated character classes)。匹配未列出的任意字符。例如,「[^abc]」可以匹配「plain」中的「plin」。
[a-z] 字符范围。匹配指定范围内的任意字符。例如,「[a-z]」可以匹配「a」到「z」范围内的任意小写字母字符。
[^a-z] 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如,「[^a-z]」可以匹配任何不在「a」到「z」范围内的任意字符。
[:name:] 增加命名字符类(named character class)[註 1]中的字符到表达式。只能用于方括号表达式。
[=elt=] 增加当前locale下排序(collate)等价于字符“elt”的元素。例如,[=a=]可能会增加ä、á、à、ă、ắ、ằ、ẵ、ẳ、â、ấ、ầ、ẫ、ẩ、ǎ、å、ǻ、ä、ǟ、ã、ȧ、ǡ、ą、ā、ả、ȁ、ȃ、ạ、ặ、ậ、ḁ、ⱥ、ᶏ、ɐ、ɑ 。只能用于方括号表达式。
[.elt.] 增加排序元素(collation element)elt到表达式中。这是因为某些排序元素由多个字符组成。例如,29个字母表的西班牙语, "CH"作为单个字母排在字母C之后,因此会产生如此排序“cinco, credo, chispa”。只能用于方括号表达式。
\b 匹配一个单词边界,也就是指单词和空格间的位置。例如,「er\b」可以匹配「never」中的「er」,但不能匹配「verb」中的「er」。
\B 匹配非单词边界。「er\B」能匹配「verb」中的「er」,但不能匹配「never」中的「er」。
\cx 匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的「c」字符。
\d 匹配一个数字字符。等价于[0-9]。注意Unicode正则表达式会匹配全角数字字符。
\D 匹配一个非数字字符。等价于[^0-9]。
\f 匹配一个换页符。等价于\x0c和\cL。
\n 匹配一个换行符。等价于\x0a和\cJ。
\r 匹配一个回车符。等价于\x0d和\cM。
\s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。注意Unicode正则表达式会匹配全角空格符。
\S 匹配任何非空白字符。等价于[^ \f\n\r\t\v]。
\t 匹配一个制表符。等价于\x09和\cI。
\v 匹配一个垂直制表符。等价于\x0b和\cK。
\w 匹配包括下划线的任何单词字符。等价于「[A-Za-z0-9_]」。注意Unicode正则表达式会匹配中文字符。
\W 匹配任何非单词字符。等价于「[^A-Za-z0-9_]」。
\ck 匹配控制转义字符。k代表一个字符。等价于「Ctrl-k」。用于ECMA语法。
\xnn 十六进制转义字符序列。匹配两个十六进制数字nn表示的字符。例如,「\x41」匹配「A」。「\x041」则等价于「\x04&1」。正則表达式中可以使用ASCII编码。.
\num 向后引用(back-reference)一个子字符串(substring),该子字符串与正则表达式的第num个用括号围起来的捕捉群(capture group)子表达式(subexpression)匹配。其中num是从1开始的十进制正整数,其上限可能是9[註 2]、31、[註 3]99甚至无限。[註 4]例如:「(.)\1」匹配两个连续的相同字符。
\n 标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n为一个八进制转义值。
\nm 3位八进制数字,标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式,则nm为向后引用。如果\nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若nm均为八进制数字(0-7),则\nm将匹配八进制转义值nm
\nml 如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。
\un Unicode转义字符序列。其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。

Unicode处理[编辑]

在.NET、Java、JavaScript、Python的正则表达式中,可以用\uXXXX表示一个Unicode字符,其中XXXX为四位16进制数字。

Unicode字符的三种性质:[1]

  • Unicode Property:字符属于标点、空格、字母等等。每个Unicode字符只能属于唯一Unicode Property。.NET、Java、PHP和Ruby等语言支持。具体分类为:
    • 字符\p{L}
      • \p{Ll}或\p{Lowercase_Letter}:小写字符(必须有大写的形式)
      • \p{Lu}或\p{Uppercase_Letter}: 大写字符(必须有小写的形式)
      • \p{Lt}或\p{Titlecase_Letter}: 全词首字母大写的字符
      • \p{L&}或\p{Cased_Letter}: 存在大小写形式的字符(Ll, Lu, Lt的组合)
      • \p{Lm}或\p{Modifier_Letter}: 音标修饰字符英语Spacing Modifier Letters
      • \p{Lo}或\p{Other_Letter}: 不具有大小写的字符或字形
    • 附加符号\p{M}
      • \p{Mn}或\p{Non_Spacing_Mark}: 与其他字符结合,不额外占用空间的字符,例如日耳曼語元音變音
      • \p{Mc}或\p{Spacing_Combining_Mark}: 与其他字符结合,不额外占用空间的字符,例如馬拉雅拉姆文#元音字母及附标
      • \p{Me}或\p{Enclosing_Mark}: 包含其他字符的字符,例如圆圈、方块、
    • 分隔符p{Z}
      • \p{Zs}或\p{Space_Separator}: a whitespace character that is invisible, but does take up space.
      • \p{Zl}或\p{Line_Separator}: line separator character U+2028.
      • \p{Zp}或\p{Paragraph_Separator}: paragraph separator character U+2029
    • 符号\p{S}
      • \p{Sm}或\p{Math_Symbol}: 数学符号
      • \p{Sc}或\p{Currency_Symbol}: 通货符号
      • \p{Sk}或\p{Modifier_Symbol}: 组合为其他字符的符号
      • \p{So}或\p{Other_Symbol}: 其他符号
    • 数值字符\p{N}
      • \p{Nd}或\p{Decimal_Digit_Number}: 所有文本中的数字0至9字符,不含形意符号
      • \p{Nl}或\p{Letter_Number}: 看起来像字母的符号,包含罗马数字
      • \p{No}或\p{Other_Number}: 上角标或下角标数字,或者其他不属于0至9的数字。不含形意符号
    • 标点符号\p{P}
      • \p{Pd}或\p{Dash_Punctuation}: 任何种类的连字号连接号
      • \p{Ps}或\p{Open_Punctuation}: 任何种类开括号
      • \p{Pe}或\p{Close_Punctuation}: 任何种类闭括号
      • \p{Pi}或\p{Initial_Punctuation}: 任何种类开引号
      • \p{Pf}或\p{Final_Punctuation}: 任何种类闭引号
      • \p{Pc}或\p{Connector_Punctuation}: 连接词的标点符号,如下划线
      • \p{Po}或\p{Other_Punctuation}: 其他标点符号
    • 其它符号\p{C}(包括不可见控制字符与未用码位
      • \p{Cc}或\p{Control}: ASCIILatin-1控制字符0x00–0x1F与0x7F–0x9F.
      • \p{Cf}或\p{Format}: 不可见的格式化指示字符
      • \p{Co}或\p{Private_Use}: 私用码位
      • \p{Cs}或\p{Surrogate}: UTF-16编码的代理对的一半
      • \p{Cn}或\p{Unassigned}: 未被使用的码位
  • Unicode Block:按照编码区间划分Unicode字符,每个Unicode Block中的字符编码属于一个编码区间。例如Java语言\p{ InCJK_Compatibility_Ideographs },.NET语言\p{ IsCJK_Compatibility_Ideographs }
  • Unicode Script:按照字符所属的书写系统来划分Unicode字符。PHP和Ruby(版本不低于1.9)支持Unicode Script。例如\p{Han}表示汉语(中文字符)。

这三种Unicode性质对应的字符组补集是将开头的\p改为\P,其它不变。

POSIX字符组[编辑]

POSIX字符组 说明 ASCII环境 Unicode环境
[:alnum:] 字母字符和数字字符 [a-zA-Z0-9] [\p{L&}\p{Nd}]
[:alpha:] 字母 [a-zA-Z] \p{L&}
[:ascii:] ASCII字符 [\x00-\x7F] \p{InBasicLatin}
[:blank:] 空格字符和制表符 [ \t] [\p{Zs}\t]
[:cntrl:] 控制字符 [\x00-\x1F\x7F] \p{Cc}
[:digit:] 数字字符 [0-9] \p{Nd}
[:graph:] 空白字符之外的字符 [\x21-\x7E] [^\p{Z}\p{C}]
[:lower:] 小写字母字符 [a-z] \p{Ll}
[:print:] 类似[:graph:],但包括空白字符 [\x20-\x7E] \P{C}
[:punct:] 标点符号 }~-] [\p{P}\p{S}]
[:space:] 空白字符 [ \t\r\n\v\f] [\p{Z}\t\r\n\v\f]
[:upper:] 大写字母字符 [A-Z] \p{Lu}
[:word:] 字母字符 [A-Za-z0-9_] [\p{L}\p{N}\p{Pc}]
[:xdigit:] 十六进制字符 [A-Fa-f0-9] [A-Fa-f0-9]

優先權[编辑]

 優先權 符號
最高 \
( )、(?: )、(?= )、[ ]
*、+、?、{n}、{n,}、{m,n}
^、$、中介字符
次最低 串接,即相邻字符连接在一起
最低 |

範例[编辑]

以下是以PHP的語法所寫的範例
  • 驗證字串是否只含數字與英文,字串長度並在4~16個字元之間
<?php
$str = 'a1234';
if (preg_match("/^[a-zA-Z0-9]{4,16}$/", $str)) {
    echo "驗證成功";
} else {
    echo "驗證失敗";
}
?>
<?php
$str = 'a1234';
if (preg_match("/^[A-Za-z]\d{9}$/", $str)) {
    echo "驗證成功";
} else {
    echo "驗證失敗";
}
?>
  • 以下示例是用Perl语言写的,与上面的示例功能相同
print $str = "a1234" =~ m:^[a-zA-Z0-9]{4,16}$: ? "COMFIRM" : "FAILED";
print $str = "a1234" =~ m"^\w[12]\d{8}$" ? "COMFIRM" : "INVALID";

相關條目[编辑]

外部链接[编辑]

Wikibooks-logo.svg
您可以在維基教科書中查找此百科条目的相關電子教程:

注释[编辑]

  1. ^ 命名字符类。对于C++11的regex_traits::lookup_classname,缺省返回字符类的名字:"alnum", "apha", "blank", "cntrl", "digit", "graph", "lower", "print", "punct", "space", "upper", "xdigit", "d", "s", "w"
  2. ^ 命名字符类 BRE与grep最多只能向后引用到9
  3. ^ Visual C++的regex库最多只能向后引用到31
  4. ^ ECMAScript不限向后引用的上限

参考文献[编辑]

  1. ^ Unicode Regular Expressions