本頁使用了標題或全文手工轉換

正則表達式

維基百科,自由的百科全書
跳到: 導覽搜尋
regular expression」的各地常用譯名
中國大陸 正則表達式
臺灣 正規表示式、規則運算式、正規表示法
常規表示式、正規運算式
常規表示法、正規表式
香港 正則表達式

正則表達式,又稱正規表示式正規表示法、正規運算式、規則運算式、常規表示法英語:Regular Expression,在代碼中常簡寫為regexregexpRE),是電腦科學的一個概念。正則表達式使用單個字串來描述、符合一系列符合某個句法規則的字串。在很多文字編輯器裏,正則運算式通常被用來檢索、替換那些符合某個模式的文字。

許多程式語言都支持利用正則運算式進行字串操作。例如,在Perl中就內建了一個功能強大的正則運算式引擎。正則運算式這個概念最初是由Unix中的工具軟件(例如sedgrep)普及開的。正則表達式通常縮寫成「regex」,單數有regexp、regex,複數有regexps、regexes、regexen。

譯名問題[編輯]

Regular Expression的「Regular」一般被譯為「正則」、「正規」、「常規」。此處的「Regular」即是「規則」、「規律」的意思,Regular Expression即「描述某種規則的表達式」之意。

歷史[編輯]

最初的正則表達式出現於理論電腦科學自動控制理論和形式化語言理論中。在這些領域中有對計算(自動控制)的模型和對形式化語言描述與分類的研究。

1940年,沃倫·麥卡洛克Walter Pitts英語Walter Pitts神經系統中的神經元描述成小而簡單的自動控制元。

1950年代,數學家斯蒂芬·科爾·克萊尼利用稱之為「正則集合」的數學符號來描述此模型。肯·湯普遜將此符號系統引入編輯器QED英語QED (text editor),隨後是Unix上的編輯器ed英語ed(text editor),並最終引入grep。自此以後,正則運算式被廣泛地應用於各種Unix或類Unix系統的工具中。正則表達式的POSIX規範,分為基本型正則表達式(Basic Regular Expression,BRE)和擴充功能型正則表達式(Extended Regular Express,ERE)兩大流派。在相容POSIX的UNIX系統上,grep和egrep之類的工具都遵循POSIX規範,一些數據庫系統中的正則表達式也符合POSIX規範。grep、vi、sed都屬於BRE,是歷史最早的正則表達式,因此元字元必須轉義之後才具有特殊含義。egrep、awk則屬於ERE,元字元不用轉義

Perl的正則表達式源自於Henry Spencer英語Henry Spencer於1986年1月19日發佈的regex,它已經演化成了PCRE(Perl相容正則表達式,Perl Compatible Regular Expressions英語PCRE,一個由Philip Hazel英語Philip Hazel開發的,為很多現代工具所使用的庫。

各電腦語言之間的正則運算式的整合目前[何時?]開展得很差。Perl6的子專案Apocalypse的設計中已考慮到了這點。

理論[編輯]

正則表達式可以用形式化語言理論的方式來表達。正則表達式由常數和算子組成,它們分別指示字串的集合和在這些集合上的運算。給定有限字母表Σ定義了下列常數:

  • (「空集」)指示集合
  • (「空串」)ε指示集合{ε}
  • (「文字字元」)在Σ中的a指示集合{a}

定義了下列運算:

  • (「串接」)RS指示集合{ αβ | α ∈ R,β ∈ S }。例如:{"ab","c"}{"d","ef"} = {"abd", "abef", "cd", "cef"}。
  • (「選擇」)R|S指示RS的並集。例如:{"ab", "c"}|{"ab", "d", "ef"}= {"ab", "c", "d", "ef"}
  • (「Kleene星號」)R* 指示包含ε並且閉合在字串串接下的R的最小超集。這是可以通過R中的零或多個字串的串接得到所有字串的集合。例如,{"ab", "c"}* = {ε, "ab", "c", "abab", "abc", "cab", "cc", "ababab", ... }。

上述常數和算子形成了克萊尼代數

很多課本使用對選擇使用符號, +替代豎槓。

為了避免括弧,假定Kleene星號有最高優先級,接着是串接,接着是並集。如果沒有歧義則可以省略括弧。例如,(ab)c可以寫為abca|(b(c*))可以寫為a|bc*

例子:

  • a|b*指示{a, ε, b, bb, bbb, ...}。
  • (a|b)*指示由包括空串、任意數目個ab字元組成的所有字串的集合。
  • ab*(c|ε)指示開始於一個a接着零或多個b和最終可選的一個c的字串的集合。

正則表達式的定義非常精簡,避免多餘的量詞?+,它們可以被表達為:a+ = aa*a? = (a|ε)。有時增加補算子~;~R指示在Σ*上的不在R中的所有字串的集合。補算子是多餘的,因為它使用其他算子來表達(儘管計算這種表示的過程是複雜的,而結果可能以指數增大)。

這種意義上的正則表達式可以表達正則語言,精確的是可被有限狀態自動機接受的語言類。但是在簡潔性上有重要區別。某類正則語言只能用大小指數增長的自動機來描述,而要求的正則表達式的長度只線性的增長。

正則表達式對應於喬姆斯基層級類型-3文法。在另一方面,在正則表達式和不導致這種大小上的爆炸的非確定有限狀態自動機(NFA)之間有簡單的對映;為此NFA經常被用作正則表達式的替代表示。

我們還要在這種形式化中研究表達力。如下面例子所展示的,不同的正則表達式可以表達同樣的語言:這種形式化中存在着冗餘。

有可能對兩個給定正則表達式寫一個演算法來判定它們所描述的語言是否本質上相等,簡約每個運算式到極小確定有限自動機,確定它們是否同構(等價)。

這種冗餘可以消減到什麼程度?我們可以找到仍有完全表達力的正則表達式的有趣的子集嗎? Kleene星號和並集明顯是需要的,但是我們或許可以限制它們的使用。這提出了一個令人驚奇的困難問題。因為正則表達式如此簡單,沒有辦法在語法上把它重寫成某種規範形式。過去公理化的缺乏導致了星號高度問題。最近Dexter Kozen用克萊尼代數公理化了正則表達式。

很多現實世界的「正則表達式」引擎實現了不能用正則表達式代數表達的特徵。[來源請求]

基本語法[編輯]

一個正則表達式通常被稱為一個模式(pattern),為用來描述或者符合一系列符合某個句法規則的字串。例如:HandelHändelHaendel這三個字串,都可以由「H(a|ä|ae)ndel」這個模式來描述。大部分正則表達式的形式都有如下的結構:

選擇
|豎線符代表選擇(即並集),具有最低優先級。例如「gray|grey」可以符合grey或gray。
數量限定
某個字元後的數量限定符用來限定前面這個字元允許出現的個數。最常見的數量限定符包括「+」、「?」和「*」(不加數量限定則代表出現一次且僅出現一次):
+加號代表前面的字元必須至少出現一次。(1次、或多次)。例如,「goo+gle」可以符合googlegoooglegoooogle等;
?問號代表前面的字元最多只可以出現一次。(0次、或1次)。例如,「colou?r」可以符合color或者colour;
*星號代表前面的字元可以不出現,也可以出現一次或者多次。(0次、或1次、或多次)。例如,「0*42」可以符合42042004200042等。
符合
圓括弧可以用來定義操作符的範圍和優先度。例如,「gr(a|e)y」等價於「gray|grey」,「(grand)?father」符合fathergrandfather

上述這些構造子都可以自由組合,因此,「H(ae?|ä)ndel」和「H(a|ae|ä)ndel」是相同的。

精確的語法可能因不同的工具或程式而異。

PCRE運算式全集[編輯]

正則表達式有多種不同的風格。下表是在PCRE英語Perl_Compatible_Regular_Expressions中元字元及其在正則表達式上下文中的行為的一個完整列表,適用於Perl或者Python程式語言(grep或者egrep的正則表達式文法是PCRE的子集):

字元 描述
\ 共計12個)、或一個向後參照(backreferences)、或一個八進制轉義符。例如,「n」符合字元「n」。「\n」符合一個換行符。序列「\\」符合「\」而「\(」則符合「(」。
^ 符合輸入字串的開始位置。如果設定了RegExp物件的Multiline屬性,^也符合「\n」或「\r」之後的位置。
$ 符合輸入字串的結束位置。如果設定了RegExp物件的Multiline屬性,$也符合「\n」或「\r」之前的位置。
* 符合前面的子運算式零次或多次。例如,zo*能符合「z」、「zo」以及「zoo」。*等價於{0,}。
+ 符合前面的子運算式一次或多次。例如,「zo+」能符合「zo」以及「zoo」,但不能符合「z」。+等價於{1,}。
? 符合前面的子運算式零次或一次。例如,「do(es)?」可以符合「do」或「does」中的「do」。?等價於{0,1}。
{n} n是一個非負整數。符合確定的n次。例如,「o{2}」不能符合「Bob」中的「o」,但是能符合「food」中的兩個o。
{n,} n是一個非負整數。至少符合n次。例如,「o{2,}」不能符合「Bob」中的「o」,但能符合「foooood」中的所有o。「o{1,}」等價於「o+」。「o{0,}」則等價於「o*」。
{n,m} mn均為非負整數,其中n<=m。最少符合n次且最多符合m次。例如,「o{1,3}」將符合「fooooood」中的前三個o。「o{0,1}」等價於「o?」。請注意在逗號和兩個數之間不能有空格。
? 非貪心量化(Non-greedy quantifiers):當該字元緊跟在任何一個其他重複修飾詞(*,+,?,{n},{n,},{n,m})後面時,符合模式是貪婪的。非貪婪模式儘可能少的符合所搜尋的字串,而預設的貪婪模式則儘可能多的符合所搜尋的字串。例如,對於字串「oooo」,「o+?」將符合單個「o」,而「o+」將符合所有「o」。
. 符合除「\n」之外的任何單個字元。要符合包括「\n」在內的任何字元,請使用像「(.|\n)」的模式。
(pattern) 符合pattern並取得這一符合的子字串。該子字串用於向後參照。所取得的符合可以從產生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中則使用$0…$9屬性。要符合圓括號字元,請使用「\(」或「\)」。
(?:pattern) 符合pattern但不取得符合的子字串(shy groups),也就是說這是一個非取得符合,不儲存符合的子字串用於向後參照。這在使用或字元「(|)」來組合一個模式的各個部分是很有用。例如「industr(?:y|ies)」就是一個比「industry|industries」更簡略的運算式。
(?=pattern) 正向肯定預查(look ahead positive assert),在任何符合pattern的字串開始處符合尋找字串。這是一個非取得符合,也就是說,該符合不需要取得供以後使用。例如,「Windows(?=95|98|NT|2000)」能符合「Windows2000」中的「Windows」,但不能符合「Windows3.1」中的「Windows」。預查不消耗字元,也就是說,在一個符合發生後,在最後一次符合之後立即開始下一次符合的搜尋,而不是從包含預查的字元之後開始。
(?!pattern) 正向否定預查(negative assert),在任何不符合pattern的字串開始處符合尋找字串。這是一個非取得符合,也就是說,該符合不需要取得供以後使用。例如「Windows(?!95|98|NT|2000)」能符合「Windows3.1」中的「Windows」,但不能符合「Windows2000」中的「Windows」。預查不消耗字元,也就是說,在一個符合發生後,在最後一次符合之後立即開始下一次符合的搜尋,而不是從包含預查的字元之後開始
(?<=pattern) 反向(look behind)肯定預查,與正向肯定預查類似,只是方向相反。例如,「(?<=95|98|NT|2000)Windows」能符合「2000Windows」中的「Windows」,但不能符合「3.1Windows」中的「Windows」。
(?<!pattern) 反向否定預查,與正向否定預查類似,只是方向相反。例如「(?<!95|98|NT|2000)Windows」能符合「3.1Windows」中的「Windows」,但不能符合「2000Windows」中的「Windows」。
x|y 符合x或y。例如,「z|food」能符合「z」或「food」。「(?:z|f)ood」則符合「zood」或「food」。
[xyz] 字元集合(character class)。符合所包含的任意一個字元。例如,「[abc]」可以符合「plain」中的「a」。特殊字元僅有反斜線\保持特殊含義,用於跳脫字元。其它特殊字元如星號、加號、各種括弧等均作為普通字元。脫字元^如果出現在首位則表示負值字元集合;如果出現在字串中間就僅作為普通字元。連字元 - 如果出現在字串中間表示字元範圍描述;如果如果出現在首位(或末尾)則僅作為普通字元。右方括弧應轉義出現,也可以作為首位字元出現。
[^xyz] 排除型字元集合(negated character classes)。符合未列出的任意字元。例如,「[^abc]」可以符合「plain」中的「plin」。
[a-z] 字元範圍。符合指定範圍內的任意字元。例如,「[a-z]」可以符合「a」到「z」範圍內的任意小寫字母字元。
[^a-z] 排除型的字元範圍。符合任何不在指定範圍內的任意字元。例如,「[^a-z]」可以符合任何不在「a」到「z」範圍內的任意字元。
[:name:] 增加命名字元類(named character class)[註 1]中的字元到運算式。只能用於方括弧運算式。
[=elt=] 增加當前locale下排序(collate)等價於字元「elt」的元素。例如,[=a=]可能會增加ä、á、à、ă、ắ、ằ、ẵ、ẳ、â、ấ、ầ、ẫ、ẩ、ǎ、å、ǻ、ä、ǟ、ã、ȧ、ǡ、ą、ā、ả、ȁ、ȃ、ạ、ặ、ậ、ḁ、ⱥ、ᶏ、ɐ、ɑ 。只能用於方括弧運算式。
[.elt.] 增加排序元素(collation element)elt到運算式中。這是因為某些排序元素由多個字元組成。例如,29個字母表的西班牙語, "CH"作為單個字母排在字母C之後,因此會產生如此排序「cinco, credo, chispa」。只能用於方括弧運算式。
\b 符合一個單詞邊界,也就是指單詞和空格間的位置。例如,「er\b」可以符合「never」中的「er」,但不能符合「verb」中的「er」。
\B 符合非單詞邊界。「er\B」能符合「verb」中的「er」,但不能符合「never」中的「er」。
\cx 符合由x指明的控制字元。例如,\cM符合一個Control-M或Enter符。x的值必須為A-Z或a-z之一。否則,將c視為一個原義的「c」字元。
\d 符合一個數字字元。等價於[0-9]。注意Unicode正則表達式會符合全形數字字元。
\D 符合一個非數字字元。等價於[^0-9]。
\f 符合一個換頁符。等價於\x0c和\cL。
\n 符合一個換行符。等價於\x0a和\cJ。
\r 符合一個Enter符。等價於\x0d和\cM。
\s 符合任何空白字元,包括空格、制表符、換頁符等等。等價於[ \f\n\r\t\v]。注意Unicode正則表達式會符合全形空格符。
\S 符合任何非空白字元。等價於[^ \f\n\r\t\v]。
\t 符合一個制表符。等價於\x09和\cI。
\v 符合一個垂直制表符。等價於\x0b和\cK。
\w 符合包括底線的任何單詞字元。等價於「[A-Za-z0-9_]」。注意Unicode正則表達式會符合中文字元。
\W 符合任何非單詞字元。等價於「[^A-Za-z0-9_]」。
\ck 符合控制跳脫字元。k代表一個字元。等價於「Ctrl-k」。用於ECMA語法。
\xnn 十六進制跳脫字元序列。符合兩個十六進制數字nn表示的字元。例如,「\x41」符合「A」。「\x041」則等價於「\x04&1」。正則運算式中可以使用ASCII編碼。.
\num 向後參照(back-reference)一個子字串(substring),該子字串與正則表達式的第num個用括弧圍起來的捕捉群(capture group)子運算式(subexpression)符合。其中num是從1開始的十進制正整數,其上限可能是9[註 2]、31、[註 3]99甚至無限。[註 4]例如:「(.)\1」符合兩個連續的相同字元。
\n 標識一個八進制轉義值或一個向後參照。如果\n之前至少n個取得的子運算式,則n為向後參照。否則,如果n為八進制數字(0-7),則n為一個八進制轉義值。
\nm 3位八進制數字,標識一個八進制轉義值或一個向後參照。如果\nm之前至少有nm個獲得子運算式,則nm為向後參照。如果\nm之前至少有n個取得,則n為一個後跟文字m的向後參照。如果前面的條件都不滿足,若nm均為八進制數字(0-7),則\nm將符合八進制轉義值nm
\nml 如果n為八進制數字(0-3),且m和l均為八進制數字(0-7),則符合八進制轉義值nml。
\un Unicode跳脫字元序列。其中n是一個用四個十六進制數字表示的Unicode字元。例如,\u00A9符合版權符號(©)。

Unicode處理[編輯]

在.NET、Java、JavaScript、Python的正則表達式中,可以用\uXXXX表示一個Unicode字元,其中XXXX為四位16進制數字。

Unicode字元的三種性質:[1]

  • Unicode Property:字元屬於標點、空格、字母等等。每個Unicode字元只能屬於唯一Unicode Property。.NET、Java、PHP和Ruby等語言支持。具體分類為:
    • 字元\p{L}
      • \p{Ll}或\p{Lowercase_Letter}:小寫字元(必須有大寫的形式)
      • \p{Lu}或\p{Uppercase_Letter}: 大寫字元(必須有小寫的形式)
      • \p{Lt}或\p{Titlecase_Letter}: 全詞首字母大寫的字元
      • \p{L&}或\p{Cased_Letter}: 存在大小寫形式的字元(Ll, Lu, Lt的組合)
      • \p{Lm}或\p{Modifier_Letter}: 音標修飾字元英語Spacing Modifier Letters
      • \p{Lo}或\p{Other_Letter}: 不具有大小寫的字元或字形
    • 附加符號\p{M}
      • \p{Mn}或\p{Non_Spacing_Mark}: 與其他字元結合,不額外佔用空間的字元,例如日耳曼語元音變音
      • \p{Mc}或\p{Spacing_Combining_Mark}: 與其他字元結合,不額外佔用空間的字元,例如馬拉雅拉姆文#元音字母及附標
      • \p{Me}或\p{Enclosing_Mark}: 包含其他字元的字元,例如圓圈、方塊、
    • 分隔符p{Z}
      • \p{Zs}或\p{Space_Separator}: a whitespace character that is invisible, but does take up space.
      • \p{Zl}或\p{Line_Separator}: line separator character U+2028.
      • \p{Zp}或\p{Paragraph_Separator}: paragraph separator character U+2029
    • 符號\p{S}
      • \p{Sm}或\p{Math_Symbol}: 數學符號
      • \p{Sc}或\p{Currency_Symbol}: 通貨符號
      • \p{Sk}或\p{Modifier_Symbol}: 組合為其他字元的符號
      • \p{So}或\p{Other_Symbol}: 其他符號
    • 數值字元\p{N}
      • \p{Nd}或\p{Decimal_Digit_Number}: 所有文字中的數字0至9字元,不含形意符號
      • \p{Nl}或\p{Letter_Number}: 看起來像字母的符號,包含羅馬數字
      • \p{No}或\p{Other_Number}: 上角標或下角標數字,或者其他不屬於0至9的數字。不含形意符號
    • 標點符號\p{P}
      • \p{Pd}或\p{Dash_Punctuation}: 任何種類的連字號連線號
      • \p{Ps}或\p{Open_Punctuation}: 任何種類開括弧
      • \p{Pe}或\p{Close_Punctuation}: 任何種類閉括弧
      • \p{Pi}或\p{Initial_Punctuation}: 任何種類開引號
      • \p{Pf}或\p{Final_Punctuation}: 任何種類閉引號
      • \p{Pc}或\p{Connector_Punctuation}: 連線詞的標點符號,如底線
      • \p{Po}或\p{Other_Punctuation}: 其他標點符號
    • 其它符號\p{C}(包括不可見控制字元與未用碼位
      • \p{Cc}或\p{Control}: ASCIILatin-1控制字元0x00–0x1F與0x7F–0x9F.
      • \p{Cf}或\p{Format}: 不可見的格式化指示字元
      • \p{Co}或\p{Private_Use}: 私用碼位
      • \p{Cs}或\p{Surrogate}: UTF-16編碼的代理對的一半
      • \p{Cn}或\p{Unassigned}: 未被使用的碼位
  • Unicode Block:按照編碼區間劃分Unicode字元,每個Unicode Block中的字元編碼屬於一個編碼區間。例如Java語言\p{ InCJK_Compatibility_Ideographs },.NET語言\p{ IsCJK_Compatibility_Ideographs }
  • Unicode Script:按照字元所屬的書寫系統來劃分Unicode字元。PHP和Ruby(版本不低於1.9)支持Unicode Script。例如\p{Han}表示漢語(中文字元)。

這三種Unicode性質對應的字元組補集是將開頭的\p改為\P,其它不變。

POSIX字元組[編輯]

POSIX字元組 說明 ASCII環境 Unicode環境
[:alnum:] 字母字元和數字字元 [a-zA-Z0-9] [\p{L&}\p{Nd}]
[:alpha:] 字母 [a-zA-Z] \p{L&}
[:ascii:] ASCII字元 [\x00-\x7F] \p{InBasicLatin}
[:blank:] 空格字元和制表符 [ \t] [\p{Zs}\t]
[:cntrl:] 控制字元 [\x00-\x1F\x7F] \p{Cc}
[:digit:] 數字字元 [0-9] \p{Nd}
[:graph:] 空白字元之外的字元 [\x21-\x7E] [^\p{Z}\p{C}]
[:lower:] 小寫字母字元 [a-z] \p{Ll}
[:print:] 類似[:graph:],但包括空白字元 [\x20-\x7E] \P{C}
[:punct:] 標點符號 }~-] [\p{P}\p{S}]
[:space:] 空白字元 [ \t\r\n\v\f] [\p{Z}\t\r\n\v\f]
[:upper:] 大寫字母字元 [A-Z] \p{Lu}
[:word:] 字母字元 [A-Za-z0-9_] [\p{L}\p{N}\p{Pc}]
[:xdigit:] 十六進制字元 [A-Fa-f0-9] [A-Fa-f0-9]

優先權[編輯]

 優先權 符號
最高 \
( )、(?: )、(?= )、[ ]
*、+、?、{n}、{n,}、{m,n}
^、$、中介字元
次最低 串接,即相鄰字元連線在一起
最低 |

範例[編輯]

以下是以PHP的語法所寫的範例
  • 驗證字串是否只含數字與英文,字串長度並在4~16個字元之間
<?php
$str = 'a1234';
if (preg_match("/^[a-zA-Z0-9]{4,16}$/", $str)) {
    echo "驗證成功";
} else {
    echo "驗證失敗";
}
?>
<?php
$str = 'a1234';
if (preg_match("/^[A-Za-z]\d{9}$/", $str)) {
    echo "驗證成功";
} else {
    echo "驗證失敗";
}
?>
  • 以下範例是用Perl語言寫的,與上面的範例功能相同
print $str = "a1234" =~ m:^[a-zA-Z0-9]{4,16}$: ? "COMFIRM" : "FAILED";
print $str = "a1234" =~ m"^\w[12]\d{8}$" ? "COMFIRM" : "INVALID";

相關條目[編輯]

外部連結[編輯]

Wikibooks-logo.svg
您可以在維基教科書中尋找此百科條目的相關電子教程:

注釋[編輯]

  1. ^ 命名字元類。對於C++11的regex_traits::lookup_classname,預設返回字元類的名字:"alnum", "apha", "blank", "cntrl", "digit", "graph", "lower", "print", "punct", "space", "upper", "xdigit", "d", "s", "w"
  2. ^ 命名字元類 BRE與grep最多只能向後參照到9
  3. ^ Visual C++的regex庫最多只能向後參照到31
  4. ^ ECMAScript不限向後參照的上限

參考文獻[編輯]

  1. ^ Unicode Regular Expressions