引言
正則表達式(regular expression)描述了一種字符串匹配的模式,可以用來:(1)檢查一個串中是否含有符合某個規(guī)則的子串,并且可以得到這個子串;(2)根據(jù)匹配規(guī)則對字符串進行靈活的替換操作。
正則表達式學習起來其實是很簡單的,不多的幾個較為抽象的概念也很容易理解。之所以很多人感覺正則表達式比較復雜,一方面是因為大多數(shù)的文檔沒有做到由淺入深地講解,概念上沒有注意先后順序,給讀者的理解帶來困難;另一方面,各種引擎自帶的文檔一般都要介紹它特有的功能,然而這部分特有的功能并不是我們首先要理解的。
文章中的每一個舉例,都可以點擊進入到測試頁面進行測試。閑話少說,開始。
1. 正則表達式規(guī)則
1.1 普通字符
字母、數(shù)字、漢字、下劃線、以及后邊章節(jié)中沒有特殊定義的標點符號,都是"普通字符"。表達式中的普通字符,在匹配一個字符串的時候,匹配與之相同的一個字符。
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"c";匹配到的位置是:開始于2,結(jié)束于3。(注:下標從0開始還是從1開始,因當前編程語言的不同而可能不同)
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"bcd";匹配到的位置是:開始于1,結(jié)束于4。
1.2 簡單的轉(zhuǎn)義字符
一些不便書寫的字符,采用在前面加 "\" 的方法。這些字符其實我們都已經(jīng)熟知了。
表達式 | 可匹配 |
\r, \n | 代表回車和換行符 |
\t | 制表符 |
\\ | 代表 "\" 本身 |
還有其他一些在后邊章節(jié)中有特殊用處的標點符號,在前面加 "\" 后,就代表該符號本身。比如:^, $ 都有特殊意義,如果要想匹配字符串中 "^" 和 "$" 字符,則表達式就需要寫成 "\^" 和 "\$"。
表達式 | 可匹配 |
\^ | 匹配 ^ 符號本身 |
\$ | 匹配 $ 符號本身 |
\. | 匹配小數(shù)點(.)本身 |
這些轉(zhuǎn)義字符的匹配方法與 "普通字符" 是類似的。也是匹配與之相同的一個字符。
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"$d";匹配到的位置是:開始于3,結(jié)束于5。
1.3 能夠與 ‘多種字符‘ 匹配的表達式
正則表達式中的一些表示方法,可以匹配 ‘多種字符‘ 其中的任意一個字符。比如,表達式 "\d" 可以匹配任意一個數(shù)字。雖然可以匹配其中任意字符,但是只能是一個,不是多個。這就好比玩撲克牌時候,大小王可以代替任意一張牌,但是只能代替一張牌。
表達式 | 可匹配 |
\d | 任意一個數(shù)字,0~9 中的任意一個 |
\w | 任意一個字母或數(shù)字或下劃線,也就是 A~Z,a~z,0~9,_ 中任意一個 |
\s | 包括空格、制表符、換頁符等空白字符的其中任意一個 |
. | 小數(shù)點可以匹配除了換行符(\n)以外的任意一個字符 |
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"12";匹配到的位置是:開始于3,結(jié)束于5。
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"aa1";匹配到的位置是:開始于1,結(jié)束于4。
1.4 自定義能夠匹配 ‘多種字符‘ 的表達式
使用方括號 [ ] 包含一系列字符,能夠匹配其中任意一個字符。用 [^ ] 包含一系列字符,則能夠匹配其中字符之外的任意一個字符。同樣的道理,雖然可以匹配其中任意一個,但是只能是一個,不是多個。
表達式 | 可匹配 |
[ab5@] | 匹配 "a" 或 "b" 或 "5" 或 "@" |
[^abc] | 匹配 "a","b","c" 之外的任意一個字符 |
[f-k] | 匹配 "f"~"k" 之間的任意一個字母 |
[^A-F0-3] | 匹配 "A"~"F","0"~"3" 之外的任意一個字符 |
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"bc";匹配到的位置是:開始于1,結(jié)束于3。
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"1";匹配到的位置是:開始于3,結(jié)束于4。
1.5 修飾匹配次數(shù)的特殊符號
前面章節(jié)中講到的表達式,無論是只能匹配一種字符的表達式,還是可以匹配多種字符其中任意一個的表達式,都只能匹配一次。如果使用表達式再加上修飾匹配次數(shù)的特殊符號,那么不用重復書寫表達式就可以重復匹配。
使用方法是:"次數(shù)修飾"放在"被修飾的表達式"后邊。比如:"[bcd][bcd]" 可以寫成 "[bcd]{2}"。
表達式 | 作用 |
{n} | 表達式重復n次,比如:; |
{m,n} | |
{m,} | |
+ | |
* |
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"12.5";匹配到的位置是:開始于10,結(jié)束于14。
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"goooooogle";匹配到的位置是:開始于7,結(jié)束于17。
1.6 其他一些代表抽象意義的特殊符號
一些符號在表達式中代表抽象的特殊意義:
表達式 | 作用 |
^ | 與字符串開始的地方匹配,不匹配任何字符 |
$ | 與字符串結(jié)束的地方匹配,不匹配任何字符 |
\b | 匹配一個單詞邊界,也就是單詞和空格之間的位置,不匹配任何字符 |
進一步的文字說明仍然比較抽象,因此,舉例幫助大家理解。
,匹配結(jié)果是:失敗。因為 "^" 要求與字符串開始的地方匹配,因此,只有當 "aaa" 位于字符串的開頭的時候,"^aaa" 才能匹配,。
,匹配結(jié)果是:失敗。因為 "$" 要求與字符串結(jié)束的地方匹配,因此,只有當 "aaa" 位于字符串的結(jié)尾的時候,"aaa$" 才能匹配,。
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"@a";匹配到的位置是:開始于2,結(jié)束于4。
進一步說明:"\b" 與 "^" 和 "$" 類似,本身不匹配任何字符,但是它要求它在匹配結(jié)果中所處位置的左右兩邊,其中一邊是 "\w" 范圍,另一邊是 非"\w" 的范圍。
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"end";匹配到的位置是:開始于15,結(jié)束于18。
一些符號可以影響表達式內(nèi)部的子表達式之間的關系:
表達式 | 作用 |
| | 左右兩邊表達式之間 "或" 關系,匹配左邊或者右邊 |
( ) | (1). 在被修飾匹配次數(shù)的時候,括號中的表達式可以作為整體被修飾 |
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"Tom";匹配到的位置是:開始于4,結(jié)束于7。匹配下一個時,匹配結(jié)果是:成功;匹配到的內(nèi)容是:"Jack";匹配到的位置時:開始于15,結(jié)束于19。
,匹配結(jié)果是:成功;匹配到內(nèi)容是:"go go go";匹配到的位置是:開始于6,結(jié)束于14。
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是:"¥20.5";匹配到的位置是:開始于6,結(jié)束于10。單獨獲取括號范圍匹配到的內(nèi)容是:"20.5"。
2. 正則表達式中的一些高級規(guī)則
2.1 匹配次數(shù)中的貪婪與非貪婪
在使用修飾匹配次數(shù)的特殊符號時,有幾種表示方法可以使同一個表達式能夠匹配不同的次數(shù),比如:"{m,n}", "{m,}", "?", "*", "+",具體匹配的次數(shù)隨被匹配的字符串而定。這種重復匹配不定次數(shù)的表達式在匹配過程中,總是盡可能多的匹配。比如,針對文本 "dxxxdxxxd",舉例如下:
表達式 | 匹配結(jié)果 |
由此可見,"\w+" 在匹配的時候,總是盡可能多的匹配符合它規(guī)則的字符。雖然第二個舉例中,它沒有匹配最后一個 "d",但那也是為了讓整個表達式能夠匹配成功。同理,帶 "*" 和 "{m,n}" 的表達式都是盡可能地多匹配,帶 "?" 的表達式在可匹配可不匹配的時候,也是盡可能的 "要匹配"。這 種匹配原則就叫作 "貪婪" 模式 。
非貪婪模式:
在修飾匹配次數(shù)的特殊符號后再加上一個 "?" 號,則可以使匹配次數(shù)不定的表達式盡可能少的匹配,使可匹配可不匹配的表達式,盡可能的 "不匹配"。這種匹配原則叫作 "非貪婪" 模式,也叫作 "勉強" 模式。如果少匹配就會導致整個表達式匹配失敗的時候,與貪婪模式類似,非貪婪模式會最小限度的再匹配一些,以使整個表達式匹配成功。舉例如下,針對文本 "dxxxdxxxd" 舉例:
表達式 | 匹配結(jié)果 |
更多的情況,舉例如下:
,匹配的結(jié)果是:成功;匹配到的內(nèi)容是 "<td><p>aa</p></td> <td><p>bb</p></td>" 整個字符串, 表達式中的 "</td>" 將與字符串中最后一個 "</td>" 匹配。
,將只得到 "<td><p>aa</p></td>", 再次匹配下一個時,可以得到第二個 "<td><p>bb</p></td>"。
2.2 反向引用 \1, \2...
表達式在匹配時,表達式引擎會將小括號 "( )" 包含的表達式所匹配到的字符串記錄下來。在獲取匹配結(jié)果的時候,小括號包含的表達式所匹配到的字符串可以單獨獲取。這一點,在前面的舉例中,已經(jīng)多次展示了。在實際應用場合中,當用某種邊界來查找,而所要獲取的內(nèi)容又不包含邊界時,必須使用小括號來指定所要的范圍。比如前面的 "<td>(.*?)</td>"。
其實,"小括號包含的表達式所匹配到的字符串" 不僅是在匹配結(jié)束后才可以使用,在匹配過程中也可以使用。表達式后邊的部分,可以引用前面 "括號內(nèi)的子匹配已經(jīng)匹配到的字符串"。引用方法是 "\" 加上一個數(shù)字。"\1" 引用第1對括號內(nèi)匹配到的字符串,"\2" 引用第2對括號內(nèi)匹配到的字符串……以此類推,如果一對括號內(nèi)包含另一對括號,則外層的括號先排序號。換句話說,哪一對的左括號 "(" 在前,那這一對就先排序號。
舉例如下:
,匹配結(jié)果是:成功;匹配到的內(nèi)容是:" ‘Hello‘ "。再次匹配下一個時,可以匹配到 " "World" "。
,匹配結(jié)果是:成功;匹配到的內(nèi)容是 "ccccc"。再次匹配下一個時,將得到 999999999。這個表達式要求 "\w" 范圍的字符至少重復5次,。
,匹配結(jié)果是成功。如果 "<td>" 與 "</td>" 不配對,則會匹配失??;如果改成其他配對,也可以匹配成功。
2.3 預搜索,不匹配;反向預搜索,不匹配
前面的章節(jié)中,我講到了幾個代表抽象意義的特殊符號:"^","$","\b"。它們都有一個共同點,那就是:它們本身不匹配任何字符,只是對 "字符串的兩頭" 或者 "字符之間的縫隙" 附加了一個條件。理解到這個概念以后,本節(jié)將繼續(xù)介紹另外一種對 "兩頭" 或者 "縫隙" 附加條件的,更加靈活的表示方法。
正向預搜索:"(?=xxxxx)","(?!xxxxx)"
格式:"(?=xxxxx)",在被匹配的字符串中,它對所處的 "縫隙" 或者 "兩頭" 附加的條件是:所在縫隙的右側(cè),必須能夠匹配上 xxxxx 這部分的表達式。因為它只是在此作為這個縫隙上附加的條件,所以它并不影響后邊的表達式去真正匹配這個縫隙之后的字符。這就類似 "\b",本身不匹配任何字符。"\b" 只是將所在縫隙之前、之后的字符取來進行了一下判斷,不會影響后邊的表達式來真正的匹配。
,將只匹配 "Windows NT" 中的 "Windows ",其他的 "Windows " 字樣則不被匹配。
,將可以匹配6個"f"的前4個,可以匹配9個"9"的前7個。這個表達式可以讀解成:重復4次以上的字母數(shù)字,則匹配其剩下最后2位之前的部分。當然,這個表達式可以不這樣寫,在此的目的是作為演示之用。
格式:"(?!xxxxx)",所在縫隙的右側(cè),必須不能匹配 xxxxx 這部分表達式。
,將從頭一直匹配到 "stop" 之前的位置,如果字符串中沒有 "stop",則匹配整個字符串。
,只能匹配 "do"。在本條舉例中,"do" 后邊使用 "(?!\w)" 和使用 "\b" 效果是一樣的。
反向預搜索:"(?<=xxxxx)","(?<!xxxxx)"
這兩種格式的概念和正向預搜索是類似的,反向預搜索要求的條件是:所在縫隙的 "左側(cè)",兩種格式分別要求必須能夠匹配和必須不能夠匹配指定表達式,而不是去判斷右側(cè)。與 "正向預搜索" 一樣的是:它們都是對所在縫隙的一種附加條件,本身都不匹配任何字符。
舉例5:表達式 "(?<=\d{4})\d+(?=\d{4})" 在匹配 "1234567890123456" 時,將匹配除了前4個數(shù)字和后4個數(shù)字之外的中間8個數(shù)字。由于 JScript.RegExp 不支持反向預搜索,因此,本條舉例不能夠進行演示。很多其他的引擎可以支持反向預搜索,比如:Java 1.4 以上的 java.util.regex 包,.NET 中System.Text.RegularExpressions 命名空間,boost::regex 以及 GRETA 正則表達式庫等。
3. 其他通用規(guī)則
還有一些在各個正則表達式引擎之間比較通用的規(guī)則,在前面的講解過程中沒有提到。
3.1 表達式中,可以使用 "\xXX" 和 "\uXXXX" 表示一個字符("X" 表示一個十六進制數(shù))
形式 | 字符范圍 |
\xXX | |
\uXXXX |
3.2 在表達式 "\s","\d","\w","\b" 表示特殊意義的同時,對應的大寫字母表示相反的意義
表達式 | 可匹配 |
\S | |
\D | |
\W | |
\B |
3.3 在表達式中有特殊意義,需要添加 "\" 才能匹配該字符本身的字符匯總
字符 | 說明 |
^ | 匹配輸入字符串的開始位置。要匹配 "^" 字符本身,請使用 "\^" |
$ | 匹配輸入字符串的結(jié)尾位置。要匹配 "$" 字符本身,請使用 "\$" |
( ) | 標記一個子表達式的開始和結(jié)束位置。要匹配小括號,請使用 "\(" 和 "\)" |
[ ] | 用來自定義能夠匹配 ‘多種字符‘ 的表達式。要匹配中括號,請使用 "\[" 和 "\]" |
{ } | 修飾匹配次數(shù)的符號。要匹配大括號,請使用 "\{" 和 "\}" |
. | 匹配除了換行符(\n)以外的任意一個字符。要匹配小數(shù)點本身,請使用 "\." |
修飾匹配次數(shù)為 0 次或 1 次。要匹配 "?" 字符本身,請使用 "\?" | |
+ | 修飾匹配次數(shù)為至少 1 次。要匹配 "+" 字符本身,請使用 "\+" |
* | 修飾匹配次數(shù)為 0 次或任意次。要匹配 "*" 字符本身,請使用 "\*" |
| | 左右兩邊表達式之間 "或" 關系。匹配 "|" 本身,請使用 "\|" |
3.4 括號 "( )" 內(nèi)的子表達式,如果希望匹配結(jié)果不進行記錄供以后使用,可以使用 "(?:xxxxx)" 格式
舉例1:表達式 "(?:(\w)\1)+" 匹配 "a bbccdd efg" 時,結(jié)果是 "bbccdd"。括號 "(?:)" 范圍的匹配結(jié)果不進行記錄,因此 "(\w)" 使用 "\1" 來引用。
3.5 常用的表達式屬性設置簡介:Ignorecase,Singleline,Multiline,Global
表達式屬性 | 說明 |
Ignorecase | 默認情況下,表達式中的字母是要區(qū)分大小寫的。配置為 Ignorecase 可使匹配時不區(qū)分大小寫。有的表達式引擎,把 "大小寫" 概念延伸至 UNICODE 范圍的大小寫。 |
Singleline | 默認情況下,小數(shù)點 "." 匹配除了換行符(\n)以外的字符。配置為 Singleline 可使小數(shù)點可匹配包括換行符在內(nèi)的所有字符。 |
Multiline | 默認情況下,表達式 "^" 和 "$" 只匹配字符串的開始 ① 和結(jié)尾 ④ 位置。如: |
Global | 主要在將表達式用來替換時起作用,配置為 Global 表示替換所有的匹配。 |
4. 綜合提示
4.1 如果要要求表達式所匹配的內(nèi)容是整個字符串,而不是從字符串中找一部分,那么可以在表達式的首尾使用 "^" 和 "$",比如:"^\d+$" 要求整個字符串只有數(shù)字。
4.2 如果要求匹配的內(nèi)容是一個完整的單詞,而不會是單詞的一部分,那么在表達式首尾使用 "\b",比如:。
4.3 表達式不要匹配空字符串。否則會一直得到匹配成功,而結(jié)果什么都沒有匹配到。比如:準備寫一個匹配 "123"、"123."、"123.5"、".5" 這幾種形式的表達式時,整數(shù)、小數(shù)點、小數(shù)數(shù)字都可以省略,但是不要將表達式寫成:"\d*\.?\d*",因為如果什么都沒有,這個表達式也可以匹配成功。。
4.4 能匹配空字符串的子匹配不要循環(huán)無限次。如果括號內(nèi)的子表達式中的每一部分都可以匹配 0 次,而這個括號整體又可以匹配無限次,那么情況可能比上一條所說的更嚴重,匹配過程中可能死循環(huán)。雖然現(xiàn)在有些正則表達式引擎已經(jīng)通過辦法避免了這種情況出現(xiàn)死循環(huán)了,比如 .NET 的正則表達式,但是我們?nèi)匀粦摫M量避免出現(xiàn)這種情況。如果我們在寫表達式時遇到了死循環(huán),也可以從這一點入手,查找一下是否是本條所說的原因。
4.5 合理選擇貪婪模式與非貪婪模式。
4.6 或 "|" 的左右兩邊,對某個字符最好只有一邊可以匹配,這樣,不會因為 "|" 兩邊的表達式因為交換位置而有所不同。