半年前我對正則表達(dá)式產(chǎn)生了興趣,在網(wǎng)上查找過不少資料,看過不少的教程,最后在使用一個(gè)正則表達(dá)式工具RegexBuddy時(shí)發(fā)現(xiàn)他的教程寫的非常好,可以說是我目前見過最好的正則表達(dá)式教程。于是一直想把他翻譯過來。這個(gè)愿望直到這個(gè)五一長假才得以實(shí)現(xiàn),結(jié)果就有了這篇文章。關(guān)于本文的名字,使用“深入淺出”似乎已經(jīng)太俗。但是通讀原文以后,覺得只有用“深入淺出”才能準(zhǔn)確的表達(dá)出該教程給我的感受,所以也就不能免俗了。
本文是Jan Goyvaerts為RegexBuddy寫的教程的譯文,版權(quán)歸原作者所有,歡迎轉(zhuǎn)載。但是為了尊重原作者和譯者的勞動(dòng),請注明出處!謝謝!
1. 什么是正則表達(dá)式
基本說來,正則表達(dá)式是一種用來描述一定數(shù)量文本的模式。Regex代表Regular Express。本文將用<<regex>>來表示一段具體的正則表達(dá)式。
一段文本就是最基本的模式,簡單的匹配相同的文本。
2. 不同的正則表達(dá)式引擎
正則表達(dá)式引擎是一種可以處理正則表達(dá)式的軟件。通常,引擎是更大的應(yīng)用程序的一部分。在軟件世界,不同的正則表達(dá)式并不互相兼容。本教程會(huì)集中討論P(yáng)erl 5 類型的引擎,因?yàn)檫@種引擎是應(yīng)用最廣泛的引擎。同時(shí)我們也會(huì)提到一些和其他引擎的區(qū)別。許多近代的引擎都很類似,但不完全一樣。例如.NET正則庫,JDK正則包。
3. 文字符號
最基本的正則表達(dá)式由單個(gè)文字符號組成。如<<a>>,它將匹配字符串中第一次出現(xiàn)的字符“a”。如對字符串“Jack is a boy”。“J”后的“a”將被匹配。而第二個(gè)“a”將不會(huì)被匹配。
正則表達(dá)式也可以匹配第二個(gè)“a”,這必須是你告訴正則表達(dá)式引擎從第一次匹配的地方開始搜索。在文本編輯器中,你可以使用“查找下一個(gè)”。在編程語言中,會(huì)有一個(gè)函數(shù)可以使你從前一次匹配的位置開始繼續(xù)向后搜索。
類似的,<<cat>>會(huì)匹配“About cats and dogs”中的“cat”。這等于是告訴正則表達(dá)式引擎,找到一個(gè)<<c>>,緊跟一個(gè)<<a>>,再跟一個(gè)<<t>>。
要注意,正則表達(dá)式引擎缺省是大小寫敏感的。除非你告訴引擎忽略大小寫,否則<<cat>>不會(huì)匹配“Cat”。
· 特殊字符
對于文字字符,有12個(gè)字符被保留作特殊用途。他們是:
[ ] \ ^ $ . | ? * + ( )
這些特殊字符也被稱作元字符。
如果你想在正則表達(dá)式中將這些字符用作文本字符,你需要用反斜杠“\”對其進(jìn)行換碼 (escape)。例如你想匹配“1+1=2”,正確的表達(dá)式為<<1\+1=2>>.
需要注意的是,<<1+1=2>>也是有效的正則表達(dá)式。但它不會(huì)匹配“1+1=2”,而會(huì)匹配“123+111=234”中的“111=2”。因?yàn)椤?”在這里表示特殊含義(重復(fù)1次到多次)。
在編程語言中,要注意,一些特殊的字符會(huì)先被編譯器處理,然后再傳遞給正則引擎。因此正則表達(dá)式<<1\+2=2>>在C++中要寫成“1\\+1=2”。為了匹配“C:\temp”,你要用正則表達(dá)式<<C:\\temp>>。而在C++中,正則表達(dá)式則變成了“C:\\\\temp”。
· 不可顯示字符
可以使用特殊字符序列來代表某些不可顯示字符:
<<\t>>代表Tab(0x09)
<<\r>>代表回車符(0x0D)
<<\n>>代表換行符(0x0A)
要注意的是Windows中文本文件使用“\r\n”來結(jié)束一行而Unix使用“\n”。
4. 正則表達(dá)式引擎的內(nèi)部工作機(jī)制
知道正則表達(dá)式引擎是如何工作的有助于你很快理解為何某個(gè)正則表達(dá)式不像你期望的那樣工作。
有兩種類型的引擎:文本導(dǎo)向(text-directed)的引擎和正則導(dǎo)向(regex-directed)的引擎。Jeffrey Friedl把他們稱作DFA和NFA引擎。本文談到的是正則導(dǎo)向的引擎。這是因?yàn)橐恍┓浅S杏玫奶匦裕纭岸栊浴绷吭~(lazy quantifiers)和反向引用(backreferences),只能在正則導(dǎo)向的引擎中實(shí)現(xiàn)。所以毫不意外這種引擎是目前最流行的引擎。
你可以輕易分辨出所使用的引擎是文本導(dǎo)向還是正則導(dǎo)向。如果反向引用或“惰性”量詞被實(shí)現(xiàn),則可以肯定你使用的引擎是正則導(dǎo)向的。你可以作如下測試:將正則表達(dá)式<<regex|regex not>>應(yīng)用到字符串“regex not”。如果匹配的結(jié)果是regex,則引擎是正則導(dǎo)向的。如果結(jié)果是regex not,則是文本導(dǎo)向的。因?yàn)檎齽t導(dǎo)向的引擎是“猴急”的,它會(huì)很急切的進(jìn)行表功,報(bào)告它找到的第一個(gè)匹配 。
· 正則導(dǎo)向的引擎總是返回最左邊的匹配
這是需要你理解的很重要的一點(diǎn):即使以后有可能發(fā)現(xiàn)一個(gè)“更好”的匹配,正則導(dǎo)向的引擎也總是返回最左邊的匹配。
當(dāng)把<<cat>>應(yīng)用到“He captured a catfish for his cat”,引擎先比較<<c>>和“H”,結(jié)果失敗了。于是引擎再比較<<c>>和“e”,也失敗了。直到第四個(gè)字符,<<c>>匹配了“c”。<<a>>匹配了第五個(gè)字符。到第六個(gè)字符<<t>>沒能匹配“p”,也失敗了。引擎再繼續(xù)從第五個(gè)字符重新檢查匹配性。直到第十五個(gè)字符開始,<<cat>>匹配上了“catfish”中的“cat”,正則表達(dá)式引擎急切的返回第一個(gè)匹配的結(jié)果,而不會(huì)再繼續(xù)查找是否有其他更好的匹配。
5. 字符集
字符集是由一對方括號“[]”括起來的字符集合。使用字符集,你可以告訴正則表達(dá)式引擎僅僅匹配多個(gè)字符中的一個(gè)。如果你想匹配一個(gè)“a”或一個(gè)“e”,使用<<[ae]>>。你可以使用<<gr[ae]y>>匹配gray或grey。這在你不確定你要搜索的字符是采用美國英語還是英國英語時(shí)特別有用。相反,<<gr[ae]y>>將不會(huì)匹配graay或graey。字符集中的字符順序并沒有什么關(guān)系,結(jié)果都是相同的。
你可以使用連字符“-”定義一個(gè)字符范圍作為字符集。<<[0-9]>>匹配0到9之間的單個(gè)數(shù)字。你可以使用不止一個(gè)范圍。<<[0-9a-fA-F] >>匹配單個(gè)的十六進(jìn)制數(shù)字,并且大小寫不敏感。你也可以結(jié)合范圍定義與單個(gè)字符定義。<<[0-9a-fxA-FX]>>匹配一個(gè)十六進(jìn)制數(shù)字或字母X。再次強(qiáng)調(diào)一下,字符和范圍定義的先后順序?qū)Y(jié)果沒有影響。
· 字符集的一些應(yīng)用
查找一個(gè)可能有拼寫錯(cuò)誤的單詞,比如<<sep[ae]r[ae]te>> 或 <<li[cs]en[cs]e>>。
查找程序語言的標(biāo)識符,<<A-Za-z_][A-Za-z_0-9]*>>。(*表示重復(fù)0或多次)
查找C風(fēng)格的十六進(jìn)制數(shù)<<0[xX][A-Fa-f0-9]+>>。(+表示重復(fù)一次或多次)
· 取反字符集
在左方括號“[”后面緊跟一個(gè)尖括號“^”,將會(huì)對字符集取反。結(jié)果是字符集將匹配任何不在方括號中的字符。不像“.”,取反字符集是可以匹配回車換行符的。
需要記住的很重要的一點(diǎn)是,取反字符集必須要匹配一個(gè)字符。<<q[^u]>>并不意味著:匹配一個(gè)q,后面沒有u跟著。它意味著:匹配一個(gè)q,后面跟著一個(gè)不是u的字符。所以它不會(huì)匹配“Iraq”中的q,而會(huì)匹配“Iraq is a country”中的q和一個(gè)空格符。事實(shí)上,空格符是匹配中的一部分,因?yàn)樗且粋(gè)“不是u的字符”。
如果你只想匹配一個(gè)q,條件是q后面有一個(gè)不是u的字符,我們可以用后面將講到的向前查看來解決。
· 字符集中的元字符
需要注意的是,在字符集中只有4個(gè) 字符具有特殊含義。它們是:“] \ ^ -”!癩”代表字符集定義的結(jié)束;“\”代表轉(zhuǎn)義;“^”代表取反;“-”代表范圍定義。其他常見的元字符在字符集定義內(nèi)部都是正常字符,不需要轉(zhuǎn)義。例如,要搜索星號*或加號+,你可以用<<[+*]>>。當(dāng)然,如果你對那些通常的元字符進(jìn)行轉(zhuǎn)義,你的正則表達(dá)式一樣會(huì)工作得很好,但是這會(huì)降低可讀性。
在字符集定義中為了將反斜杠“\”作為一個(gè)文字字符而非特殊含義的字符,你需要用另一個(gè)反斜杠對它進(jìn)行轉(zhuǎn)義。<<[\\x]>>將會(huì)匹配一個(gè)反斜杠和一個(gè)X。“]^-”都可以用反斜杠進(jìn)行轉(zhuǎn)義,或者將他們放在一個(gè)不可能使用到他們特殊含義的位置。我們推薦后者,因?yàn)檫@樣可以增加可讀性。比如對于字符“^”,將它放在除了左括號“[”后面的位置,使用的都是文字字符含義而非取反含義。如<<[x^]>>會(huì)匹配一個(gè)x或^。<<[]x]>>會(huì)匹配一個(gè)“]”或“x”。<<[-x]>>或<<[x-]>>都會(huì)匹配一個(gè)“-”或“x”。
· 字符集的簡寫
因?yàn)橐恍┳址浅3S,所以有一些簡寫方式?/p>
<<\d>>代表<<[0-9]>>;
<<\w>>代表單詞字符。這個(gè)是隨正則表達(dá)式實(shí)現(xiàn)的不同而有些差異。絕大多數(shù)的正則表達(dá)式實(shí)現(xiàn)的單詞字符集都包含了<<A-Za-z0-9_]>>。
<<\s>>代表“白字符”。這個(gè)也是和不同的實(shí)現(xiàn)有關(guān)的。在絕大多數(shù)的實(shí)現(xiàn)中,都包含了空格符和Tab符,以及回車換行符<<\r\n>>。
字符集的縮寫形式可以用在方括號之內(nèi)或之外。<<\s\d>>匹配一個(gè)白字符后面緊跟一個(gè)數(shù)字。<<[\s\d]>>匹配單個(gè)白字符或數(shù)字。<<[\da-fA-F]>>將匹配一個(gè)十六進(jìn)制數(shù)字。
取反字符集的簡寫
<<[\S]>> = <<[^\s]>>
<<[\W]>> = <<[^\w]>>
<<[\D]>> = <<[^\d]>>
· 字符集的重復(fù)
如果你用“?*+”操作符來重復(fù)一個(gè)字符集,你將會(huì)重復(fù)整個(gè)字符集。而不僅是它匹配的那個(gè)字符。正則表達(dá)式<<[0-9]+>>會(huì)匹配837以及222。
如果你僅僅想重復(fù)被匹配的那個(gè)字符,可以用向后引用達(dá)到目的。我們以后將講到向后引用。
6. 使用?*或+ 進(jìn)行重復(fù)
?:告訴引擎匹配前導(dǎo)字符0次或一次。事實(shí)上是表示前導(dǎo)字符是可選的。
+:告訴引擎匹配前導(dǎo)字符1次或多次
*:告訴引擎匹配前導(dǎo)字符0次或多次
<[A-Za-z][A-Za-z0-9]*>匹配沒有屬性的HTML標(biāo)簽,“<”以及“>”是文字符號。第一個(gè)字符集匹配一個(gè)字母,第二個(gè)字符集匹配一個(gè)字母或數(shù)字。
我們似乎也可以用<[A-Za-z0-9]+>。但是它會(huì)匹配<1>。但是這個(gè)正則表達(dá)式在你知道你要搜索的字符串不包含類似的無效標(biāo)簽時(shí)還是足夠有效的。
· 限制性重復(fù)
許多現(xiàn)代的正則表達(dá)式實(shí)現(xiàn),都允許你定義對一個(gè)字符重復(fù)多少次。詞法是:{min,max}。min和max都是非負(fù)整數(shù)。如果逗號有而max被忽略了,則max沒有限制。如果逗號和max都被忽略了,則重復(fù)min次。
因此{(lán)0,}和*一樣,{1,}和+ 的作用一樣。
你可以用<<\b[1-9][0-9]{3}\b>>匹配1000~9999之間的數(shù)字(“\b”表示單詞邊界)。<<\b[1-9][0-9]{2,4}\b>>匹配一個(gè)在100~99999之間的數(shù)字。
· 注意貪婪性
假設(shè)你想用一個(gè)正則表達(dá)式匹配一個(gè)HTML標(biāo)簽。你知道輸入將會(huì)是一個(gè)有效的HTML文件,因此正則表達(dá)式不需要排除那些無效的標(biāo)簽。所以如果是在兩個(gè)尖括號之間的內(nèi)容,就應(yīng)該是一個(gè)HTML標(biāo)簽。
許多正則表達(dá)式的新手會(huì)首先想到用正則表達(dá)式<< <.+> >>,他們會(huì)很驚訝的發(fā)現(xiàn),對于測試字符串,“This is a <EM>first</EM> test”,你可能期望會(huì)返回<EM>,然后繼續(xù)進(jìn)行匹配的時(shí)候,返回</EM>。
但事實(shí)是不會(huì)。正則表達(dá)式將會(huì)匹配“<EM>first</EM>”。很顯然這不是我們想要的結(jié)果。原因在于“+”是貪婪的。也就是說,“+”會(huì)導(dǎo)致正則表達(dá)式引擎試圖盡可能的重復(fù)前導(dǎo)字符。只有當(dāng)這種重復(fù)會(huì)引起整個(gè)正則表達(dá)式匹配失敗的情況下,引擎會(huì)進(jìn)行回溯。也就是說,它會(huì)放棄最后一次的“重復(fù)”,然后處理正則表達(dá)式余下的部分。
和“+”類似,“?*”的重復(fù)也是貪婪的。
· 深入正則表達(dá)式引擎內(nèi)部
讓我們來看看正則引擎如何匹配前面的例子。第一個(gè)記號是“<”,這是一個(gè)文字符號。第二個(gè)符號是“.”,匹配了字符“E”,然后“+”一直可以匹配其余的字符,直到一行的結(jié)束。然后到了換行符,匹配失敗(“.”不匹配換行符)。于是引擎開始對下一個(gè)正則表達(dá)式符號進(jìn)行匹配。也即試圖匹配“>”。到目前為止,“<.+”已經(jīng)匹配了“<EM>first</EM> test”。引擎會(huì)試圖將“>”與換行符進(jìn)行匹配,結(jié)果失敗了。于是引擎進(jìn)行回溯。結(jié)果是現(xiàn)在“<.+”匹配“<EM>first</EM> tes”。于是引擎將“>”與“t”進(jìn)行匹配。顯然還是會(huì)失敗。這個(gè)過程繼續(xù),直到“<.+”匹配“<EM>first</EM”,“>”與“>”匹配。于是引擎找到了一個(gè)匹配“<EM>first</EM>”。記住,正則導(dǎo)向的引擎是“急切的”,所以它會(huì)急著報(bào)告它找到的第一個(gè)匹配。而不是繼續(xù)回溯,即使可能會(huì)有更好的匹配,例如“<EM>”。所以我們可以看到,由于“+”的貪婪性,使得正則表達(dá)式引擎返回了一個(gè)最左邊的最長的匹配。
· 用懶惰性取代貪婪性
一個(gè)用于修正以上問題的可能方案是用“+”的惰性代替貪婪性。你可以在“+”后面緊跟一個(gè)問號“?”來達(dá)到這一點(diǎn)!*”,“{}”和“?”表示的重復(fù)也可以用這個(gè)方案。因此在上面的例子中我們可以使用“<.+?>”。讓我們再來看看正則表達(dá)式引擎的處理過程。
再一次,正則表達(dá)式記號“<”會(huì)匹配字符串的第一個(gè)“<”。下一個(gè)正則記號是“.”。這次是一個(gè)懶惰的“+”來重復(fù)上一個(gè)字符。這告訴正則引擎,盡可能少的重復(fù)上一個(gè)字符。因此引擎匹配“.”和字符“E”,然后用“>”匹配“M”,結(jié)果失敗了。引擎會(huì)進(jìn)行回溯,和上一個(gè)例子不同,因?yàn)槭嵌栊灾貜?fù),所以引擎是擴(kuò)展惰性重復(fù)而不是減少,于是“<.+”現(xiàn)在被擴(kuò)展為“<EM”。引擎繼續(xù)匹配下一個(gè)記號“>”。這次得到了一個(gè)成功匹配。引擎于是報(bào)告“<EM>”是一個(gè)成功的匹配。整個(gè)過程大致如此。
· 惰性擴(kuò)展的一個(gè)替代方案
我們還有一個(gè)更好的替代方案?梢杂靡粋(gè)貪婪重復(fù)與一個(gè)取反字符集:“<[^>]+>”。之所以說這是一個(gè)更好的方案在于使用惰性重復(fù)時(shí),引擎會(huì)在找到一個(gè)成功匹配前對每一個(gè)字符進(jìn)行回溯。而使用取反字符集則不需要進(jìn)行回溯。
最后要記住的是,本教程僅僅談到的是正則導(dǎo)向的引擎。文本導(dǎo)向的引擎是不回溯的。但是同時(shí)他們也不支持惰性重復(fù)操作。
7. 使用“.”匹配幾乎任意字符
在正則表達(dá)式中,“.”是最常用的符號之一。不幸的是,它也是最容易被誤用的符號之一。
“.”匹配一個(gè)單個(gè)的字符而不用關(guān)心被匹配的字符是什么。唯一的例外是新行符。在本教程中談到的引擎,缺省情況下都是不匹配新行符的。因此在缺省情況下,“.”等于是字符集[^\n\r](Window)或[^\n]( Unix)的簡寫。
這個(gè)例外是因?yàn)闅v史的原因。因?yàn)樵缙谑褂谜齽t表達(dá)式的工具是基于行的。它們都是一行一行的讀入一個(gè)文件,將正則表達(dá)式分別應(yīng)用到每一行上去。在這些工具中,字符串是不包含新行符的。因此“.”也就從不匹配新行符。
現(xiàn)代的工具和語言能夠?qū)⒄齽t表達(dá)式應(yīng)用到很大的字符串甚至整個(gè)文件上去。本教程討論的所有正則表達(dá)式實(shí)現(xiàn)都提供一個(gè)選項(xiàng),可以使“.”匹配所有的字符,包括新行符。在RegexBuddy, EditPad Pro或PowerGREP等工具中,你可以簡單的選中“點(diǎn)號匹配新行符”。在Perl中,“.”可以匹配新行符的模式被稱作“單行模式”。很不幸,這是一個(gè)很容易混淆的名詞。因?yàn)檫有所謂“多行模式”。多行模式只影響行首行尾的錨定(anchor),而單行模式只影響“.”。
其他語言和正則表達(dá)式庫也采用了Perl的術(shù)語定義。當(dāng)在.NET Framework中使用正則表達(dá)式類時(shí),你可以用類似下面的語句來激活單行模式:Regex.Match(“string”,”regex”,RegexOptions.SingleLine)
· 保守的使用點(diǎn)號“.”
點(diǎn)號可以說是最強(qiáng)大的元字符。它允許你偷懶:用一個(gè)點(diǎn)號,就能匹配幾乎所有的字符。但是問題在于,它也常常會(huì)匹配不該匹配的字符。
我會(huì)以一個(gè)簡單的例子來說明。讓我們看看如何匹配一個(gè)具有“mm/dd/yy”格式的日期,但是我們想允許用戶來選擇分隔符。很快能想到的一個(gè)方案是<<\d\d.\d\d.\d\d>>?瓷先ニ芷ヅ淙掌凇02/12/03”。問題在于02512703也會(huì)被認(rèn)為是一個(gè)有效的日期。
<<\d\d[-/.]\d\d[-/.]\d\d>>看上去是一個(gè)好一點(diǎn)的解決方案。記住點(diǎn)號在一個(gè)字符集里不是元字符。這個(gè)方案遠(yuǎn)不夠完善,它會(huì)匹配“99/99/99”。而<<[0-1]\d[-/.][0-3]\d[-/.]\d\d>>又更進(jìn)一步。盡管他也會(huì)匹配“19/39/99”。你想要你的正則表達(dá)式達(dá)到如何完美的程度取決于你想達(dá)到什么樣的目的。如果你想校驗(yàn)用戶輸入,則需要盡可能的完美。如果你只是想分析一個(gè)已知的源,并且我們知道沒有錯(cuò)誤的數(shù)據(jù),用一個(gè)比較好的正則表達(dá)式來匹配你想要搜尋的字符就已經(jīng)足夠。
8. 字符串開始和結(jié)束的錨定
錨定和一般的正則表達(dá)式符號不同,它不匹配任何字符。相反,他們匹配的是字符之前或之后的位置。“^”匹配一行字符串第一個(gè)字符前的位置。<<^a>>將會(huì)匹配字符串“abc”中的a。<<^b>>將不會(huì)匹配“abc”中的任何字符。
類似的,$匹配字符串中最后一個(gè)字符的后面的位置。所以<<c$>>匹配“abc”中的c。
· 錨定的應(yīng)用
在編程語言中校驗(yàn)用戶輸入時(shí),使用錨定是非常重要的。如果你想校驗(yàn)用戶的輸入為整數(shù),用<<^\d+$>>。
用戶輸入中,常常會(huì)有多余的前導(dǎo)空格或結(jié)束空格。你可以用<<^\s*>>和<<\s*$>>來匹配前導(dǎo)空格或結(jié)束空格。
· 使用“^”和“$”作為行的開始和結(jié)束錨定
如果你有一個(gè)包含了多行的字符串。例如:“first line\n\rsecond line”(其中\(zhòng)n\r表示一個(gè)新行符)。常常需要對每行分別處理而不是整個(gè)字符串。因此,幾乎所有的正則表達(dá)式引擎都提供一個(gè)選項(xiàng),可以擴(kuò)展這兩種錨定的含義!癪”可以匹配字串的開始位置(在f之前),以及每一個(gè)新行符的后面位置(在\n\r和s之間)。類似的,$會(huì)匹配字串的結(jié)束位置(最后一個(gè)e之后),以及每個(gè)新行符的前面(在e與\n\r之間)。
在.NET中,當(dāng)你使用如下代碼時(shí),將會(huì)定義錨定匹配每一個(gè)新行符的前面和后面位置:Regex.Match("string", "regex", RegexOptions.Multiline)
應(yīng)用:string str = Regex.Replace(Original, "^", "> ", RegexOptions.Multiline)--將會(huì)在每行的行首插入“> ”。
· 絕對錨定
<<\A>>只匹配整個(gè)字符串的開始位置,<<\Z>>只匹配整個(gè)字符串的結(jié)束位置。即使你使用了“多行模式”,<<\A>>和<<\Z>>也從不匹配新行符。
即使\Z和$只匹配字符串的結(jié)束位置,仍然有一個(gè)例外的情況。如果字符串以新行符結(jié)束,則\Z和$將會(huì)匹配新行符前面的位置,而不是整個(gè)字符串的最后面。這個(gè)“改進(jìn)”是由Perl引進(jìn)的,然后被許多的正則表達(dá)式實(shí)現(xiàn)所遵循,包括Java,.NET等。如果應(yīng)用<<^[a-z]+$>>到“joe\n”,則匹配結(jié)果是“joe”而不是“joe\n”。
在本文中講述了正則表達(dá)式中的組與向后引用,先前向后查看,條件測試,單詞邊界,選擇符等表達(dá)式及例子,并分析了正則引擎在執(zhí)行匹配時(shí)的內(nèi)部機(jī)理。
本文是Jan Goyvaerts為RegexBuddy寫的教程的譯文,版權(quán)歸原作者所有,歡迎轉(zhuǎn)載。但是為了尊重原作者和譯者的勞動(dòng),請注明出處!謝謝!
9. 單詞邊界
元字符<<\b>>也是一種對位置進(jìn)行匹配的“錨”。這種匹配是0長度匹配。
有4種位置被認(rèn)為是“單詞邊界”:
1) 在字符串的第一個(gè)字符前的位置(如果字符串的第一個(gè)字符是一個(gè)“單詞字符”)
2) 在字符串的最后一個(gè)字符后的位置(如果字符串的最后一個(gè)字符是一個(gè)“單詞字符”)
3) 在一個(gè)“單詞字符”和“非單詞字符”之間,其中“非單詞字符”緊跟在“單詞字符”之后
4) 在一個(gè)“非單詞字符”和“單詞字符”之間,其中“單詞字符”緊跟在“非單詞字符”后面
“單詞字符”是可以用“\w”匹配的字符,“非單詞字符”是可以用“\W”匹配的字符。在大多數(shù)的正則表達(dá)式實(shí)現(xiàn)中,“單詞字符”通常包括<<[a-zA-Z0-9_]>>。
例如:<<\b4\b>>能夠匹配單個(gè)的4而不是一個(gè)更大數(shù)的一部分。這個(gè)正則表達(dá)式不會(huì)匹配“44”中的4。
換種說法,幾乎可以說<<\b>>匹配一個(gè)“字母數(shù)字序列”的開始和結(jié)束的位置。
“單詞邊界”的取反集為<<\B>>,他要匹配的位置是兩個(gè)“單詞字符”之間或者兩個(gè)“非單詞字符”之間的位置。
· 深入正則表達(dá)式引擎內(nèi)部
讓我們看看把正則表達(dá)式<<\bis\b>>應(yīng)用到字符串“This island is beautiful”。引擎先處理符號<<\b>>。因?yàn)閈b是0長度 ,所以第一個(gè)字符T前面的位置會(huì)被考察。因?yàn)門是一個(gè)“單詞字符”,而它前面的字符是一個(gè)空字符(void),所以\b匹配了單詞邊界。接著<<i>>和第一個(gè)字符“T”匹配失敗。匹配過程繼續(xù)進(jìn)行,直到第五個(gè)空格符,和第四個(gè)字符“s”之間又匹配了<<\b>>。然而空格符和<<i>>不匹配。繼續(xù)向后,到了第六個(gè)字符“i”,和第五個(gè)空格字符之間匹配了<<\b>>,然后<<is>>和第六、第七個(gè)字符都匹配了。然而第八個(gè)字符和第二個(gè)“單詞邊界”不匹配,所以匹配又失敗了。到了第13個(gè)字符i,因?yàn)楹颓懊嬉粋(gè)空格符形成“單詞邊界”,同時(shí)<<is>>和“is”匹配。引擎接著嘗試匹配第二個(gè)<<\b>>。因?yàn)榈?5個(gè)空格符和“s”形成單詞邊界,所以匹配成功。引擎“急著”返回成功匹配的結(jié)果。
10. 選擇符
正則表達(dá)式中“|”表示選擇。你可以用選擇符匹配多個(gè)可能的正則表達(dá)式中的一個(gè)。
如果你想搜索文字“cat”或“dog”,你可以用<<cat|dog>>。如果你想有更多的選擇,你只要擴(kuò)展列表<<cat|dog|mouse|fish>>。
選擇符在正則表達(dá)式中具有最低的優(yōu)先級,也就是說,它告訴引擎要么匹配選擇符左邊的所有表達(dá)式,要么匹配右邊的所有表達(dá)式。你也可以用圓括號來限制選擇符的作用范圍。如<<\b(cat|dog)\b>>,這樣告訴正則引擎把(cat|dog)當(dāng)成一個(gè)正則表達(dá)式單位來處理。
· 注意正則引擎的“急于表功”性
正則引擎是急切的,當(dāng)它找到一個(gè)有效的匹配時(shí),它會(huì)停止搜索。因此在一定條件下,選擇符兩邊的表達(dá)式的順序?qū)Y(jié)果會(huì)有影響。假設(shè)你想用正則表達(dá)式搜索一個(gè)編程語言的函數(shù)列表:Get,GetValue,Set或SetValue。一個(gè)明顯的解決方案是<<Get|GetValue|Set|SetValue>>。讓我們看看當(dāng)搜索SetValue時(shí)的結(jié)果。
因?yàn)?lt;<Get>>和<<GetValue>>都失敗了,而<<Set>>匹配成功。因?yàn)檎齽t導(dǎo)向的引擎都是“急切”的,所以它會(huì)返回第一個(gè)成功的匹配,就是“Set”,而不去繼續(xù)搜索是否有其他更好的匹配。
和我們期望的相反,正則表達(dá)式并沒有匹配整個(gè)字符串。有幾種可能的解決辦法。一是考慮到正則引擎的“急切”性,改變選項(xiàng)的順序,例如我們使用<<GetValue|Get|SetValue|Set>>,這樣我們就可以優(yōu)先搜索最長的匹配。我們也可以把四個(gè)選項(xiàng)結(jié)合起來成兩個(gè)選項(xiàng):<<Get(Value)?|Set(Value)?>>。因?yàn)閱柼栔貜?fù)符是貪婪的,所以SetValue總會(huì)在Set之前被匹配。
一個(gè)更好的方案是使用單詞邊界:<<\b(Get|GetValue|Set|SetValue)\b>>或<<\b(Get(Value)?|Set(Value)?\b>>。更進(jìn)一步,既然所有的選擇都有相同的結(jié)尾,我們可以把正則表達(dá)式優(yōu)化為<<\b(Get|Set)(Value)?\b>>。
11. 組與向后引用
把正則表達(dá)式的一部分放在圓括號內(nèi),你可以將它們形成組。然后你可以對整個(gè)組使用一些正則操作,例如重復(fù)操作符。
要注意的是,只有圓括號“()”才能用于形成組。“[]”用于定義字符集!皗}”用于定義重復(fù)操作。
當(dāng)用“()”定義了一個(gè)正則表達(dá)式組后,正則引擎則會(huì)把被匹配的組按照順序編號,存入緩存。當(dāng)對被匹配的組進(jìn)行向后引用的時(shí)候,可以用“\數(shù)字”的方式進(jìn)行引用。<<\1>>引用第一個(gè)匹配的后向引用組,<<\2>>引用第二個(gè)組,以此類推,<<\n>>引用第n個(gè)組。而<<\0>>則引用整個(gè)被匹配的正則表達(dá)式本身。我們看一個(gè)例子。
假設(shè)你想匹配一個(gè)HTML標(biāo)簽的開始標(biāo)簽和結(jié)束標(biāo)簽,以及標(biāo)簽中間的文本。比如<B>This is a test</B>,我們要匹配<B>和</B>以及中間的文字。我們可以用如下正則表達(dá)式:“<([A-Z][A-Z0-9]*)[^>]*>.*?</\1>”
首先,“<”將會(huì)匹配“<B>”的第一個(gè)字符“<”。然后[A-Z]匹配B,[A-Z0-9]*將會(huì)匹配0到多次字母數(shù)字,后面緊接著0到多個(gè)非“>”的字符。最后正則表達(dá)式的“>”將會(huì)匹配“<B>”的“>”。接下來正則引擎將對結(jié)束標(biāo)簽之前的字符進(jìn)行惰性匹配,直到遇到一個(gè)“</”符號。然后正則表達(dá)式中的“\1”表示對前面匹配的組“([A-Z][A-Z0-9]*)”進(jìn)行引用,在本例中,被引用的是標(biāo)簽名“B”。所以需要被匹配的結(jié)尾標(biāo)簽為“</B>”
你可以對相同的后向引用組進(jìn)行多次引用,<<([a-c])x\1x\1>>將匹配“axaxa”、“bxbxb”以及“cxcxc”。如果用數(shù)字形式引用的組沒有有效的匹配,則引用到的內(nèi)容簡單的為空。
一個(gè)后向引用不能用于它自身。<<([abc]\1)>>是錯(cuò)誤的。因此你不能將<<\0>>用于一個(gè)正則表達(dá)式匹配本身,它只能用于替換操作中。
后向引用不能用于字符集內(nèi)部。<<(a)[\1b]>>中的<<\1>>并不表示后向引用。在字符集內(nèi)部,<<\1>>可以被解釋為八進(jìn)制形式的轉(zhuǎn)碼。
向后引用會(huì)降低引擎的速度,因?yàn)樗枰鎯?chǔ)匹配的組。如果你不需要向后引用,你可以告訴引擎對某個(gè)組不存儲(chǔ)。例如:<<Get(?:Value)>>。其中“(”后面緊跟的“?:”會(huì)告訴引擎對于組(Value),不存儲(chǔ)匹配的值以供后向引用。
· 重復(fù)操作與后向引用
當(dāng)對組使用重復(fù)操作符時(shí),緩存里后向引用內(nèi)容會(huì)被不斷刷新,只保留最后匹配的內(nèi)容。例如:<<([abc]+)=\1>>將匹配“cab=cab”,但是<<([abc])+=\1>>卻不會(huì)。因?yàn)?[abc])第一次匹配“c”時(shí),“\1”代表“c”;然后([abc])會(huì)繼續(xù)匹配“a”和“b”。最后“\1”代表“b”,所以它會(huì)匹配“cab=b”。
應(yīng)用:檢查重復(fù)單詞--當(dāng)編輯文字時(shí),很容易就會(huì)輸入重復(fù)單詞,例如“the the”。使用<<\b(\w+)\s+\1\b>>可以檢測到這些重復(fù)單詞。要?jiǎng)h除第二個(gè)單詞,只要簡單的利用替換功能替換掉“\1”就可以了。
· 組的命名和引用
在PHP,Python中,可以用<<(?P<name>group)>>來對組進(jìn)行命名。在本例中,詞法?P<name>就是對組(group)進(jìn)行了命名。其中name是你對組的起的名字。你可以用(?P=name)進(jìn)行引用。
.NET的命名組
.NET framework也支持命名組。不幸的是,微軟的程序員們決定發(fā)明他們自己的語法,而不是沿用Perl、Python的規(guī)則。目前為止,還沒有任何其他的正則表達(dá)式實(shí)現(xiàn)支持微軟發(fā)明的語法。
下面是.NET中的例子:
(?<first>group)(?’second’group)
正如你所看到的,.NET提供兩種詞法來創(chuàng)建命名組:一是用尖括號“<>”,或者用單引號“’’”。尖括號在字符串中使用更方便,單引號在ASP代碼中更有用,因?yàn)锳SP代碼中“<>”被用作HTML標(biāo)簽。
要引用一個(gè)命名組,使用\k<name>或\k’name’.
當(dāng)進(jìn)行搜索替換時(shí),你可以用“${name}”來引用一個(gè)命名組。
12. 正則表達(dá)式的匹配模式
本教程所討論的正則表達(dá)式引擎都支持三種匹配模式:
<</i>>使正則表達(dá)式對大小寫不敏感,
<</s>>開啟“單行模式”,即點(diǎn)號“.”匹配新行符
<</m>>開啟“多行模式”,即“^”和“$”匹配新行符的前面和后面的位置。
· 在正則表達(dá)式內(nèi)部打開或關(guān)閉模式
如果你在正則表達(dá)式內(nèi)部插入修飾符(?ism),則該修飾符只對其右邊的正則表達(dá)式起作用。(?-i)是關(guān)閉大小寫不敏感。你可以很快的進(jìn)行測試。<<(?i)te(?-i)st>>應(yīng)該匹配TEst,但是不能匹配teST或TEST.
13. 原子組與防止回溯
在一些特殊情況下,因?yàn)榛厮輹?huì)使得引擎的效率極其低下。
讓我們看一個(gè)例子:要匹配這樣的字串,字串中的每個(gè)字段間用逗號做分隔符,第12個(gè)字段由P開頭。
我們?nèi)菀紫氲竭@樣的正則表達(dá)式<<^(.*?,){11}P>>。這個(gè)正則表達(dá)式在正常情況下工作的很好。但是在極端情況下,如果第12個(gè)字段不是由P開頭,則會(huì)發(fā)生災(zāi)難性的回溯。如要搜索的字串為“1,2,3,4,5,6,7,8,9,10,11,12,13”。首先,正則表達(dá)式一直成功匹配直到第12個(gè)字符。這時(shí),前面的正則表達(dá)式消耗的字串為“1,2,3,4,5,6,7,8,9,10,11,”,到了下一個(gè)字符,<<P>>并不匹配“12”。所以引擎進(jìn)行回溯,這時(shí)正則表達(dá)式消耗的字串為“1,2,3,4,5,6,7,8,9,10,11”。繼續(xù)下一次匹配過程,下一個(gè)正則符號為點(diǎn)號<<.>>,可以匹配下一個(gè)逗號“,”。然而<<,>>并不匹配字符“12”中的“1”。匹配失敗,繼續(xù)回溯。大家可以想象,這樣的回溯組合是個(gè)非常大的數(shù)量。因此可能會(huì)造成引擎崩潰。
用于阻止這樣巨大的回溯有幾種方案:
一種簡單的方案是盡可能的使匹配精確。用取反字符集代替點(diǎn)號。例如我們用如下正則表達(dá)式<<^([^,\r\n]*,){11}P>>,這樣可以使失敗回溯的次數(shù)下降到11次。
另一種方案是使用原子組。
原子組的目的是使正則引擎失敗的更快一點(diǎn)。因此可以有效的阻止海量回溯。原子組的語法是<<(?>正則表達(dá)式)>>。位于(?>)之間的所有正則表達(dá)式都會(huì)被認(rèn)為是一個(gè)單一的正則符號。一旦匹配失敗,引擎將會(huì)回溯到原子組前面的正則表達(dá)式部分。前面的例子用原子組可以表達(dá)成<<^(?>(.*?,){11})P>>。一旦第十二個(gè)字段匹配失敗,引擎回溯到原子組前面的<<^>>。
14. 向前查看與向后查看
Perl 5 引入了兩個(gè)強(qiáng)大的正則語法:“向前查看”和“向后查看”。他們也被稱作“零長度斷言”。他們和錨定一樣都是零長度的(所謂零長度即指該正則表達(dá)式不消耗被匹配的字符串)。不同之處在于“前后查看”會(huì)實(shí)際匹配字符,只是他們會(huì)拋棄匹配只返回匹配結(jié)果:匹配或不匹配。這就是為什么他們被稱作“斷言”。他們并不實(shí)際消耗字符串中的字符,而只是斷言一個(gè)匹配是否可能。
幾乎本文討論的所有正則表達(dá)式的實(shí)現(xiàn)都支持“向前向后查看”。唯一的一個(gè)例外是Javascript只支持向前查看。
· 肯定和否定式的向前查看
如我們前面提過的一個(gè)例子:要查找一個(gè)q,后面沒有緊跟一個(gè)u。也就是說,要么q后面沒有字符,要么后面的字符不是u。采用否定式向前查看后的一個(gè)解決方案為<<q(?!u)>>。否定式向前查看的語法是<<(?!查看的內(nèi)容)>>。
肯定式向前查看和否定式向前查看很類似:<<(?=查看的內(nèi)容)>>。
如果在“查看的內(nèi)容”部分有組,也會(huì)產(chǎn)生一個(gè)向后引用。但是向前查看本身并不會(huì)產(chǎn)生向后引用,也不會(huì)被計(jì)入向后引用的編號中。這是因?yàn)橄蚯安榭幢旧硎菚?huì)被拋棄掉的,只保留匹配與否的判斷結(jié)果。如果你想保留匹配的結(jié)果作為向后引用,你可以用<<(?=(regex))>>來產(chǎn)生一個(gè)向后引用。
· 肯定和否定式的先后查看
向后查看和向前查看有相同的效果,只是方向相反
否定式向后查看的語法是:<<(?<!查看內(nèi)容)>>
肯定式向后查看的語法是:<<(?<=查看內(nèi)容)>>
我們可以看到,和向前查看相比,多了一個(gè)表示方向的左尖括號。
例:<<(?<!a)b>>將會(huì)匹配一個(gè)沒有“a”作前導(dǎo)字符的“b”。
值得注意的是:向前查看從當(dāng)前字符串位置開始對“查看”正則表達(dá)式進(jìn)行匹配;向后查看則從當(dāng)前字符串位置開始先后回溯一個(gè)字符,然后再開始對“查看”正則表達(dá)式進(jìn)行匹配。
· 深入正則表達(dá)式引擎內(nèi)部
讓我們看一個(gè)簡單例子。
把正則表達(dá)式<<q(?!u)>>應(yīng)用到字符串“Iraq”。正則表達(dá)式的第一個(gè)符號是<<q>>。正如我們知道的,引擎在匹配<<q>>以前會(huì)掃過整個(gè)字符串。當(dāng)?shù)谒膫(gè)字符“q”被匹配后,“q”后面是空字符(void)。而下一個(gè)正則符號是向前查看。引擎注意到已經(jīng)進(jìn)入了一個(gè)向前查看正則表達(dá)式部分。下一個(gè)正則符號是<<u>>,和空字符不匹配,從而導(dǎo)致向前查看里的正則表達(dá)式匹配失敗。因?yàn)槭且粋(gè)否定式的向前查看,意味著整個(gè)向前查看結(jié)果是成功的。于是匹配結(jié)果“q”被返回了。
我們在把相同的正則表達(dá)式應(yīng)用到“quit”。<<q>>匹配了“q”。下一個(gè)正則符號是向前查看部分的<<u>>,它匹配了字符串中的第二個(gè)字符“i”。引擎繼續(xù)走到下個(gè)字符“i”。然而引擎這時(shí)注意到向前查看部分已經(jīng)處理完了,并且向前查看已經(jīng)成功。于是引擎拋棄被匹配的字符串部分,這將導(dǎo)致引擎回退到字符“u”。
因?yàn)橄蚯安榭词欠穸ㄊ降模馕吨榭床糠值某晒ζヅ鋵?dǎo)致了整個(gè)向前查看的失敗,因此引擎不得不進(jìn)行回溯。最后因?yàn)樵贈(zèng)]有其他的“q”和<<q>>匹配,所以整個(gè)匹配失敗了。
為了確保你能清楚地理解向前查看的實(shí)現(xiàn),讓我們把<<q(?=u)i>>應(yīng)用到“quit”。<<q>>首先匹配“q”。然后向前查看成功匹配“u”,匹配的部分被拋棄,只返回可以匹配的判斷結(jié)果。引擎從字符“i”回退到“u”。由于向前查看成功了,引擎繼續(xù)處理下一個(gè)正則符號<<i>>。結(jié)果發(fā)現(xiàn)<<i>>和“u”不匹配。因此匹配失敗了。由于后面沒有其他的“q”,整個(gè)正則表達(dá)式的匹配失敗了。
· 更進(jìn)一步理解正則表達(dá)式引擎內(nèi)部機(jī)制
讓我們把<<(?<=a)b>>應(yīng)用到“thingamabob”。引擎開始處理向后查看部分的正則符號和字符串中的第一個(gè)字符。在這個(gè)例子中,向后查看告訴正則表達(dá)式引擎回退一個(gè)字符,然后查看是否有一個(gè)“a”被匹配。因?yàn)樵凇皌”前面沒有字符,所以引擎不能回退。因此向后查看失敗了。引擎繼續(xù)走到下一個(gè)字符“h”。再一次,引擎暫時(shí)回退一個(gè)字符并檢查是否有個(gè)“a”被匹配。結(jié)果發(fā)現(xiàn)了一個(gè)“t”。向后查看又失敗了。
向后查看繼續(xù)失敗,直到正則表達(dá)式到達(dá)了字符串中的“m”,于是肯定式的向后查看被匹配了。因?yàn)樗橇汩L度的,字符串的當(dāng)前位置仍然是“m”。下一個(gè)正則符號是<<b>>,和“m”匹配失敗。下一個(gè)字符是字符串中的第二個(gè)“a”。引擎向后暫時(shí)回退一個(gè)字符,并且發(fā)現(xiàn)<<a>>不匹配“m”。
在下一個(gè)字符是字符串中的第一個(gè)“b”。引擎暫時(shí)性的向后退一個(gè)字符發(fā)現(xiàn)向后查看被滿足了,同時(shí)<<b>>匹配了“b”。因此整個(gè)正則表達(dá)式被匹配了。作為結(jié)果,正則表達(dá)式返回字符串中的第一個(gè)“b”。
· 向前向后查看的應(yīng)用
我們來看這樣一個(gè)例子:查找一個(gè)具有6位字符的,含有“cat”的單詞。
首先,我們可以不用向前向后查看來解決問題,例如:
<< cat\w{3}|\wcat\w{2}|\w{2}cat\w|\w{3}cat>>
足夠簡單吧!但是當(dāng)需求變成查找一個(gè)具有6-12位字符,含有“cat”,“dog”或“mouse”的單詞時(shí),這種方法就變得有些笨拙了。
我們來看看使用向前查看的方案。在這個(gè)例子中,我們有兩個(gè)基本需求要滿足:一是我們需要一個(gè)6位的字符,二是單詞含有“cat”。
滿足第一個(gè)需求的正則表達(dá)式為<<\b\w{6}\b>>。滿足第二個(gè)需求的正則表達(dá)式為<<\b\w*cat\w*\b>>。
把兩者結(jié)合起來,我們可以得到如下的正則表達(dá)式:
<<(?=\b\w{6}\b)\b\w*cat\w*\b>>
具體的匹配過程留給讀者。但是要注意的一點(diǎn)是,向前查看是不消耗字符的,因此當(dāng)判斷單詞滿足具有6個(gè)字符的條件后,引擎會(huì)從開始判斷前的位置繼續(xù)對后面的正則表達(dá)式進(jìn)行匹配。
最后作些優(yōu)化,可以得到下面的正則表達(dá)式:
<<\b(?=\w{6}\b)\w{0,3}cat\w*>>
15. 正則表達(dá)式中的條件測試
條件測試的語法為<<(?ifthen|else)>>!癷f”部分可以是向前向后查看表達(dá)式。如果用向前查看,則語法變?yōu)椋?lt;<(?(?=regex)then|else)>>,其中else部分是可選的。
如果if部分為true,則正則引擎會(huì)試圖匹配then部分,否則引擎會(huì)試圖匹配else部分。
需要記住的是,向前先后查看并不實(shí)際消耗任何字符,因此后面的then與else部分的匹配時(shí)從if測試前的部分開始進(jìn)行嘗試。
16. 為正則表達(dá)式添加注釋
在正則表達(dá)式中添加注釋的語法是:<<(?#comment)>>
例:為用于匹配有效日期的正則表達(dá)式添加注釋:
(?#year)(19|20)\d\d[- /.](?#month)(0[1-9]|1[012])[- /.](?#day)(0[1-9]|[12][0-9]|3[01])