[tn] fix phone and keep space for chinese-english mixture (#80)

Author: pengzhendong

tn/chinese/data/char/fullwidth_to_halfwidth.tsv

@@ -1,6 +1,6 @@
-，	, 
-。	. 
-．	. 
+，	,
+。	.
+．	.
 “	"
 ”	"
 ！	!

tn/chinese/rules/cardinal.py

@@ -15,7 +15,7 @@
 from tn.processor import Processor
 
 from pynini import accep, cross, string_file
-from pynini.lib.pynutil import delete, insert
+from pynini.lib.pynutil import add_weight, delete, insert
 
 
 class Cardinal(Processor):
@@ -67,10 +67,14 @@ def build_tagger(self):
             | cross('二万', '两万'))
         self.number = accep('约').ques + number.optimize()
 
-        # cardinal string like 110 or 127.0.0.1, used in phone, ID, IP, etc.
+        # cardinal string like 110 or 127.0.0.1, used in ID, IP, etc.
         cardinal = digits.plus + (digits | dot).plus.ques + digits.plus
         # xxxx-xxx-xxx
-        cardinal |= digits.plus + (delete('-') + digits.plus).closure(2)
+        cardinal |= digits.plus + (delete('-') + digits.plus)**2
+        # three or five or eleven phone numbers
+        phone_digits = digits @ self.build_rule(cross('一', '幺'))
+        phone = phone_digits**3 | phone_digits**5 | phone_digits**11
+        cardinal |= add_weight(phone, -1.0)
 
         tagger = insert('value: "') + cardinal + insert('"')
         self.tagger = self.add_tokens(tagger)

tn/chinese/rules/postprocessor.py

@@ -44,7 +44,4 @@ def __init__(self, remove_puncts=False, full_to_half=True, tag_oov=False):
             oov = difference(self.VCHAR, charset)
             processor @= Tagger('oov', oov, self.VSIGMA)._tagger
 
-        # remove leading and trailing spaces
-        processor @= self.build_rule(delete(' ').star, l='[BOS]')
-        processor @= self.build_rule(delete(' ').star, r='[EOS]')
         self.processor = processor.optimize()

tn/chinese/test/data/cardinal.txt

@@ -1,2 +1,2 @@
-110 => 一一零
+110 => 幺幺零
 127.0.0.1 => 一二七点零点零点一

tn/chinese/test/data/normalizer.txt

@@ -28,8 +28,8 @@
 最高气温38°C => 最高气温三十八摄氏度
 实际面积120m² => 实际面积一百二十平方米
 渲染速度10ms一帧 => 渲染速度十毫秒一帧
-可以打我手机13501234567 => 可以打我手机一三五零一二三四五六七
-可以拨打12306来咨询 => 可以拨打一二三零六来咨询
+可以打我手机13501234567 => 可以打我手机幺三五零幺二三四五六七
+可以拨打12306来咨询 => 可以拨打幺二三零六来咨询
 这儿有只鸟儿 => 这有只鸟
 这事儿好办 => 这事好办
 我儿子喜欢这地儿 => 我儿子喜欢这地