fix(itn): 十七八万=>17~18万，四十五六块=>45-6块 (#123)

* fix(itn): 十七八美元 => ~18, 四十五六岁 => 45-6岁

* fix(itn): 十七八万=>17~18万，四十五六块=>45-6块

Author: xingchensong

itn/chinese/data/measure/units_en.tsv

@@ -28,6 +28,8 @@
 千赫兹	khz
 平方千米	km²
 公里	km
+公里每小时	km/h
+公里一小时	km/h
 千米	km
 千米每小时	km/h
 千米一小时	km/h

itn/chinese/data/money/symbol.tsv

@@ -3,9 +3,7 @@
 乌拉圭比索	$U
 美元	$
 英镑	£
-英镑	￡
 元	¥
-元	￥
 泰铢	฿
 柬埔寨瑞尔	៛
 哥斯达黎加科隆	₡
@@ -40,7 +38,6 @@
 阿尔巴尼亚列克	Lek
 洪都拉斯伦皮拉	L
 莫桑比克梅蒂卡尔	MT
-新台币	NT$
 博茨瓦纳普拉	P
 危地马拉格查尔	Q
 巴西雷亚尔	R$

itn/chinese/rules/cardinal.py

@@ -73,13 +73,22 @@ def build_tagger(self):
         # 负的xxx 1.11, 1.01
         number = sign.ques + number + (dot + digits.plus).ques
         # 五六万，三五千，六七百，三四十
-        number |= add_weight(
-            (digit + insert("0~") + digit + cross("十", "0")) |
-            (digit + insert("00~") + digit + cross("百", "00")) |
-            (digit + insert("000~") + digit + cross("千", "000")) |
-            (digit + insert("0000~") + digit + cross("万", "0000")), -1.0
-        )
+        special_2number = digit + insert("0~") + digit + cross("十", "0")
+        special_2number |= digit + insert("00~") + digit + cross("百", "00")
+        special_2number |= digit + insert("000~") + digit + cross("千", "000")
+        special_2number |= digit + insert("0000~") + digit + cross("万", "0000")
+        number |= special_2number
+        # 十七八美元 => $17~18, 四十五六岁 => 45-6岁,
+        # 三百七八公里 => 370-80km, 三百七八十千克 => 370-80kg
+        special_3number = cross('十', '1') + digit + insert("~1") + digit
+        special_3number |= digit + delete('十') + digit + insert("-") + digit
+        special_3number |= digit + delete('百') + digit + insert("0-") + digit \
+            + (insert("0") | add_weight(cross("十", "0"), -0.1))
+        number |= add_weight(special_3number, -100.0)
+
         self.number = number.optimize()
+        self.special_2number = special_2number.optimize()
+        self.special_3number = special_3number.optimize()
 
         # 十/百/千/万
         number_exclude_0_to_9 = teen | tens | hundred | thousand | ten_thousand
@@ -95,12 +104,11 @@ def build_tagger(self):
             (dot + digits.plus).plus
         )
         # 五六万，三五千，六七百，三四十
-        number_exclude_0_to_9 |= add_weight(
-            (digit + insert("0~") + digit + cross("十", "0")) |
-            (digit + insert("00~") + digit + cross("百", "00")) |
-            (digit + insert("000~") + digit + cross("千", "000")) |
-            (digit + insert("0000~") + digit + cross("万", "0000")), -1.0
-        )
+        # 十七八美元 => $17~18, 四十五六岁 => 45-6岁,
+        # 三百七八公里 => 370-80km, 三百七八十千克 => 370-80kg
+        number_exclude_0_to_9 |= special_2number
+        number_exclude_0_to_9 |= add_weight(special_3number, -100.0)
+
         self.number_exclude_0_to_9 = (sign.ques + number_exclude_0_to_9).optimize()  # noqa
 
         # cardinal string like 127.0.0.1, used in ID, IP, etc.

itn/chinese/rules/measure.py

@@ -36,7 +36,7 @@ def build_tagger(self):
         to = cross('到', '~') | cross('到百分之', '~')
 
         units = add_weight(units_en, -1.0) | \
-            ((accep('亿') | accep('兆') | accep('万')).ques + units_zh)
+            add_weight((accep('亿') | accep('兆') | accep('万')), -0.5).ques + units_zh
 
         number = Cardinal().number if self.enable_0_to_9 else \
             Cardinal().number_exclude_0_to_9
@@ -50,7 +50,7 @@ def build_tagger(self):
         # 十千米每小时 => 10km/h, 十一到一百千米每小时 => 11~100km/h
         measure = number + (to + number).ques + units
         # 七八块钱
-        measure |= add_weight(digit + insert("~") + digit + units, -1.0)
+        measure |= digit + insert("~") + digit + units
         tagger = insert('value: "') + (measure | percent) + insert('"')
 
         # 每小时十千米 => 10km/h, 每小时三十到三百一十一千米 => 30~311km/h

itn/chinese/rules/money.py

@@ -30,9 +30,12 @@ def __init__(self, enable_0_to_9=True):
     def build_tagger(self):
         code = string_file('itn/chinese/data/money/code.tsv')
         symbol = string_file('itn/chinese/data/money/symbol.tsv')
+        digit = string_file('itn/chinese/data/number/digit.tsv')  # 1 ~ 9
 
         number = Cardinal().number if self.enable_0_to_9 else \
             Cardinal().number_exclude_0_to_9
+        # 七八美元 => $7~8
+        number |= digit + insert("~") + digit
         tagger = (insert('value: "') + number + insert('"') +
                   insert(' currency: "') + (code | symbol) + insert('"'))
         self.tagger = self.add_tokens(tagger)

itn/chinese/test/data/cardinal.txt

@@ -6,3 +6,9 @@
 三五万 => 30000~50000
 三四万 => 30000~40000
 五六十 => 50~60
+十五六 => 15~16
+四十五六 => 45-6
+七百三四 => 730-40
+七百三四十 => 730-40
+十七八万 => 17~18万
+六十三四万 => 63-4万

itn/chinese/test/data/math.txt

@@ -3,3 +3,4 @@
 一加二加三 => 1+2+3
 二等于一加一 => 2=1+1
 二十一到一千零一 => 21~1001
+六百三到六百四 => 630~640

itn/chinese/test/data/measure.txt

@@ -33,7 +33,11 @@
 十一到一百千米每小时 => 11~100km/h
 每小时三十到三百一十一千米 => 30~311km/h
 七八公斤 => 7~8kg
-五六十块钱 => 50~60块钱
+五六十摩尔 => 50~60mol
 三五百公里 => 300~500km
-八九千美元 => $8000~9000
-三四万吨 => 30000~40000吨
+三四万吨 => 3~4万吨
+三四万伏特 => 30000~40000v
+十五六千瓦时 => 15~16kwh
+四十五六度 => 45-6°
+七百三四秒 => 730-40s
+七百三四十分钟 => 730-40min

itn/chinese/test/data/money.txt

@@ -1,3 +1,9 @@
 一点二五元 => ¥1.25
 一点二五人民币 => CNY1.25
 三十四点五二一元 => ¥34.521
+八九千美元 => $8000~9000
+七八英镑 => £7~8
+十五六卢布 => ₽15~16
+四十五六新台币 => TWD45-6
+七百三四欧元 => €730-40
+七百三四十马来西亚令吉 => RM730-40