feat(ru): drop obscene lexicon (mat) from the Russian noun list #7
Reference in New Issue
Block a user
Delete Branch "feature/drop-obscene-mat"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Что
Убирает из русского словаря (Scrabble + Эрудит) 11 матерных существительных на корнях хуй / еб·ёб / пизд / бляд:
Почему так
Это морфологически полноценные нарицательные существительные в им. п. ед. ч. — пайплайн впускал их как любое другое слово (OpenCorpora/libmorph дают «существительное»-чтение). Граммемы «обсценное» в наборе помет OpenCorpora нет, поэтому чисто алгоритмического сигнала не существует. Кандидаты найдены алгоритмически — сканом по порождающим корням мата, — затем выверены вручную (отсеяны ложняки:
дрочёна-блюдо,моча,очко,сука,хула,талмудист,скипидар, …).Как
Слова вето́ируются как политика через
manual_reject.txt, который уже вычитается последним вru_stage2.build()— логика пайплайна не меняется.scrabble.txt— детерминированный результат этого вычитания;erudit.txt— его Ё→Е свёртка, регенерированаtools/fold_yo.py.Грубое-но-не-мат
муд*(мудак, мудила) и легитимные омографы (очко, сука, моча, дрочёна) намеренно оставлены.Проверка
scrabble.txt83027 → 83016 (−11),erudit.txt82985 → 82974 (−11)make dawg— все три DAWG собираются непустыми (ru_scrabble 52792 узла, ru_erudit 52543)manual_reject.txtбезопасно отбрасываются фильтромcyr_ok