"непатрэбныя" афіксы ў 0.62, выдаленьне якіх не прыводзіць да страты словаў

[ssvb]

Аптымізацыю .aff файла можна зрабіць з дапамогай hunaftool be_BY@tarask.aff be_BY@tarask.dic be_BY@tarask-optimized.aff, падчас якой выдаляюцца афіксы, якія не спрычыніліся да генэрацыі ніводнага слова. Сьпіс гэтых афіксаў прыведзены ніжэй:

SFX E зла зьле зла
SFX G йкі ек йкі
SFX H вок ўку вок
SFX U вак ўку вак
SFX U ц цу [аірыья]ц
SFX U ц цом [аірыья]ц
SFX Q е ёў е
SFX Q е ям е
SFX Q е ём е
SFX Q е ямі е
SFX Q е ях е
SFX Q е ёх е
SFX S і яга [нц]і
SFX S і яму [нц]і
SFX S і ім [нц]і
SFX S і яя [нц]і
SFX S і яй [нц]і
SFX S і юю [нц]і
SFX S і яю [нц]і
SFX ] 0 цца дзе
SFX ] зе уцца дзе
SFX d цца ецца цца
SFX d цца юцца цца
SFX & ту цяцеся [^я]ту
SFX & ту цяцёся [^я]ту
SFX x ну нься [зс]ну
SFX x ну ньцеся [зс]ну
SFX x у ься [змс]у
SFX x у ьцеся [змс]у
SFX x юся йся юся
SFX x юся йцеся юся
SFX y уцца іся нуцца
SFX y уцца іцеся нуцца
SFX n муць ьме [зс]муць
SFX W цца чыся [ую]цца
SFX W ць чыся уць
SFX W ся чыся юся
SFX W ся чыся уся
SFX Y чы шыся чы
SFX Y уюся аваўшыся уюся
SFX Y ююся яваўшыся ююся
SFX Y ся ўшыся нуся

Ня ўсе зь іх абавязкова непатрэбныя (калі ёсьць марфалягічныя прычыны для іх наяўнасьці), бо дублі словаў могуць генэравацца праз розныя афіксы. Але зьвярнуць увагу і дадаткова іх праверыць, мабыць, не пашкодзіць.

[375gnu]

Прынамсі карысна будзе аптымізаваць рэлізны aff-файл, каб паскорыць запуск праверкі ў карыстальнікаў.

[ssvb]

Што тычыцца эфектыўнасьці, то словы з spell-be-tarask-0.62 перапакаваныя розным чынам на AMD EPYC 7763 64-Core Processor @3.2GHz (github CI):

Command	Mean [s]	Min [s]	Max [s]	Relative	Peak RAM usage
hunspell -d be_BY@tarask-unp -l be_BY@tarask.txt	1.597 ± 0.027	1.548	1.624	1.00	64.08M
hunspell -d be_BY@tarask-affixcompress -l be_BY@tarask.txt	1.924 ± 0.050	1.842	2.035	1.21 ± 0.04	17.29M
hunspell -d be_BY@tarask -l be_BY@tarask.txt	4.897 ± 0.080	4.780	5.001	3.07 ± 0.07	7.32M
hunspell -d be_BY@tarask-opt -l be_BY@tarask.txt	4.583 ± 0.065	4.519	4.726	2.87 ± 0.06	7.04M

Першы радок (be_BY@tarask-unp) - проста ўсе словы без аніякіх афіксаў у .dic файле. Другі радок (be_BY@tarask-affixcompress) - .aff і .dic створаны з дапамогай affixcompress з Hunspell. Трэці радок (be_BY@tarask) - гэта звычайны слоўнік spell-be-tarask. Чацьвёрты радок (be_BY@tarask-opt) - слоўнік spell-be-tarask перапакаваны з дапамогай Hunaftool.

[375gnu]

Выдаліў.