机器翻译评测——NIST算法及安装
Windows环境首先安装Cygwin https://cygwin.com/install.html
Cygwin能在Windows环境下模拟UNIX/Linux环境编程，比安装虚拟机节省储存空间。
下载-选联网安装-下载网址选阿里云镜像 http://mirrors.aliyun.com/cygwin - 安装binutils, gcc, gcc-mingw, gdb, make, perl
依次输入gcc --version，g++ --version，make --version，gdb --version查看版本信息，说明安装成功；
将Cygwin的bin目录路径加入环境变量。
NIST（National Institute of standards and Technology）
是BLEU的一种改进，引入了每个n-gram的信息量（information）的概念。比起BLEU只简单地相加n-gram数量，NIST累加得到信息量然后除以整个译文的n-gram数，相当于增大一些出现少的重点词的权重。
信息量公式：
分母是n-gram在参考译文中出现的次数，分子是对应的n-1-gram在参考译文中的出现次数。对于一元词汇，分子的取值就是整个参考译文的长度。这里之所以这样算，应该是考虑到出现次数少的就是重点词这样的一个思路。计算信息量之后，就可以对每一个共现n-gram乘以它的信息量权重，再进行加权求平均得出最后的评分结果：
Lref 是参考答案的平均长度（注意L的上方有一个平均符号）；Lsys是译文的长度；N一般取5；β是一个常数，在Lsys/Lref=2/3 时，β使得长度罚分率为0.5，它是个经验值，大概的曲线是：
NIST 官网 https://www.nist.gov/itl/iad/mig/tools
下载第三项 mteval-v14c-20190801.tar.gz ——mteval scoring script for machine translation evaluation
下载：
XML-Twing https://metacpan.org/release/XML-Twig
XML-Parser https://metacpan.org/pod/XML::Parser
expat-devel http://sourceforge.net/projects/expat/
Sort-Naturally https://metacpan.org/pod/Sort::Naturally
String-Util https://metacpan.org/pod/String::Util
均选择左下的 TOOLS -- Download
解压进入后 perl Makefile.PL -y；make；make install
使用NIST提供的example测试：
perl mteval-v14c.pl -r example/ref.xml -s example/src.xml -t example/tst.xml
其他用法
- BLEU-4（官方OpenMT12评估指标）
调用行： perl mteval-v14c.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -b
选项-c：区分大小写的得分
选项-b：仅BLEU得分
- IBM BLEU（bleu-1.04a）
调用行： perl bleu-1.04.pl -r REFERENCE_FILE -t CANDIDATE_FILE
默认情况下，评分是区分大小写的
- NIST（mteval-v13a）
调用行： perl mteval-v13a.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -n
选项-c：区分大小写的得分
选项-n：仅NIST评分
- TER（tercom-0.7.25）
调用行： java -jar tercom.7.25.jar -r REFERENCE_FILE -h CANDIDATE_FILE -N -s
选项-N：启用归一化
选项-s：区分大小写的得分
- METEOR（气象0.7）
调用行： perl meteor.pl -s SYSTEM_ID -r REFERENCE_FILE -t CANDIDATE_FILE --modules “exact porter_stem wn_stem wn_synonymy”
选项–modules “exact porter_stem wn_stem wn_synonymy”：按照顺序使用所有四个METEOR匹配模块
参考资料