Google神经网络的对抗训练已获得专利，BERT到底关注的什么?...#20200115
写在前面
本系列文章分享笔者每天学习的一些圈内前沿有趣事件和开源工作，分享转需。
欢迎关注公众号AISphere。
目录简介
- Google神经网络的对抗训练已获得专利
- BERT到底关注的什么?斯坦福对BERT Attention的分析
- 开源界新项目发布-Cortex v0.12：面向开发人员的机器学习基础架构
Google神经网络的对抗训练已获得专利
最近Christian Szegedy和Ian Goodfellow为神经网络的对抗训练申请了专利（美国专利10521718）
此事件在reddit上发起了热烈的讨论：
提问者问此事件是否会让使用了神经网络对抗训练的公司和学术界更依赖google，但目前没有一个明确说法。
有一些客观评论我还是比较喜欢的，比如网友ReginaldIII的一个评论：
就像每次发生这种情况以及每次将其发布到此子目录一样，这毫无意义。
每次都在评论中来回争论是好/坏，道德/不道德，意图良好等，但最终只是人们的主观意见。
然后，我们每次继续使线程保持相同的状态，因为它不会对我们所做的工作或将继续进行的工作产生任何影响。
我不喜欢它(指专利制度)，但是我理解为什么其他人认为它是必要的。专利制度及其相关的法律和知识产权已被滥用，通过多年的游说兴趣和金钱来雕刻。大多数人都在防御性地为这些概念申请专利，以应对专利制度中的重大缺陷。
以及rhiyo的:
这或许和dropout申请专利一样，后面会成为一些标题党媒体的吃瓜劲爆新闻。
BERT到底关注的什么?斯坦福对BERT Attention的分析
斯坦福最近对BERT的Attention做了分析，含论文和开源代码(Jupyter)。
仓库代码地址：https://github.com/clarkkev/attention-analysis
paper地址：https://arxiv.org/abs/1906.04341
它包括用于从BERT获取注意力图并将其写入磁盘，大体上分析BERT的attention（paper的第3和6部分）以及将其attention与dependency syntax进行比较的代码（第4.2和5部分）。并将尽快添加用于共指消解分析的代码（本文第4.3节）！
开源界新项目发布-Cortex v0.12：面向开发人员的机器学习基础架构
Cortex是免费的开放源代码模型服务基础架构，可以使开发者以最少的配置将模型部署为Web API，即不需要知道什么是反向传播什么是隐藏层，就可以学习如何构建机器学习搭建Web服务。
medium上有一篇Cortex详细的介绍文章：Cortex v0.12：面向开发人员的机器学习基础架构
还有一篇适合NLP入门的文章：使用预训练模型的适合初学者的NLP项目列表
其主要功能如下：
- 框架不可知：您可以将任何框架中的模型部署为生产API。
- 弹性伸缩：Cortex自动扩展您的实例以处理流量波动，同时将成本降至最低。
- GPU / CPU的支持：在GPU或CPU上服务模型。
- Spot实例：Cortex支持Spot实例上的部署，这可以将云费用减少90％。
GitHub链接：https://github.com/cortexlabs/cortex/
结语
本系列文章按时更新AI圈一些有趣的事件和开源工作，关注防迷路。
另外我们准备组建NLP沟通交流群，有兴趣的伙伴可以联系echoooo741回复NLP进群。