李宏毅nlp学习笔记13:GPT-3

YouTube

1.大李宏毅nlp学习笔记13:GPT-3

2.GPT系列:

李宏毅nlp学习笔记13:GPT-3
GPT的目标就是希望给一个简单的说明和样例,模型就知道要怎么做了。
李宏毅nlp学习笔记13:GPT-3
提示多个,一个,或零个。
李宏毅nlp学习笔记13:GPT-3
效果:
李宏毅nlp学习笔记13:GPT-3

3.给出一个新闻(包含标题和内容),再给出一个新闻标题,GPT可以写出新闻,几乎可以骗过人类:

李宏毅nlp学习笔记13:GPT-3

4.给出一个词,让GPT-3进行造句:

李宏毅nlp学习笔记13:GPT-3

5.GPT-3没有做过数学训练,但是竟然可以做数学题:

李宏毅nlp学习笔记13:GPT-3

6.在NLI(判断两个句子的关系是相互包含,还是矛盾,还是中立)方面表现不好:

李宏毅nlp学习笔记13:GPT-3

7.O(∩_∩)O哈哈~:训练GPT-3的时候,由于大量的资料是爬虫得到的,由于失误,爬虫得到的数据包含了测试集,但是没有重新训练:

李宏毅nlp学习笔记13:GPT-3
因此在测评的时候,引入了一个dirty data:在训练GTP的时候,看到了。
李宏毅nlp学习笔记13:GPT-3

8.-------------------------------------------------------------------

GPT model相关内容结束。

9.现在有很多大的模型,这些模型理解人类语言到什么样的程度了呢?

比赛:Turing Advice Challenge。

机器对人给出的问题提出建议。
GPT对于感情问题惟一的意见就是分手!!!
李宏毅nlp学习笔记13:GPT-3