大数定理
简单的可以描述为，如果有一个随机变量$X$，你不断的观察并且采样这个随机变量，得到了n个采样值，$X_{1},X_{2},X_{3},...,X_{n},$然后求得这n个采样值得平均值$\bar X$，当n趋向于正无穷的时候，这个平均值就收敛于这个随机变量$X$的期望。
公式为
$$
\lim_{n \to \infty }\frac{1}{n}\sum_{i=1}^{n}X_{i}=\mu
$$
举个例子。
比如你有一个盒子，盒子里面有100个硬币，你每次摇晃盒子然后数一数有多少硬币正面朝上。很容易算出这个随机变量的期望为50。
第一次摇，数出有55个硬币正面朝上，$\bar X=55$
第二次摇，数出有65个硬币正面朝上，$\bar X=(55+65)/2$
第三次摇，数出有70个硬币正面朝上，$\bar X=(55+65+70)/3$
…………
当你摇的次数足够多（无数次）时，最终这个平均值$\bar X=50$
中心极限定理
大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当Sample Size比较大，采样次数越接近无穷大的时候，就越接近正态分布）。而这个定理amazing的地方在于，无论是什么分布的随机变量，都满足这个定理。
举个例子。
现在有一个奇形怪状的六面骰子，并且六面上的点数分别为1,1,2,3,3,5。 我们现在开始掷这个骰子（可视为一个随机过程），然后记录下每次朝上的点数（每次扔骰子可视为一个随机变量），先扔6次好了。
第一次：
$S_1=[1,1,1,1,2,5]$
那么第一次结果的均值$\bar S_1=\frac{11}{6}$
然后你再掷9次，分别求得每次结果的均值，于是你得到了
$\bar S_1,\bar S_2,\bar S_3,\bar S_4,\bar S_5,\bar S_6,\bar S_7,\bar S_8,\bar S_9,\bar S_{10}$
现在神奇的地方是，这10个值的分布，有点像是正态分布。而当n趋向正无穷时，这无穷个均值的分布就是正态分布了。并且这个正态分布的均值$\mu$和投掷奇形怪状骰子并记录朝上的点数这个随机过程的均值是一样的。
参考
https://www.zhihu.com/question/22913867 XXCC的回答