统计学是一门很古老的科学，一般认为其学理研究始于古希腊的亚里斯多德时代，迄今已有两千三百多年的历史。它起源于研究社会经济问题，在两千多年的发展过程中，统计学至少经历了“城邦政情”，“政治算数”和“统计分析科学”三个发展阶段。所谓“数理统计”并非独立于统计学的新学科，确切地说它是统计学在第三个发展阶段所形成的所有收集和分析数据的新方法的一个综合性名词。
  概率论是数理统计方法的理论基础，但是它不属于统计学的范畴，而属于数学的范畴。
统计学的中心问题就是如何根据样本去探求有关总体的真实情况。因此，如何从一个总体中抽取一些元素组成样本，什么样的样本最能代表总体，这直接影响着统计的准确性。如果抽取元素的方法是使总体中的元素成分不改，所观测到的数值是互相独立的随机变量，并有着和总体一样的分布，这样的样本是一个简单的随机样本，它是总体的最好代表，而取得简单随机样本的过程叫做简单随机取样。
  
简单随机取样就是重复进行同一随机试验，也就是指每次试验都在同一组条件下进行，因而每次试验得到什么结果，其可能程度都是固定不变的。对于有限总体，简单随机抽样意味着每次抽出一个元素后，放还再抽，若不放还，总体的成分将有所改变，那么再抽时，出现各种结果的可能程度就相对地改变了。
  至于无限总体则没有区分“放回”或“不放回”的必要。
[2]除以上述原则外，另一方面，获得样本的具体方法能否保证观察值是独立的，这是问题的关键，因此，一样本的随机与否还取决于获得样本的具体方法。
在具体进行取样时，必须根据研究目的的不同，选择不同的取样方法。
  
①单纯随机取样法先把每个个体编号，然后用抽签的方式从总体中抽取样本。这种方法适用于个体间差异较小、所需抽选的个体数较少或个体的分布比较集中的研究对象。
②分区随机取样法将总体随机地分成若干部分，然后再从每一部分随机抽选若干个体组成样本。
  这种抽样法可以更有组织地进行，而且中选的个体在总体的分布比单纯随机取样更均匀。
③系统取样法先有系统地将总体分成若干组，然后随机地从第一组决定一个起点，如每组15个元素，决定从第一组的第13个元素选起，那么以后选定的单位即28，43，58，73等等。
  
④分层取样法根据对总体特性的了解，把总体分成若干层次或类型组，然后从各个层次中按一定比例随机抽选。这种方法的代表性好，但若层次划分得不正确，也不能获得有高度代表性的样本。