应该是四六不成材。
这个问题的答案有几个，都各有道理。
第一种答案
据说居住在河川区的住户盖土木结构民用住宅者较多，其式样大体可分为灰土房、瓦房和起脊大瓦房三种。 
灰土房。竖木为柱，联柱支梁，梁卜安架，顺檩搭椽，土墼或泥坯砌墙，椽上铺白麻杆或栈板，最后抹泥或白灰，屋顶多为一出水，院落设置以四合院居多。
  因民间忌讳盖四间或六间正房，说"四六不成材"，故而四合院内多数是三间或五间正房、东西下房、南房各三问，街门视临街位置而定。 
瓦房。属于中等房屋，除先立柱搭架而外，砌砖墙基，土基或泥坯砌墙至屋顶时再砌砖，木椽盏顶再覆瓦，俗称"穿鞋戴帽大瓦房"，屋顶多为两出水，也叫道士帽，院落设置仍以四台院居多，亦有少数富户在四合院内套左右两个跨院，大门设在正中，入门处设有五福影壁，影壁两侧建东西两个跨院，设有门楼。
   
起脊大瓦房。除立柱搭架砌砖基而外，砌里软(用土墼或泥坯)外硬(用砖)塘，本椽盖顶再覆瓦，屋顶正中起"一"字脊，东西山墙各起两脊，称"人"字脊，各脊脊角徽徽上翘，如同振翅欲飞的大鸟，脊角雕有脊兽，称"五脊六兽"，为了牢固，上瓦时，滴水瓦上前后各钉一铁钉，俗称"一瓦二钉"。
  这便是蔚县民间最上讲究的民用住宅"一瓦二钉，起脊大瓦房"，其院落设置亦以四合院居多，但多数是二进二出或三进三出的九连环套院，通常设有过亭、书房、帐房、客厅等。 
所以说四六不成材
第二种答案
北京人忌讳院子里的地面比胡同、大街的地面低，原因是一进门就得跳蛤蟆坑，而出门从低向高，如似登山，明显不吉利。
  此外，数目字中，单数不吉利，一般人都不能接受。买箱子要买一对，买椅子要买两把，帽筒要买一对等等。但也有要单数的，那就是北房要单数，或三间，或五间，如果就有四间的地方也要盖三大间，每边再盖半间，美名其曰：“四破五”。至于东西厢房，也多以三间为准，目的是在院中建筑组合里产生一条中轴线，这条线如似人身上的脊梁，是院落中最重要风水源头。
  正因如此，双数在北京住宅建筑方面是不吃香的，所以，北京出现了这么一句俗语，“四六不成材”。 
第三种答案
由俗语“四六不懂”而来。 
土话里有“四六不懂”和“四六不成材”的说法。 
“四六不懂”是形容人弱智的话。一个人只懂一二三，不知四五六，是不是够弱智的？所以我们经常听别人讲，那小子四六不懂，用不着找他征求意见了。
  这个词要是引申起来，还有不懂礼节礼貌的意思，比如有的孩子不懂事，客人来了后还没入座呢，他就开始坐在座位上又闹又吃东西，这也叫四六不懂。 
由于四六不懂是弱智、不懂常礼、不会办事的意思，这就把“四六”给彻底“连累”了，产生了另一句土话：四六不成材。
  不成材就是没有本领成不了大器，既然如此严重，人们对“四六”就产生了忌讳。长时间以来，石家庄人悄悄延续着一项风俗，即自己缝制的衣服，特别是给孩子们制作的，绝不缝四个或六个扣子，小孩子可以缝三个，大人可以缝五个，总之就是避开“四六”。 
第四种答案
来自《易经》。
  被易学家们忽略了的东西，却在民间得到了广泛流传，有些变成了俗语、俚语或成语，这些不能登大雅之堂的东西，它们所包含的真理，比某些易学家们不知高出多少倍。比如“不三不四”这句话，据成语辞典解释是“不象这也不象那，不象样子。与不伦不类意思相似。指不正派或不规范”。
  为什么不三不四就是不象样子呢？原来在天数三四之间有一个“阴阳界”，不三不四就象是刁德一的态度：不阴不阳。 
再如“四六不成材”。为什么四六不成材呢？原来天四是阳爻的起点，地六是阴爻的起点。当然也可以说天四是阴爻的终点，地六是阳爻的终点。无论是起点或者终点，都不堪重用，好比一个是新生的树苗，另一个是行将腐烂的朽木，当然不能成材了。
   
与四六不成材相关联的还有一句叫“四六不懂”，何谓四六不懂呢？原来四六也同三五一样，可以看成是爻变（阴阳互变）的临界点或度，倘不懂得爻变的度而妄谈阴阳，岂非是四六不懂？我们把这句俗语奉赠给那些号称“精通九六变化”的“大师”、“泰斗”们，奉赠给那些“心中无数”却又热衷于在易坛上说三道四、插科打诨的人们，不是很合适吗？。