土家族的先民与古代巴人有直接的渊源关系。但其来源，目前说法不一，一说为古代从贵州迁入湘西的鸟蛮的一部；另说是唐末至五代初年（910年前后）从江西迁居湘西的百艺工匠的后裔。史籍中将湘鄂西一带土家族称为“土人”、“土民”等，清末地方志中开始用“土家”名称。从秦到清的漫长历史中，土家族深受封建王朝的影响。其发展可分为四个时期：第一阶段是秦至隋的郡县制时期；第二阶段是唐宋时期的羁縻州县制时期；第三阶段是元明至清初的土司制时期；第四阶段是中晚清的改土归流时期。

在历史上苗族与土家族之间是有过长期的隔阂的，远自东汉初年起，中原统治者就一贯的利用土家族统治阶层来控制当地的一切非汉族人民，其中也包括土家平民，但主要的是苗瑶人；从唐末五代起，这种控制更趋向于具体化，即使是汉族统治阶层的人“入主”了这一地区，自己也先得“土家”化，然后驾驭着“土家”来控制苗族；元、明、清三代实行所谓“土司”制度，一直到清代雍正年间“改土归流”为止，大小“土司”几乎全部由“土家”人承当，代替中原统治者约束当地的土苗平民。

严格地说，历史上的这种矛盾仅存在于“土家”统治阶层与土家及苗族人民之间，但在不甚理解阶级矛盾道理的时代，总认为矛盾是存在于“土家”与苗族之间，就是把阶级矛盾完全看着民族矛盾。解放初期，为土家族自治而活动的干部很为苗族干部同志冷淡，因为他们顾虑“土家”的统治也许要卷土重来。