Le village s’est développé autour d’une villa gallo-romaine et a pris assez d’importance pour devenir au Xème siècle le chef-lieu d’une viguerie (juridiction administrative médiévale dans le Sud de la France), la « Vîcaria Rocenacensis ».
La seigneurie de Roussennac a successivement appartenu à la famille de Panat (dès le début du XIIIème siècle), puis à Jean Segui (1501 – 1506) et aux Boysson (au Buisson XVIème siècle). Le Village fut entièrement fortifié.
Roussennac, autrefois dénommé également Ruspennaco, est un des bourgs les plus anciens de la région. Selon l’abbé le Brun, l’église Saint-Sernin de Roussennac était la seconde qui fut bâtie dans le Rouergue témoignant ainsi de l’ancienneté du village.
La tradition enseigne que les seigneurs se sont emparés de l’église Saint-Sernin pour en faire un fort. C’était un édifice roman byzantin surmonté d’une tour octogone d’une hauteur prodigieuse qui servait en quelque sorte de phare aux voyageurs. Ce lieu s’appelait Fort de Roussennac et il existait encore, il y a peu, un portail de ville entier, ainsi que des lambeaux des murs. Plus tard, ces puissances ont fait construire l’église actuelle. Deux écussons qu’on voit encore dans le chœur confirment cette thèse.
L’église de St Sernin a disparu après 1830. Les pierres ont été prélevées en 1832 pour construire un aqueduc sur la route de Rignac. Le reste des débris antiques a été vendu aux enchères 195 francs au profit de la commune. On trouve encore les fondements de la nef de cette église qui a servi pour bâtir l’actuelle. Cette église s’appelle Saint Eutrope témoignant d’une dévotion aux estropiés.
Au début du 20ème siècle, des fouilles mettent à jour un sarcophage contenant de nombreux ossements et partiellement enterré sous un ancien mûr (vraisemblablement celui de l’ancienne église Saint Sernin).