服部家是伊賀國的豪族。

服部正成之父服部保長為第一代，原侍奉足利義晴，離開伊賀後到了三河國仕奉松平氏，相繼侍奉了松平清康、廣忠、家康 三代。

保長的長子服部正成繼承了服部家當主「半藏」的名號，正成侍奉德川家康時屢立戰功、表現勇猛而有「鬼半藏」的美稱。

正成雖為武士身份但因地緣關係多率領忍者行動、後世記載他的事蹟多是率領忍者眾進行放火等秘密活動。此外在本能寺之變時，因為在伊賀擁有地緣和人脈的關係，服部順利地將家康經伊賀護送回三河，而立下大功。

此後，德川家康開始將天正伊賀之亂中流離失散的伊賀忍者集合起來，組成伊賀同心軍團，交予正成統領。德川家康遷都至江戶城時，半藏負責江戶城西門的警備、因此這個西門到現在都還有半藏門的稱呼。

正成的長男，服部正就（1576年－1615年）在父親死後、繼續領導伊賀同心200人、同樣與父親有半藏和石見守的稱呼。然而正就一掌有指揮權後就引來部下的不服，從此正就被廢了兵權、改封領地，服部半藏一名看起來似乎只繼承了三代、不過，正就的妻子是桑名藩主松平定勝的姐姐，他的兒子・服部正辰（1609年－1663年）也因而得以仕奉於桑名松平家。此外，正就的弟弟・服部正重（1580年－1652年）也被松平家任為家老一職。

之後服部半藏之名傳至第十二代時由廿一歲的服部正義（1845年10月29日－1886年1月22日）繼承，他成為桑名藩松平定敬的家老，曾經參與鳥羽伏見之戰，見證了明治維新。