八咫烏に化身して神武天皇を導いたとされる賀茂建角身命^[1]を始祖とする天神系氏族^[2]。代々賀茂神社に奉斎し、山城国葛野郡・愛宕郡を支配した。子孫は上賀茂・下鴨の両神社の祠官家となった。また、賀茂県主は同じ山城国を本拠とする秦氏との関係が深い。
氏人には鴨長明（下鴨社家）、賀茂真淵（上賀茂社家）がいる。

出自に関する諸説

山城国葛野の賀茂県主は、大和国葛城の地祇系賀茂氏が山城に進出したものとする説がある。『山城国風土記』逸文では、賀茂県主の祖の賀茂建角身命は神武天皇の先導をした後、大和の葛城を通って山城国へ至ったとしている。しかし、『鴨氏始祖伝』では鴨氏には複数あり、葛城と葛野の賀茂氏は別の氏族であるとしている。また、『出雲風土記』では意宇郡舎人郷 賀茂神戸とあり、また現在の島根県安来市には賀茂神社があり、祖神である一言主の同一神、言代主の活躍地である東部出雲に属することから、ここを本貫とする説もある。

大物主（三輪明神）の子である^[3][4]大田田根子の孫大鴨積を始祖とする^[4][5]、三輪氏族に属する地祇系氏族。大和国葛上郡鴨（現在の奈良県御所市）を本拠地とする。姓は君のち朝臣。
大鴨積は鴨の地に事代主を祀った神社を建てたことから、賀茂君の姓を賜与された^[6]。なお、現在鴨の地にある高鴨神社の祭神である事代主や味鋤高彦根神（賀茂大御神）は賀茂氏が祀っていた神であると考えられている。
姓は君であったが、壬申の乱の功臣である鴨蝦夷を出し、天武天皇（684年）13年に朝臣姓を賜与された。
平安時代中期には陰陽博士の賀茂忠行を輩出し、その弟子である安倍晴明が興した安倍氏と並んで陰陽道の宗家となり、子孫は暦道を伝えた。賀茂忠行の子には家業を継いだ賀茂保憲や儒学者に転じた慶滋保胤がいる。
室町時代には、嫡流が勘解由小路家を称して堂上家となり代々陰陽頭を務めたが、戦国時代に断絶した。なお、庶流の幸徳井家は江戸時代も地下家として続き、江戸時代初期は陰陽頭を務めるが、幸徳井友傳の死後、安倍氏系の土御門泰福に陰陽道の宗家の地位を奪われ、中期以降は陰陽助を務めた。

平城京跡出土の木簡（735年（天平7年）から747年（天平19年）までの間の木の札）に、「備前国児嶋郡賀 茂郷・鴨直君麻呂調塩三斗」 と墨で書かれたものがある。賀茂郷の鴨の君麻呂という豪族が、三斗という大量の塩を奈良に送っており、鴨神社の荘園の預り主であったということが窺える。 なお、当時の賀茂郷が現在の荘内と宇野・玉・日比・渋川までの範囲であり、南北共に海に面していた。当時の製塩土器である師楽式土器の分布状態から見ると、南岸で製塩されたものとされているが、下加茂村は北岸という地理的利便性から、こちら側でも製塩されたものと思われる。
鴨直君麻呂との関係は不明であるが、「宇喜多氏系図」（備前藩大森景頼所蔵）や岡山の歴史書などには、宇喜多氏の系譜を汲むとされる加茂次郎の名前が見え、備前児島半島を東児島、中児島、西児島と分けた中の、中児島に住んだとされる。
1903年（明治36年）まで児島郡に上加茂村と下加茂村があったが、合併して荘内村となった。なお、鴨神社や加茂神社があり、両神社の間を鴨川が流れている。特に鴨神社は平安期初頭に創建され、大和国葛上郡加茂の高鴨神社から味鋤高日子根命を祭神として勧請した。延喜初年の創建とされる児島郡内最古の神社であり、延喜式神名帳では備前国式内23社の内の1社である。
備中連島（戦国時代以前は備前国児島郡都羅郷）の、連嶋町史（昭和31年発行、発行者　連島町誌編纂会）第八章　連島の古城址に、北茂城の城主として、1735年（享保20年）に編纂された『古戦場備中府志』（平川親忠著）巻の五　浅口郡の条下には、当城主に吉備大臣の嫡孫右京太夫光栄としている。伝云、孝謙天皇天平勝宝四年五月賀茂朝臣を賜る、天文暦数を掌る、一家両道を兼ねて宝器を保つ、暦道を以て其子光栄に伝へ天文道を以て弟子安部の晴明に伝う、自此己後両道相分つ云々と記述されている。この伝云う記事は『右大臣吉備公傳纂釈』より引用したものと思われ、重野安繹『右大臣吉備公傳纂釈』（『岡山県通史』上編374頁　編著永山卯三郎）には、或いは伝う陰陽道博士賀茂保憲は吉備公の裔なり、天文博士を兼ね、973年~975年（天延中）に暦を造り暦道を其子光栄に伝へ天文道を安部晴明に伝うとの記事があることから、右京太夫光栄は賀茂光栄であったことになるが、納得し兼ねるとしている。