長野県小諸市生まれ。上田中学時代から絵筆をとり、画才を現した。慶大予科を中退し川端画学校に入る。父の友人島崎藤村にも勧められ渡仏。シャルル・ゲランに師事した。帰国後、安井曽太郎らと一水会を創立した。作風は安井曽太郎の流れをくみ、大ぶりで知的な構成力と格調高い重厚な風景画で知られる。晩年は幼少から親しんだ浅間山の作品に取組み、数多くの名作を残し、私財を投じて小山敬三美術振興財団を設立。小山敬三記念賞による画家の顕彰、油絵修復技術家の留学奨励、美術文化の国際交流事業に援助を行うなど芸術振興に尽力した。
1959（昭和34）一連の「白鷺城」で日本芸術院賞受賞。1960（昭和35）日本芸術院会員。1970（昭和45）文化功労者。
