Академик Императорской Академии художеств, член ТПХВ, СХР. Член Абрамцевского художественного кружка. Директор Третьяковской галереи.

Родился в Москве в семье крупного предпринимателя. Был отдан в Академию коммерческих наук, однако, познакомившись с Саввой Мамонтовым, войдя в его «абрамцевский» кружок, увлёкся искусством. Посещал художественную студию Павла Чистякова, пользовался советами Ильи Репина, Василия Поленова, Валентина Серова. В 1884-1890 был участником поленовских рисовальных вечеров и «керамических четвергов» в Москве. В 1886 как вольнослушатель посещал МУЖВЗ, занимаясь у Владимира Маковского. Жил в Москве. Путешествовал по Франции, Италии, Германии; с 1890-х регулярно ездил по Европе. Работал преимущественно как пейзажист; писал натюрморты, портреты. Обращался к технике акварели. Был дружен с Константином Коровиным, Исааком Левитаном, Валентином Серовым, Василием Поленовым, братьями Васнецовыми. Оформлял спектакли на домашней сцене в Абрамцево. С конца 1880-х — организатор музыкальных вечеров в Абрамцево и доме Поленова. Член Совета (с 1899), председатель Совета и попечитель Городской художественной галереи братьев Третьяковых (1905-1913). Был знаком с Анри Матиссом. В 1911 вместе с Сергеем Щукиным и Иваном Морозовым принимал Матисса в Москве.

Член и экспонент ТПХВ (1886-1898, с перерывами; член с 1891), Московского общества любителей художеств (1886-1907, с перерывами; член с 1886), Союза русских художников (1903-1918, с перерывами). Участвовал во Всероссийской промышленной и сельскохозяйственной выставке в Нижнем Новгороде (1896), выставках «Мира искусства» (1900), «36-ти художников» (1901-1903), картин русских художников в галерее «Лемерсье» (1911), Московского товарищества художников (1924), передвижной выставке русского искусства в США (1924-1925). Провел персональную выставку в Москве (1925).
В 1900 по поручению ИАХ участвовал в организации Русского отдела на Всемирной выставке в Париже. В 1906 был удостоен звания действительного члена ИАХ. С 1890-х начал систематически заниматься коллекционированием. Имел собрания древнерусской и западноевропейской живописи, русской живописи и графики, декоративно-прикладного искусства. В 1890 приобрел дом в Трубниковском переулке, где разместил коллекцию и открыл к ней общий доступ. В 1918 на основе собрания Остроухова был открыт Музей иконописи и живописи, ставший в 1924 филиалом Государственной Третьяковской галереи. С 1919 — хранитель, с 1927 — директор Музея иконописи и живописи Ильи Остроухова.
В качестве консультанта участвовал в реставрации памятников архитектуры в Москве (Годуновский собор, Новодевичий монастырь, собор Василия Блаженного, Архангельский собор в Кремле), Троицкого собора в Троице-Сергиевой лавре, Спасо-Евфимиевского монастыря в Суздале. В 1917 участвовал в работе Комиссии по осмотру повреждений памятников архитектуры в Москве (Кремль, собор Василия Блаженного). Член экспертной комиссии по раскрытию и очистке древнерусской живописи при Отделе по делам музеев и охране памятников искусства и старины Наркомпроса.
Автор воспоминаний о Поленове (1928), Врубеле (конец 1920-х), Серове (конец 1920-х). Инициатор создания и автор текстов к выпускам альбома «Московская Городская художественная галерея П. М. и С. М. Третьяковых» (М., 1904-1909). Под его редакцией вышло юбилейное издание сочинений Николая Гоголя (1909). В 1909 участвовал в установке памятника Гоголю в Москве. Занимался активной общественной деятельностью. С 1901 — гласный Московской городской думы. Член Комиссии по устройству приюта для вдов и сирот русских художников в Москве. В 1890-1917 — попечитель Петровско-Басманного городского начального училища. Действительный член Императорского археологического общества (с 1887), член Англо-русского литературного общества (1894-1917), Московского архитектурного общества (1905), Всероссийского союза деятелей изящных искусств (1906). Один из организаторов Московского литературно-художественного кружка, общества «Свободная эстетика» (1907-1910). Вошёл в число видных русских пейзажистов, соединяя мягкую импрессионистическую манеру письма с поэтикой «пейзажа-настроения». Продавал свои картины П.М. Третьякову, был его другом и советчиком. Много лет входил в совет попечителей Третьяковской галереи, выпустил роскошное издание описание картин собрания с своими комментариями. Собрал уникальную коллекцию древнерусского искусства.

Картины художника хранятся в Государственной Третьяковской галерее, Государственном Русском музее, Серпуховском историко-художественном музее и других музейных и частных коллекциях России и зарубежья.