Мартирос Сарьян родился 16 февраля 1880 года в патриархальной армянской семье в Нахичевани-на-Дону (ныне в черте Ростова-на-Дону).
В 1895 году окончил городское училище. С 1897 по 1904 годы учился в Московском училище живописи, ваяния и зодчества (ныне Московский художественный институт имени В. И. Сурикова), в том числе в мастерских В. А. Серова и К. А. Коровина. В 1901—1904 годах предпринял поездку на историческую родину, посетив Лори, Ширак, Эчмиадзин, Ахпат, Санаин, Ереван и Севан.
В 1900-х годах участвовал в выставках художественных объединений «Голубая роза», «Союз русских художников», «Мир искусства», «Четыре искусства». Сильное влияние на стиль художника оказала живопись Поля Гогена и Анри Матисса.
С 1910 по 1913 годы совершил ряд поездок в Турцию, Египет и Иран. В 1915 году приехал в Эчмиадзин, чтобы помогать беженцам из Турецкой Армении. В 1916 году приехал в Тифлис и женился на Лусик Агаян, дочери армянского писателя Г. Агаяна. Тогда же участвовал в организации Общества армянских художников и «Союза армянских художников». В том же году оформил изданную В. Брюсовым «Антологию армянской поэзии».
После Октябрьской революции 1917 года приехал с семьёй в Россию. В 1918—1919 годах жил в Нахичевани-на-Дону. Стал инициатором создания и первым директором Армянского краеведческого музея в Ростове-на-Дону. Сотрудничал с театром «Театральная мастерская».
В 1921 году по приглашению председателя Совета народных комиссаров Армении А. Мясникяна переехал в Армению. С тех пор посвятил жизнь изображению её природы. В числе работ в эти годы — создание герба Советской Армении и оформление занавеса первого армянского государственного театра.
В 1926—1928 годах жил и работал в Париже. Большая часть работ, выставленных в 1928 году в парижской галерее Жерар, сгорела во время пожара на корабле при возвращении на родину.
В 1930-х годах главной темой художника остаётся природа Армении. Также пишет многочисленные портреты и яркие натюрморты. Работал также как книжный график и как театральный художник.
В начале 1937 года органами НКВД Армении было принято решение — изъять из музеев и сжечь 12 полотен кисти художника. То были портреты «врагов народа» из числа видных государственных деятелей и представителей интеллигенции. Чекистам удалось предать огню 11 работ. 12-я пропала. С риском для жизни «Портрет поэта Егише Чаренца» спасли музейные работники, надёжно спрятав его.
Сыграл важную роль в сохранении церкви Сурб Хач в Ростове-на-Дону, когда в советские годы встал вопрос о её сносе.
Мартирос Сергеевич Сарьян скончался 5 мая 1972 года в Ереване. Похоронен в пантеоне парка им. Комитаса.
В Ереване художнику сооружён памятник. Также одна из центральных улиц города носит его имя.
Изображение художника помещено на банкноту номиналом в 20000 армянских драм.
Творчество художника сыграло ведущую роль в становлении национальной школы армянской советской живописи.