В памяти Фёдора Михайловича отец так и остался человеком добрым, чувственным, любящим и не способным на какие-либо подлые или жестокие поступки. Тем не менее, многие современники, особенно крестьяне, вспоминавшие о Михаиле Андреевиче, оставили о нём не самые лестные отзывы. Так, Макаров, крестьянин, живший в его селе, говорил:
«Зверь был человек. Душа у него была темная — вот что… Барин был строгий, неладный господин, а барыня была душевная. Он с ней нехорошо жил, бил её. Крестьян порол ни за что».
Действительно, Михаил Андреевич был человеком жестоким, вспыльчивым, а ещё весьма подозрительным. Вспышки гнева порой заканчивались рукоприкладством.
Однажды, когда Мария Фёдоровна (мать Ф.М. Достоевского) была в очередной раз беременна, и её ребёнок был на 7 месяце, он закатил ей скандал, потому что был уверен в том, что она ему изменила. Однако Мария Нечаева любила его и прощала ему любые его грехи и слабости.
В 1837 г. вечно больная и ослабленная из-за частых родов она умирает от чахотки. Её смерть тяжело далась Михаилу Андреевичу. Он решает уйти в отставку и поселяется в своём имении.
В имении Михаил Андреевич часто предавался разврату и пьянству. Крестьяне вспоминали о нём, как о человеке жестоком, лишённом практически всех добродетелей – видимо, так сказалась на нём гибель жены.
В конце концов, в 1839 г., через 2 года после смерти Марии, Михаил Андреевич умирает. О том, что произошло, писал Андрей Михайлович:
«Отец вспылил и начал очень кричать на крестьян. Один из них, более дерзкий, ответил на этот крик сильной грубостью и вслед за тем, убоявшись последствий этой грубости, крикнул: „Ребята, карачун ему“. И с этими возгласами крестьяне в числе 15 человек накинулись на отца и в одно мгновение, конечно, покончили с ним».
А вот Фёдор Михайлович в то, что отец умер такой смертью, поверить не мог. В официальном заключении от врачей говорится, что его убил апоплексический удар. Этой версии русский классик так и придерживался до конца своей жизни, не желая допускать и мысли о том, что врача могли как-то подкупить.