Это выражение пошло еще со времен Ивана Грозного. Он наказывал бояр провинившихся перед ним. Он заставлял надевать шубу или боярскую дорогую одежду наизнанку. Вот и получалось что одежда на выворот левой стороной. Усаживали на самую худую кобылу лицом к хвосту. И вот в таком виде возили по всему городу. Все это проходило под свист толпы. Чтобы все видеть могли прохвоста. И чтобы другим не было повадно. И зачастую после еще избивали кнутами. Вот с тех пор и сохранилось это поверье. Если одеть что-то на левую сторону из предметов одежды, то будешь битым.