Это выражение, имеющее книжный характер, означает «продолжим начатый разговор, не будем отвлекаться от темы». Оно заимствовано из французского языка и является калькой речения, взятого из известного романа Франсуа Рабле «Гаргантюа и Пантагрюэль». А выражение Ф. Рабле — это переделка другого выражения ( «возвратимся же к этим баранам»), источником которого является фарс XV века «Адвокат Патлен».
Этими словами судья стремился заставить истца, подавшего иск о краже баранов, не отвлекаться на то, что адвокат ответчика не вернул ему до сих пор денежный долг.
Выражение долгое время употреблялось в русских литературных текстах как во французском варианте, без перевода, так и в русском варианте.