Он появился на свет 12 апреля 1912 года в белорусском городе Речица. Фима был одним из шести сыновей в большой еврейской семье. Они жили в достатке — отец занимался лесозаготовками, а дедушка по материнской линии был владельцем крупного лесопильного завода. Несмотря на армянскую фамилию, к армянам Копеляны никакого отношения не имели — предки будущего актёра носили фамилию Каплан, которая со временем превратилась в Капелян, а затем приобрела окончательный вариант Копелян.
Фамилия актёра не раз приводила к недоразумениям. На киностудии «Арменфильм» готовились снимать биографическую картину про армянского революционера Симона Тер-Петросяна, известного под партийным псевдонимом Камо. Начальство поставило главное условие — играть должен чистокровный армянин. Из-за подходящей фамилии Ефима Копеляна вызвали в Ереван, он успешно прошёл пробы и уже готов был приступить съёмкам. Правда об условии быть армянином он ничего не знал и раскрыл свою настоящую национальность. После этого с большим сожалением актёру были вынуждены отказать.
С детства Ефим Копелян проявлял талант живописца. После школы он на протяжении года работал художником при Речицком кинотеатре, а затем переехал в Ленинград и поступил на архитектурный факультет Института пролетарского изобразительного искусства. Чтобы заработать хоть какие-то деньги на существование, Ефим устроился в массовку Большого драматического театра. Уже после нескольких выходов на сцену Копелян понял, что архитектура ему даром не нужна. Он забрал документы из института и поступил в студию при БДТ.
Ещё в годы учёбы Ефим Копелян дебютировал на большой сцене в роли лорда Грея в спектакле «Жизнь и смерть короля Ричарда III». Получив диплом, молодой актёр был принят в труппу БДТ, которому оставался верен до конца дней. Правда театральная карьера сложилась не сразу. Вплоть до сорока лет Копелян оставался на вторых ролях — играл за кулисами в домино, скучал и мечтал о серьёзных работах. Всё изменилось с приходом нового худрука Георгия Товстоногова — тот сразу разглядел талант актёра и начал ставить спектакли специально под него. Ефим Копелян сыграл Ильина в «Пять вечеров», Вершинина в «Трёх сёстрах», Микича Котрянца в «Хануме». С подачи Товстоногова за актёром в театре закрепилось прозвище «наш Жан Габен».
Дебют Ефима Копеляна на киноэкране состоялся ещё в студенчестве — он промелькнул в образе балалаечника в социальной драме «Ошибка героя». После этого актёр стал частым гостем на киностудиях, появился в фильмах «Старик Хоттабыч», «Балтийская слава», «До свидания, мальчики». Широкая известность пришла к Копеляну уже после пятидесяти лет — актёр сыграл атамана Бурнаша в «Неуловимых мстителях», главаря банды налётчиков в «Интервенции», начальника жандармерии в «Опасных гастролях».
Актёра узнавали в лицо, но не всегда могли вспомнить его фамилию. А вот голос Ефима Копеляна был известен каждому — именно он произносил за кадром авторский текст в телесериале «Семнадцать мгновений весны». Благодаря актёру зазвучали мысли Штирлица, а сам он за эту работу получил от коллег шуточное прозвище Ефим Закадрович.
Первой избранницей Ефима Копеляна оказалась актриса Татьяна Певцова — дочь знаменитого педагога и актёра Иллариона Певцова. Они прожили в браке пять лет, но сохранить семью не сумели. Вскоре за кулисами Большого драматического театра Ефим Копелян познакомился с очаровательной 19-летней студенткой Людмилой Макаровой. Она была младше на десять лет, но актёр влюбился с первого взгляда и вскоре сделал предложение. Они поженились за месяц до начала войны, а затем были вынуждены расстаться — Ефим выступал с фронтовым Театром народного ополчения, а Люду пригласили в Театр Балтийского флота. Но где бы она ни была с гастролями — пусть даже и на подлодке — везде её находили трогательные письма мужа. После войны семья воссоединилась, на свет появился сын Кирилл, который впоследствии продолжил творческую династию и стал актёром. Со второй женой Ефим Копелян прожил до конца дней.
В середине 70-х Ефим Копелян стал невероятно востребован в кино и театре. Он работал на износ — казалось, пытался наверстать упущенные молодые годы, когда ему не предлагали главных ролей. Месяцами актёр мог ночевать в поезде «Красная Стрела» — вечером играл спектакль в ленинградском БДТ, а затем мчался на съёмки в столицу. Напряжённый график не мог не сказаться на здоровье — Копелян перенёс инфаркт и был отправлен в санаторий на восстановление. На больничной койке актёр задерживаться не планировал — в разгаре были съёмки телесериала «Вечный зов», где он играл главную роль деревенского богатея Кафтанова.
Ефим Копелян мечтал поскорее выписаться и вернуться на площадку, но судьба распорядилась иначе. 6 марта 1975 года у 62-летнего актёра случился второй обширный инфаркт. По трагическому стечению обстоятельств, почти весь персонал санатория уехал на празднование предстоящего женского дня, и помочь актёру было некому. Ефима Копеляна похоронили на Литераторских мостках в Ленинграде.