Вы сохраняете контакты неправильно. И вот почему
Самый простой способ обезопасить себя от потери контактов в телефоне — использовать для их сохранения аккаунт Google. Если аккаунта от Google у вас до сих пор нет, самое время его завести. Для этих целей можно использовать уже имеющуюся почту Гугла или создать учетную запись прямо в процессе добавления на устройство. После привязки учетной записи к устройству, контакты можно будет сохранять в этот аккаунт, не боясь, что они потеряются. При смене телефона, вам достаточно будет войти в него под тем же аккаунтом, и контакты сразу отобразятся в телефонной книге...