To be frank? Frankly speaking?
В чем тут дело? Во-первых, выражения сами по себе далеко не очень распространённые, а во-вторых, вы, скорее всего, используйте их неправильно - в значении HONEST.
Без лишних разговоров открываем в Cambridge Dictionary значение HONEST - telling the truth or able to be trusted and not likely to steal, cheat, or lie.
Смотрим значение FRANK - honest, sincere, and telling the truth, even when this might be AWKWARD or MAKE OTHER PEOPLE UNCOMFORTABLE: To be perfectly frank with you, I don't think she's the person for the job
Как правило, если вы говорите “to be frank” или “frankly speaking”, человек может ожидать, что после этого последует что-то не особо для него приятное.
И ещё один момент! Вернитесь в словаре на FRANK и гляньте чуть ниже определения синонимы. Там будет слово BLUNT (RUDE). Откройте его и посмотрите значение - saying what you think WITHOUT TRYING TO BE POLITE or CONSIDERING OTHER PEOPLE’S FEELINGS:
I'll be blunt - that last piece of work you did was terrible.