Многие современники из литературной среды вспоминали его как человека «с девичьей улыбкой и змеиной душой». Яков Агранов, начальник секретно-следственной части ОГПУ и бывшая правая рука Ягоды, был человеком, который заставлял каждого задуматься над вопросом: «что же у тебя в душе?». В органы он пришел осенью 1919 года на должность особо уполномоченного по важнейшим делам. Участвовал в нашумевшем деле «Тактического центра». Прозвонивший по этому делу профессор С. Мельгунов вспоминал, что Яков Агранов обладал некой «ласковостью» и вкрадчивостью. Внешний обязательный образ соответствовал инструкциям ЧК. Быть аккуратным и чистоплотным, чтобы ваша внешность располагала к вам и давала возможность вынудить всё необходимое. На допросах не применял насилия, а старался выбить признание убеждением. Агранов лично допрашивал Гумилева, патриарха Тихона и неким образом был связан с загадочным самоубийством Маяковского. «Аграныч» был «другом» дома Бриков, часто общался с поэтом и даже участвовал в организации его похорон.
Яков Саулович был далек от литературы, но при этом был на короткой ноге со многими писателями и поэтами того времени. В писательских кругах его звали по-свойски - Янечка. Его друзьями были не только Маяковский, но также Леопольд Авербах, Сергей Есенин и Борис Пильняк. Обаятельны чекист любил вместе с женой присутствовать на художественных собраниях Театра Мейерхольда, где не раз выступал Маяковский. Яков Агранов смеялся до слез во время чтения «Бани», но никогда не вмешивался в дискуссии. Просто сидел и внимательно слушал. Также писатель Анатолий Виноградов вспоминал, как однажды Агранов ехидно начал издеваться над Маяковским: «Вы, поэты, любите похвастаться словцом, а на деле вы трусы». Поэт что-то недовольно буркнул в ответ, но Агранов продолжал наступать. В итоге вынул револьвер и подал Маяковскому: «На вот, посмотрим, какой ты храбрый, хватит ли у тебя смелости поставить пулю». Маяковский взял револьвер и ушел с ним.
