През 1970 г. той свързва живота си с Пиринка Александрова Кърлина. Отгледаха с обич децата си дъщери. Семейството живя скромно в панелен апартамент, без да има друго имущество. Неговото богатство беше в домашния уют, искреността между близките и уважението.
И като пенсионер Горанов не престана да се интересува от делото на слепите и кооперативния живот. Ще го запомним и като читалищен деец. През 1958 г. като председател на читалището той закупува първите магнетофони, които се раздават на слепи и се правят записи на книги. По случай 30 години от основаването на читалището при една среща с Петко Стайнов решава да кръсти културната организация с името на Луи Брайл. Предложението му се приема с въодушевление от тържественото събрание. За неговите заслуги той е избран за почетен член на читалището.
На прощаването с Коно Горанов на софийските централни гробища дойде внушително мнозинство — негови работници, служители, другари по съдба, близки и приятели. Простиха се обикновените хора с един достоен човек. И както се казва — не може да има бъдеще, ако не се помни миналото. Централното съюзно ръководство не намери време да изпрати представител, за да почете паметта на своя дългогодишен деятел. Това направиха наистина по един достоен начин слепите и виждащите, които се простиха с него.
Отиде си от нашите редици един радетел за благото на слепите, който ще остави светла диря в паметта ни и ще ни напомня, че в миг на колебание трябва решително да се защитава каузата за благото на другите.
След смъртта няма виждащи и слепи. Този акт на природата ни изравнява и ако душата ни отива в царството на вечната светлина, то и душата на Коно, моят другар и приятел е там, където се е стремила през целия му живот.
Нека повторим вместо него любимия му стих от романа „Мартин Идън“ на Джек Лондон, в негова памет:
Февруари 2000 г.
Добрият човек Стойчо Милчев
Тъжно ми е да се връщам към живота на моите другари по съдба, които вече не са сред нас. За Стойчо Милчев вече е писано веднъж в списание „Зари“. Едва ли бих могъл да добавя нещо повече към предишния очерк. Последния път, когато се срещнах с него, беше в навечерието на новата 2000 година. Посетихме го в неговата боксониера в жк „Дружба“ на столицата. Посрещна ни както винаги с благата си усмивка, само че този път беше отпаднал. Трудно се движеше, имаше остри болки в ставите. Това беше последица от дългогодишната му работа като кошничар. Върбовата пръчка, от която се правеха кошчета, се потапяла във вода, затова ръцете и коленете му постоянно са били мокри. Това е само едната страна на неговия дълъг житейски път. По-голямата част от енергията на доброто му сърце бе вложена в изграждането на съюзното дело на слепите след Втората световна война.