Служилые люди Баргузинского острога Осип Васильев и Гаврила Ловцов в 1665 году челом бившие Петру Самойлову, бывшему тогда стрелецким головой и приказчиком Баргузинского острога 27 сентября заложили острог.
Острог расположился на правом берегу реки Селенги, неподалёку от впадающей в неё реки Чикой. Укрепление имело по углам четыре башни, а вокруг - тыновая стена в две с половиной сажени высоты. Были сделаны все оборонительные укрепления: «крепь, ров, чеснок и надолбы».
В конце 60-х годов острог расширили с трёх сторон, увеличив его площадь вдвое.
В остроге была трёхпрестольная церковь во имя Спаса нерукотворного, во имя Михаила Архангела и во имя Николы Чудотворца.
С 1670 года вокруг острога развели пашню. Места оказались плодородными, и вскоре острог оброс заимками.
В 1672 году для «дозору новаго острогу» князем Репниным из Тобольска был отправлен Степан Поляков, который участвовал в походах Е. Хабарова. Поляков отписывал из Селенгинского острога в Сибирский приказ, что до государства Китайского «самою тихою ездою будет месяца с полтора». Этой отпиской он дал Москве информацию, которой ей больше всего не хватало. В 1674 году он был вызван в Сибирский приказ в Москву, и принял участие в подготовке посольства Н. Г. Спафария в Китай.
В 1675 году, проезжая через Селенгинский острог Спафарий записал в своём дневнике: «тот острог лучше всех украинских (окраинных) сибирских острожков, для того что хлеб родица всякой, да и в садах всякыя зелия родятся ж и китайския, потому что страна теплая, а рыбы зело много промышляют из Байкала и из реки, лесу всякого много и лугов для сенокосу много, а паче всех луче мочно завести в нем торг великой, потому Китайское государство недалеко».
К 1681 году образовывается Селенгинский уезд, который подчиняется иркутскому воеводе. Но из-за неспокойного соседства с «мугальскими людьми» до 1685 года острог перестраивается, становится квадратным в плане. Справа от главных ворот вместо угловой башни стала церковь, а вместо левой угловой – колокольня в 10 аршин высоты.
В 1688 году Селенгинск был осаждён Тушету-ханом, которого на такой шаг подговорили маньчжуры, враждебно настроенные к Российскому государству. В это самое время в Селенгинске находился русский посол Федор Головин.
После снятия осады по указу Головина город был дополнительно укреплён.
