Далі почала заселятися уся та країна, на котрій зложився Сумський Слободський полк. Люди приходили на слободи по всяк час безупинно, як се можна бачити, наприклад, у слободі Тернах, куди у 1653 році прийшло 48 семейств і потім приходило ледве не що року по кілька десятків; більш усього припадає на ті роки, коли було найбільше виселення з правобережжа, особливо в часи руїни.
У 1654 році був заснований Харьків і декілька иньших слобід, з котрих потім зложився Харьковський полк. На Харьківське городище прийшла з початку маленька купка (37 семей) переселенців трошки раніше 1654 року, як се видко з прохання — супліки Білгородської Миколаєвської церкви попа Івана. Він писав, що у 1654 році на Харьковському городищі у їх церковній вотчині черкаси збудовали хати і живуть у них. Е. Альбовській подає гадку, що прийшли туди сі 37 семейств ще у 1651 році, бо про них було сказано, що вони прийшли туди раніше, ніж иньші, а потім підійшли й другі, та й на полкових прапорах, додає він, стояв 1651-й рік. Але у 1651 році Харьковського полка ще не було, а як сказано — „раніше 1654 року“, то се можливо однести і до 1653, і до 1652 року, а може навіть раніше 1651 року. Невеличка купка в 37 семей пробувала тут до 1654 року, але велика купа переселенців явилася на Харьківське городище у 1654 році і збудовала кріпость. У 1654 році у Харькові українці пробили собі шлях до Торських солоних озер, куди їздили по сіль, себ то чумакували; значить і харьківці, як і сумчане, займалися промислами; сей шлях Харьківський воєвода Селіфонтов звелів харківцям знищити, але вони одмовилися од сього, бо не хтіли знищення свого чумацьтва. Волів він являтися харьківцям до себе на огляд, але багато не послухалося і роз'іхалося на Торські озера варити сіль та по иньших місцях, а у Харькові залишилося обмаль людей і харьковського городища забезпечити від татар було неможливо. Так писав перший харьковський воєвода Селіфонтов у Москву, звідкіля прийшов царський указ харьківськім „черкасам“, щоб вони будовали кріпость — острог і нових доріг не проводили. Як бачимо, тут ще немає згадки про Харьківську кріпость, говориться тільки про Харьків, яко поселення, і про Харьківске городище, яко природню кріпость. Трохи згодом на Харьківске городище явилася одразу велика купа переселенців, їх було окрім семейств 587 чоловіка. Вони завели стани і пасіки, ловили звіря і рибу, поставили буди, де гнали дьоготь. Виходить, що й харьківці займалися тим, що й сумчане; і не дивно, бо біля Харькова було тоді багато лісу, так що приходилося дорогу до Тора для чумацьтва просікати у лісах, (воєвода Білгородський наказував її засікти, себ то закласти
