Библиотекарската традиција во Тетово има длабоки траги во историјата на овие простори. Точниот датум на кој е основана библиотеката не е познат, но се претпоставува дека 1945 година е година во која библиотеката започнала да работи во рамките на Поверенството за образование. Првата локација на која била сместена библиотеката е во новоизградената куќа на познатиот тетовски трговец Мато Симовски -Ченка.

Првиот библиотечен фонд го сочинувале книги сочувани од „Читалницата на тетовската младина“ која била отворена на 23 јули 1922 година,  збогатен со марксистичко-ленинистичка литература, но и голем број книги од класични автори. Сите книги биле на српскохрватски јазик, освен одреден број на политички брошури кои биле печатени на македонски јазик. Во тој период во библиотеката имало 500 членови, од кои поголемиот број биле средношколци, а библиотеката работела двократно. За потребите на читателите, библиотеката секојдневно набавувала дневни весници како „Нова Македонија“, „Борба“, „Политика“ ,” Народен фронт “ и други.

Веднаш по ослободувањето, во исто време со почнување со работа на градската библиотека во Тетово била отворена и библиотеката на албански јазик која во почетокот работела одвоено од македонската. Таа била сместена во стара куќа во центарот на Тетово и  библиотечниот фонд броел околу 2.000 книги, а како библиотекар работел наставникот Иса Сабајдини од селото Порој.

Во 1948 или 1949 година по налог на градските политички структури и Поверенството за просвета, албанската библиотека е присоединета кон Градската народна библиотека ,,Кочо Рацин“. Во 1952 година библиотеката се одвоила од составот на Поверенството за образование и продолжила да работи како независна културно-образовна институција, а од мај/јуни 1953 година продолжила да работи во приземните простории од семејната куќа на д-р Глигур Ефчески.

За време на својата работа, набрзо по формирањето библиотеката претрпела повеќе преселби. Библиотеката се преселила во приземните простории до поранешниот ресторан Ловец, поточно на аголот од улиците „Илинденска“ и „Тодор Циповски-Мерџан“, односно во просториите на Угостителското претпријатие „Нов живот“. По период од една година, поточно во 1954 година Библиотеката повторно е преселена. Тогаш се формирале посебни одделенија за деца и за возрасни и Одделот за деца се преселил во просториите на домот на д-р Ефчески, а Одделот за возрасни во куѓата на семејството Аврамоски, познати по прекарот Рудичевци, на улицата „Страшо Пинџур“.

После две децении, поточно во 1967 година, Матичната библиотека „Кочо Рацин“ Тетово повторно е преселена во просториите каде по завршувањето на војната ја започнала својата дејност, но овој пат на располагање и бил даден целиот објект кој бил во сопственост на Мато Ченка. Во приземјето бил сместен магацинот за книги и одделот за возрасни, додека на првиот кат бил сместен одделот за стручна обработка на книгите, одделот за деца и администрација. Матичната библиотека „Кочо Рацин“ во овие простории продолжила да работи три и пол децении, поточно до септември 2002 година кога согласно законот за денационализација усвоен од Владата на РМ, зградата во која се наоѓала библиотеката е вратена на своите сопственици и градската библиотека претрпува следно преселување. Надлежните органи со соодветна одлука отстапиле 200 метри квадратни од приземјето на Центарот за култура како нова локација за библиотеката. На овој простор се сместени одделот за деца, одделот за возрасни и одделот за стручна обработка на библиотечен материјал. Во недостаток на потребен простор, значителен број на книги се наоѓаа во дисфункционални простории, кои не се достапни за читателите. Во овие простории библиотеката ,,Кочо Рацин“ продолжува да функционира се до ноември 2023 година, кога врз основа на Одука на Владата на РМ Библиотеката  се преселува во други простории на Центарот за култура, кои до тогаш ги користел Факултетот за музички уметности при ДУТ.

Врз основа на Одлуката на Владата на РМ од 22.12.2003 година, на 22 јули 2004 година, Матичната библиотека „Кочо Рацин“ Тетово, со правна интервенција и со соодветна одлука, го менува својот статут и како резултат на споменатите интервенции институцијата е преименувана во Национална Установа Библиотека ,,Кочо Рацин“.

Истата година Библиотеката склучува договор со НУУБ „Св. Климент Охридски“ Битола за вклучување во заемната библиографска база преку серверот од Битола и со тоа е започнат процесот на  автоматизација на библиотечното работење и обработката на библиотечниот материјaл. Библиотеката „Кочо Рацин“ Тетово станува дел од националниот библиотечно-информациски систем кој функционира врз платформата COBISS и е една од 72 полноправни членки во COBISS.MK.

Библиотеката располага со книжен фонд од 110.000 обработени библиотечни единици и има ~ 5000 активни членови од сите категории. Секоја година има се реализираат проекти кои се финансиски поддржани од страна на Министерството за култура како и манифестации кои се во склоп на програмата за работа на библиотеката. Во 2023 година Библиотеката го доби признанието ,,Библиотека на годината“.