Родился в многодетной семье. Начальное образование получил в Ятранском народном училище. На учебу в гимназии не было средств, поэтому поступил в Минское духовное училище, а потом – в семинарию. В семинарские времена давал частные уроки, чтобы материально помочь семье. После окончания учебы в семинарии (1881), поступил на казенный счет в Нежинский историко-филологический институт на Украине. После блестящего окончания института (1885) устроился на работу в Вильне, где в течение 8 лет преподавал русский и старославянский языки, а также русскую литературу во 2-й Виленской гимназии. В 1891 году сдал в Варшаве магистерский экзамен, а через 2 года Совет Киевского университета присудил ему за исследования русского языка ученую степень магистра русского языка и словесности (это была первая в истории диссертация на белорусском языке).

В 1893 году Я. Карский перебрался в Варшаву и надолго связал свою судьбу с Императорским Варшавским университетом: сначала работал преподавателем-лектором, с 1894 года – экстраординарный (с 1897 г. ординарный) профессор кафедры русского и славянского языка и русской литературы. За работы в белорусоведении в 1894 году награжден большой золотой медалью Русского географического общества. В 1896 году за исследование «Западноруские переводы псалтири в XV– XVII в.» совет Московского университета присудил ему ученую степень доктора филологии. Он был избран членом Археографической комиссии Московского археологического общества, членом-корреспондентом Общества любителей древней письменности (1898). В 1901 году за работы в области палеографии Петербургская АН наградила его малой Ломоносовской премией.

В 1905 году он возглавил наиболее крупный филологический журнал тогдашней России «Русский филологический вестник», где поместил много своих научных работ и библиографических материалов. В этом же году стал первым избранным ректором Императорского Варшавского университета. В 1908 году переизбран на новый срок, но в 1910 году отказался от этой должности в знак протеста против произвола министра Касо.

В 1915–1916 гг. работал в Ростове-на-Дону, куда был эвакуирован Варшавский университет, а после избрания действительным членом Академии наук (1916) переехал в Петроград. В 1917 г. стал профессором Петроградского университета.
Потом жил в Минске, где его застала польская оккупация. В декабре 1919 года побывал в Варшаве, откуда перевез в Минск свою библиотеку, которую позже передал Белорусскому университету.

После освобождения Минска (июль 1920) вернулся в Петроград, где стал одним из организаторов академической науки. Он был членом Правления и Президиума АН, директором Музея антропологии и этнографии, председателем Словарной комиссии, Комиссии по русскому языку, членом комиссии «Наука и научные работники», редактором журнала «Известия ОРЯС» (с 1928 года «Известия по ОРЯС») Академии наук, членом академического Редакционно-издательского совета, профессором филологического факультета Петроградского (Ленинградского) университета, сотрудникам университетского Научно-исследовательского института.

Я. Карский много сделал в этот период для расширения международных связей советской славистической науки, был делегатом 1-го международного съезда славянских географов и этнографов в Праге (1924), избирался почетным членом Общества любителей российской словесности (1925), Общества письменности и искусства в Ленинграде (1927).
Я.Ф. Карский внес большой вклад в белорусскую и русскую филологическую науку.

Уже в студенческие годы проявил склонность к научному творчеству. Тогда же напечатал свои первые научные работы (рецензии, фольклорные записи из д. Березовец) и приступил к задуманному еще в 1881 г. монографическому исследованию родного белорусского языка, в результате чего появилась его работа «Обзор звуков и форм белорусской речи», которая сыграла важную роль как в творческой биографии исследователя, так и в становлении белорусской национальной культуры.

Исследовал палеографию, историю белорусского языка, диалектологию, этнографию, устное народное творчество, древнюю и современную белорусскую литературу. Настоящей энциклопедией белорусоведения стал фундаментальный трехтомный труд “Беларусы” (в 7 вып.; 1903-1922), в котором на основе глубокого сравнительно-исторического исследования истории языка, фольклора, письменности, многовековой культуры белорусского народа впервые была научно обоснована его национальная самобытность как самостоятельного славянского народа. Автор обстоятельных исследований «Славянская кирилловская палеография», «Русская правда» по древнему списку и др. Под его редакцией вышли научные издания ценных памятников письменности и культуры в «Полном собрании русских летописей» («Повесть временных лет», Суздальская летопись).

Отдельно нужно отметить вклад Я. Карского в организацию науки в Беларуси и развитие белорусской культуры. Еще в дореволюционное время он составил программу изучения русского языка, сотрудничал с П. Шейн, М. Никифоровским, Е. Романовым, поддерживал первые белорусские издательства, “Нашу ніву” и научно-литературный кружок студентов Петербургского университета. В советское время был председателем комиссии по открытию в Минске Белорусского государственного университета, действительным членом Инбелкульта (участвовал в разработке его устава).

На протяжении 48 лет научной деятельности Е. Карском было написано свыше 96 книг, 149 статей и 777 отзывов, аннотаций, критико-библиографических статей. Всего академиком Карским написано 1016 работ.
Уцелевшая часть личного архива Я. Карского хранится в Санкт-Петербургском отделении архива Российской АН.
Библиотека, переданная в 1922 году БГУ, хранится отдельной коллекцией в Национальной библиотеке Беларуси (в годы Великой Отечественной войны частично утеряна).

29 апреля 1931 года Е. Карский умер и был похоронен на Смоленском православном кладбище в Ленинграде.
1 декабря 1964 г. в Лошанской школе был открыт мемориальный музей Е. Карского.
3 1957 г. Гродненская областная научная библиотека носит имя Я.Ф. Карского, с 2005 г. – и Гродненская городская гимназия, в которой действует тематический музей Е. Карского.

Одна из улиц г. Гродно названа в честь Е. Карского.