Границы для ячеек устанавливаются на вкладке формат ячейки - границы. То что вы в виде серой сеточник вокруг ячеек это не границы, это сетка. Она может выводиться на печать, может нет, а границы ячеек всегда печатаются и служат для оформления таблиц (шапочки, разметка и так далее).

Для того, чтобы начать создавать границу нужно выбрать тип линии в окне линия. Ниже можно выбрать цвет. Границы можно устанавливать как все сразу так и по отдельности. Обратите внимание на то, что кнопка внутренние заблокирована. Эта кнопка станет активной если вы выберете несколько ячеек и зайдете в формат ячейки. Эта кнопка позволит установить границы между ячеек, создав сетку.

Сразу хочу сказать, что постоянно обращаться к формату ячейки для границ неудобно. На панели инструментов есть соотвествующея кнопка.

Обратите внимание, что там не все возможности по границам ячеек. Это частая ошибка начинающих пользователей. Покажет им какой нибуть умник сразу панель инструментов, и рисуют они потом диагонали линиями.