A resposta é sim. Em regra, o proprietário de um imóvel rural tem o direito de proibir a passagem de vizinhos por sua propriedade, exceto em casos de necessidade e emergência (incêndios, desmoronamentos, etc).
Porém, o vizinho pode ter o direito de passar por uma faixa da propriedade lindeira para acessar sua própria propriedade. Esse direito é conhecido como direito de passagem ou direito de trânsito e pode ser obtido judicialmente ou mediante acordo celebrado entre os proprietários dos imóveis envolvidos.
Portanto, caso o vizinho não tenha esse direito assegurado, ele não pode passar pela sua propriedade sem o seu consentimento. Se isso ocorrer, você pode buscar orientação jurídica para proteger seus direitos como proprietário e/ou possuidor e, se necessário, tomar medidas legais para impedir a invasão ou solicitar reparação pelos danos causados.