たしかに、お墓参りは午前中に行うイメージがありますよね。ですが必ずしもそうでなければいけない、ということではありません。
ルールというよりは良識の話というか、「だらだらしてたら午後になっちゃった。」とか、「他の用事を済ませて午後から向かおう。」ということだと、なんだか故人さまも浮かばれないような気がしますよね。

なにかのついでにお参りするのではなく、お墓参りを目的に朝から予定を立て動くべき。という、昔からの習わしなのでしょう。
ちなみに、用事の後にお墓参りすることを「ついで参り」と呼びます。呼び名からもわかるように、故人さまがとてもないがしろにされているような気がしますよね。他の用事がある場合は、先にお墓参りを行ってから済ますようにするとよいですね。

「仕事があって午後からしか行けない。」「遠方だから午前中に到着するのは難しい。」という仕方のない理由であればまったく問題ないと思います。
形式に囚われるのではなく、故人さまを敬う気持ちがあるかどうかが重要と言えます。

何時に行ってもよいとはいえ、さすがに日没以降のお参りは避けましょう。日が落ちてからのお墓参りは足元が見えづらく、転倒の危険もあり大変危険な行為です。
さらに、夜のお墓参りは「魑魅魍魎（ちみもうりょう）」と呼ばれるバケモノが出るという言い伝えもあります。言い伝えに過ぎませんが、夜の霊園は思った以上に恐ろしいのでおすすめ出来ません；