すみませんバカなことばかり書いていて…。
# といいつつまたバカなことかもしれませんが…(..;。

実数の連続性を仮定すれば

「y＝f(x)に対して，
  
  (Δy)＝ A(x)・Δx ＋ ε(x,Δx)・Δx   ………(1) 
  （A(x) は Δx に無関係。Δx→0のとき，ε(x,Δx)→0。） 
  が成り立つとき
  
  f'(x):＝A(x)」

と

  f^(1)(x):＝f'(x)
  f^(n+1)(x):＝{f^(n)(x)}'

だけで Taylor の公式まで示せますよね。

そうすれば，

Δ^{n+1}y＝f^(n)(x)(Δx)^n＋ξ(x,Δx)・Δx   ………(1) 
（Δx→0のとき，ξ(x,Δx)→0。）

まで言えますよね…(..;。

となると，

TC> > 高階の微分まできちんと定式化できますよね。
TC> 
TC> 本当に?

d^n y:＝f^(n)(x)・(Δx)^{n}

でＯＫではないでしょうか？