> 「冪乗の概念の拡張」と「微分しても積分してもそのまま」とが
> 一致するのが当然だと思わせるような説明って何かありますかね?

関数を無限級数で表示することを認めれば、
   f'(x) = f(x) かつ f(0)=1
(微分してもそのまま)を満たす関数 f(x) と
   g(x) g(y) = g(x+y) かつ g(1) = e = 2.71828...
(冪乗の拡張)を満たす関数 g(x) が一致することは素朴に示せますが…。

T.G.