ご回答大変ありがとうございます。

> 一次分数変換で円が円に写ることは良く知られています.

w=(αz+β)/(γz+δ)は相似と回転と平行移動の変換なので円は中心と半径が変わるだけでやはり変換後も円なのですね。
勿論,時計回りなら時計回りに,反時計回りなら反時計回りになるのですね。
今,z=1/wと置いたのでw=1/zでα=0,β=1,γ=1,δ=0で一次分数変換になってますね。

> この問題では方程式を正確に求める必要はありませんが,

∫_C -3z^5/[(z^2-1)(4z^2-1)]dzから
∫_C' -3(1/w)^5/[((1/w)^2-1)(4(1/w)^2-1)]dw
wに変数変換後に(留数定理を使用する為に)関数-3(1/5)^5/[((1/w)^2-1)(4(1/w)^2-1)]の特異点がC'内にあるのか
どうかを知る為にもC'の方程式を求める必要があるのではないでしょうか?

>> |z-i|=3なら|1/w-i|=3で|1-wi|/|w|=3で|1-wi|=3|w|で
>>  √((1-iw)(1+iw))=3|w|からどのような閉曲線になるのでしょうか?
：
> となりますね.

ありがとうございます。
C':|w - i/8| = 3/8となるのですね。

そして -3(1/w)^5/[((1/w)^2-1)(4(1/w)^2-1)]=-3/[w(1-w^2)(4-w^2)]:=f(w)と変形で
き,
C'内ではw=0のみで孤立特異点(一位の極)を持つから,
∫_C 3z^5/[(z^2-1)(4z^2-1)]dz=∫_C' -3(1/5)^5/[((1/w)^2-1)(4(1/w)^2-1)]
dw
=∫_C' -3/[w(1-w^2)(4-w^2)]dw=2πiRes_{w=0}f(w)
=2πi・1/(1-1)!lim_{w→0} (w-0)f(w) =2πi lim_{w→0} -3/[(1-w^2)(4-w^2)]=2πi
(-3πi/4)=-3πi/2

となるのですね。