Re: rehash of dbm
山口です。
現象の話だけ。
>> In article <ufyut3jss.fsf@katsu.watanabe.name>
>> WATANABE Katsuhiro <katsu@watanabe.name> writes:
>> > 別途 insert 1回毎の時間の最大値も監視してみています。
>> > 遅い回というのは間歇的にやってくるのですが、それも
>> > Berkeley DB では1〜2秒、gdbm だと 2〜3秒でした
>> > (Pentium 1GHz)。応用によっては許せる範囲でしょう。
>>
>> この1〜2秒は、Berkeley DB のせいじゃないかもしれませんよ。OS
>> のファイル・システムのせいかもしれません。FreeBSD でなくて、
>> Linux ですが、大量データを書込んでいると、時々、数秒止まりま
>> す。あれやめて欲しいんだけど。
つい最近、Solaris10 + PostgreSQL8.0.3の環境で、fjのここ
1年分およそ12,000記事のヘッダーをinsertしていったんですが、
たまーに同じように4-5秒とまっているように見える時がありま
した。
trussで監視していた所、PostgreSQLがsystem callの返り待ち
をしているように見えたのですが、具体的に何待ちだったか
記憶があやふや。
body部のMD5値を計算して、insert間の時間が少し長くなり、
そういった止まる現象も無くなったように思います。
ちなみにその時にかかった時間は、全体で1h20m。1 insertあたり
0.4s掛かってます。実際には存在しない記事のチェックやdecode
処理があるので、純粋にinsertに掛かる時間はもっと短いですけど。
--
Tadasuke YAMAGUCHI @ Hyogo
Fnews-brouse 1.9(20180406) -- by Mizuno, MWE <mwe@ccsf.jp>
GnuPG Key ID = ECC8A735
GnuPG Key fingerprint = 9BE6 B9E9 55A5 A499 CD51 946E 9BDC 7870 ECC8 A735