robots.txtを遵守する方針とrobots.txtにgoogleだけを許可する方針が流行るとウェブはgoogleに独占されることを良しとする方向になると思うので、クローラは負荷をそこまで与えない程度のレートで、サイト制作者はクロールされても死なない程度の容量のサイトアセットを使うwebになって欲しい。
robots.txtを遵守する方針とrobots.txtにgoogleだけを許可する方針が流行るとウェブはgoogleに独占されることを良しとする方向になると思うので、クローラは負荷をそこまで与えない程度のレートで、サイト制作者はクロールされても死なない程度の容量のサイトアセットを使うwebになって欲しい。
If you have a fediverse account, you can quote this note from your own instance. Search https://mastodon.hakurei.win/users/s3_odara/statuses/116221600096504445 on your instance and quote it. (Note that quoting is not supported in Mastodon.)