おぉ！スキップ接続ってあれじゃん！
ショートカット作って入力データと出力データの"差"だけ学習させる？的なアレ（ガチ初心者なので間違ってたらごめんなさい）
生成AIの発端になったと噂のTransformerモデルでもこの知見が生かされてるとか何とか
RE: https://misskey.flowers/notes/a7t1p8i492rr00xa
If you have a fediverse account, you can quote this note from your own instance. Search https://misskey.flowers/notes/a7ta7tzippyb09ud on your instance and quote it. (Note that quoting is not supported in Mastodon.)
自分の知ったことが正しければスキップ接続は差じゃなくて和を学ばせる感じ
ちなみにこの和の仕方も2通りあって全部足すのとリストを拡張する形で足すやつ
前者はパラメータが少なくなるはずだけど情報が少なくなる
後者は入力が一層ごとにデカくなっていく感じ
自分の作ったやつ(DenseNet)は後者
RE: https://misskey.flowers/notes/a7ta7tzippyb09ud