ちょっと折りたたんで見やすくするとこんな感じ
スキップ接続ってやつで情報をうまく伝達するモデルらしい(知らんけど)
RE: https://misskey.flowers/notes/a7t1mfwjfk4l0099
If you have a fediverse account, you can quote this note from your own instance. Search https://misskey.flowers/notes/a7t1p8i492rr00xa on your instance and quote it. (Note that quoting is not supported in Mastodon.)
おぉ！スキップ接続ってあれじゃん！
ショートカット作って入力データと出力データの"差"だけ学習させる？的なアレ（ガチ初心者なので間違ってたらごめんなさい）
生成AIの発端になったと噂のTransformerモデルでもこの知見が生かされてるとか何とか
RE: https://misskey.flowers/notes/a7t1p8i492rr00xa