1万回くらいじゃあんまり学習してるかな？って感じだけど3万回くらいでそれっぽくなって5万回でもうほぼ完全に学習した感じ
ちなみにこれは10万回学習させてる
RE: https://misskey.flowers/notes/a6i2n1kq1y1615y2
If you have a fediverse account, you can quote this note from your own instance. Search https://misskey.flowers/notes/a6i2szkvzezz0syf on your instance and quote it. (Note that quoting is not supported in Mastodon.)
なんかたまにどんな引数にも同じような値を返すような学習しちゃうときがあるんだけどgptに聞いたら俗にいう勾配消失問題ってやつの可能性が高いらしい(レイヤーとか増やしたら陥りやすいらしいけど実際レイヤーを1個から3個とかにすると何回学習してもちゃんとした出力をしてくれなくなる)
RE: https://misskey.flowers/notes/a6i2szkvzezz0syf