一言日記

アーキテクチャ
現状はCloudflareのストレージに推論に使うモデルは置いてて、RunPodで構築してるServerlessのworkerから読み込む方式にした
Pod側でストレージ確保しても良かったが、CloudflareのR2と料金が雲泥だったんで、いったんはR2に置いてる
結局、worker起動をどうするか問題が解決しないことには、ずっとマシン確保し続けるっていう、脳筋プレイにしかならないかも..