Analysis of Memory Usage in ZeRO-3 Fine-Tuning of BERT for GPU Memory Optimizing

• 資料種別: 記事
• タイトル: Analysis of Memory Usage in ZeRO-3 Fine-Tuning of BERT for GPU Memory Optimizing
• 著者・編者: Xiaojie Tan; Takaki Nakamura
• シリーズタイトル: 情報システム研究会 情報システム,人工知能,知能情報・数理,その他一般
• 著者標目: Xiaojie Tan; Takaki Nakamura
• タイトル（掲載誌）: 電気学会研究会資料. IS / 情報システム研究会 [編]
• 巻号年月日等（掲載誌）: 2025(37-50):2025.8.5・6
• 掲載巻: 2025
• 掲載号: 37-50
• 掲載ページ: 13-18
• 掲載年月日（W3CDTF）: 2025-08
• 出版事項（掲載誌）: 東京 : 電気学会
• 出版地（国名コード）: JP
• 本文の言語コード: eng
• 件名標目: GPU Memory Optimization; Fine-tuning; DeepSpeed ZeRO-3; BERT-Large; Tensor Statistics
• NDLC: ZN31
• 対象利用者: 一般
• レポート番号（雑誌記事）: IS-25-039
• 所蔵機関: 国立国会図書館
• 請求記号: Z74-C91
• 連携機関・データベース: 国立国会図書館 : 国立国会図書館雑誌記事索引; https://ndlsearch.ndl.go.jp
• 書誌ID（NDLBibID）: 034347869; http://id.ndl.go.jp/bib/034347869
• 整理区分コード: 632