言語指示のエポックごとランダムパラフレーズ差し替え#2
Open
Kasaiatsuki wants to merge 4 commits into
Open
Conversation
traj_prompt.txtがjpgより1行少ないエピソード(Cosmos天候拡張の2,524話)で、 最終フレーム保存時にIndexErrorでクラッシュしていた。最終フレームは直前の 指示を使い回すことで回避。 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
lerobotサブモジュールにParaphraseAugmentProcessorStepを追加(open-rdc/lerobot#1)。 635件の指示文それぞれに5つの言い換え(training/data/paraphrases.json)を用意し、 --policy.paraphrase_augment_path指定時にデータセットのtask文字列を [元の文, *言い換え]からランダムに選び直す。フレームは1epochに1回しか サンプルされないため、これは実質「エポックごとにランダムな言い換えを使う」 効果になる。map_path未設定時は既存挙動のまま(no-op)。 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
g=0.7 の閾値でchunk生成から約3秒(refill_after_sec)経つまで再推論を待っていたが、 待たずに毎回最新観測で推論し続けてchunkを更新し続けるようにした（main の同種修正と同じ意図）。 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Summary
training/data/lerobot_dataset.py: Cosmos天候拡張エピソード(prompt行数がjpgより1行少ない2,524話)で最終フレーム保存時にIndexErrorが出ていたのを修正(直前の指示を使い回す)ParaphraseAugmentProcessorStepを追加。データセットのtask文字列をtraining/data/paraphrases.json(635件の指示それぞれに5つの言い換え)からランダムに差し替える。--policy.paraphrase_augment_path未指定時は既存挙動のままno-optraining/data/paraphrases.jsonを追加(635件 × 5言い換え、方向語/ランドマークを保持したまま生成、自動チェックスクリプトでleft/right整合性を検証済み)フレームは1エポックに1回だけサンプルされるため、これは実質「エポックごとに異なる言い換えを使う」データ拡張になる。フレームを物理的に複製する方式(N倍のステップ数が必要)と違い、既存のステップ数のまま言語表現の多様性だけを増やせる。
Test plan
ParaphraseAugmentProcessorStep単体テスト(lerobot側PR参照): 無効時no-op、有効時ランダムスワップ、マップ欠損時の安全なno-opparaphrases.json全3,175件をスクリプトで検証: 元文とleft/rightの有無が一致(既知のデータ品質バグ1件を除き0件不一致)training/data/lerobot_dataset.pyの修正: cosmos系1エピソードで最終フレームまで変換できることを確認🤖 Generated with Claude Code