Feat/toponav#2
Conversation
Load ml_planner-style topomap files, estimate the current node by PlaceNet inner product, and select the next graph node as the NavVLA goal.
Provide a CLI that builds topomap.yaml and node images from create_data.py datasets using PlaceNet features.
Update the goal image tensor from the topological navigator during inference so the next topomap node becomes the active NavVLA target.
Expose flags and paths for enabling topomap-based goal selection and PlaceNet feature matching.
Package generated topomap files when present and register the create_topomap console script.
Keep generated deployment topomap data and local PlaceNet weights out of version control.
Keep toponav.py focused on loading and using existing topomaps, and move TopomapGenerator into the create_topomap command module.
|
二号館を左周りしたコースでトポロジカルマップを設定してそれを基に自分がいる位置に近いノードを推定し、次の目標画像をomnivla-edgeに入力としていれて実験しました。 |
This reverts commit eb27a56.
| import torch | ||
| from PIL import Image as PILImage | ||
|
|
||
| _THIS_FILE = Path(__file__).resolve() |
There was a problem hiding this comment.
この辺のpath周りの設定，変更が不要なようにも思えるのですが，変更が必要なら理由を教えてください
|
|
||
|
|
||
| def _update_text_feature(self) -> None: | ||
| prompt = self.latest_prompt if self.use_prompt else "No language instruction" |
There was a problem hiding this comment.
modality id次第で切り替えればuse_promptというパラメータを用意せずに済みそうですね
その際にプロンプトが与えられていないのであれば，エラーを返すようにしたほうが良いと思います．
| with torch.no_grad(): | ||
| self.feat_text = self.text_encoder.encode_text(token) | ||
|
|
||
| def resolve_package_path(self, raw_path: str) -> Path: |
kyo0221
left a comment
kyo0221
left a comment
There was a problem hiding this comment.
指摘ではないので，質問に答えていただければ大丈夫です
|
２号館３階を40分くらい自由に走行したデータを用いてファインチューニングを行い、その重みファイルを用いてmodality_id:6(image_only)でトポロジカルマップを作成して走行実験を行った。 |
|
https://youtu.be/xDDzXTjBErw |
2 participants
ml_plannerのロジックを参考にトポロジカルマップを用いて最近傍ノードを推定しゴール画像を選択してナビゲーションを行う