00_03 Perception Engineer（認識 / 正解データ生成）｜自動運転開発室

00_03 Perception Engineer（認識 / 正解データ生成）｜自動運転開発室

newmo

00_自動運転開発室

仕事概要

newmo について

newmoは「移動で地域をカラフルに。」をミッションに掲げ、メルカリ日本事業を統括していたCEO青柳をはじめ、各領域のエキスパートが集結したモビリティテックカンパニーです。

Physical AI（End-to-End 自動運転モデル）× 大規模リアルアセットを統合し、日本の移動インフラを根本から再設計する次世代モビリティ社会インフラを構築しています。自社タクシーフリートから得られる膨大な現場データを高速に学習・改善へ反映する "データ循環型AI開発エコシステム" を強みに、少子高齢化・人手不足で縮小する地域交通をアップデートし続けています。

経済産業省・NEDO「GENIAC」採択、堺市での国家プロジェクト参画、自動運転リーディング企業との戦略的提携など、挑戦は加速しています。

採用背景

newmoでは「自動運転タクシーサービスの社会実装」に向けて、自社での自動運転ソフトウェア開発を進めています。E2Eモデルの性能は、学習に使う正解データ（Ground Truth）の質で決まります。正解データを作ることを専門チームの役割と位置づけ、チーム名も Ground Truth としています。

正解データを作る工程はいくつもの段階に分かれ、前の段階の誤差の影響が後ろで初めて見えることもあります。品質を上げるには領域をまたいだ連携が欠かせないため、Localization と Perception のエンジニアが同じチームに所属しています。工程全体が共通の責任で、Ground Truthを作るという一つの目標に向かって動いていただきます。

その中で本ポジションが担うのは、収集したデータの品質確認から、認識モデルによるラベル付けまでです。ここに3つの条件が同時にかかります。

3つの条件

入力の品質

品質の悪いデータが混ざったままだと、そこから作る正解データも信用できません。

正解データの精度

入力の品質を上げきっても認識の精度は100%にならず、誤検出と見逃しのトレードオフを取りながら精度を上げていくことになります。

データ量

人手のアノテーションを増やし続けるやり方では、毎日溜まるデータの量に追いつきません。

この3つを同時に満たす方法を考えて実行していただきます。

業務内容

1. 認識モデル開発・正解データ生成（メイン領域）

• 物体検出・セグメンテーション・トラッキングなど、認識モデルの調査・実装・改善
• カメラ / LiDARを統合した3D認識と、正解データを自動生成する仕組み（オートラベリング）の設計・実装
• 誤検出と見逃しの傾向を分析し、どこまで自動でラベルを付け、どこに人の確認を入れるかの設計
• 逆光・夜間・悪天候・遮蔽など、実車で起きる条件が認識に与える影響の分析と対策

2. センサデータ基盤・表現設計

• センサデータの品質評価と仕様策定
• 物理特性や信号ノイズを考慮したデータ仕様・入力表現（Representation）の設計
• 下流モデル（E2Eモデル、Planning等）が扱いやすい、堅牢なデータ処理パイプラインの構築・改善

3. データ・評価ループの構築（Data-Centric AI）

• 難例（Hard Example）抽出、評価データ整備などの改善ループ構築
• 実車ログ解析・失敗事例分析による精度・データ品質の継続的フィードバック
• シミュレーションでは見えない"実世界のふるまい"を読み解く評価プロセスの設計

4. システム連携・アーキテクチャ設計

• Planningとのインターフェース設計
• E2Eモデル学習時の入力設計
• 実車・シミュレーションを含めた評価基盤との連携

ポジションの魅力

精度を上げるために、手段を選べる

論文で出たばかりの手法の再現から自社データで学習した独自モデルまで、いまの技術スタックや既製のアノテーションツールでできる範囲に合わせる必要はありません。

改善のサイクルを自社で回せる

自社でタクシー事業を運行しているため、生の実車データが毎日蓄積されます。どんなセンサをいくつ、どこに付けるかまで自分たちで決められるので、集めたデータで改善し、実車で確かめるところまでを自分たちの判断だけで進められます。

正解データを作る仕組み全体を設計できる

毎日溜まるデータに人手だけで追いつくことはできないため、自動化が前提になります。自動化のためのモデルを学習させる目的で大規模な人手アノテーションに投資することも含め、どこを自動に任せるかから設計できます。

作った正解データが、そのまま学習データになる

認識の出力は、E2Eモデルの学習データそのものになります。正解データの質がモデルの性能に直結するため、MLエンジニアと連携しながら「どこまでの精度が本当に必要か」に踏み込んで開発できます。

参考情報

• newmo CTOが語る、自動運転の今と未来予測〜フィジカルAI・山の登り方・偶然と制約〜
• newmo 技術ブログ
• newmo、シリーズA総額で179億円の調達を完了。累計調達金額は199億円に到達、自動運転タクシーへ本格参入

必須スキル

Perception（認識）の実務経験 — カメラ / LiDAR などのセンサを用いた認識に関する実務経験（下記のいずれか）

• 物体検出（2D / 3D）
• セグメンテーション（セマンティック / インスタンス / 点群）
• 地図・BEV（BEV 表現、オンライン HD Map 推定、車線・道路構造の認識）
• 追跡（多物体トラッキング、データアソシエーション、速度・加速度の推定）
• マルチセンサフュージョン（カメラ / LiDAR の統合、時刻・座標の整合）

実車データ解析の経験 — 実車・実機から取得したセンサデータ（カメラ / LiDAR / IMU / GNSS 等）を解析し、課題特定・改善につなげた経験

課題推進力 — 技術的な不確実性が高い課題に対して、自ら調査・仮説構築・実装・検証まで推進できる力

実装スキル — Python / C++ でのデータ処理・アルゴリズム実装経験

語学力 — 日本語でのコミュニケーション能力（JLPT N2 相当以上）

歓迎スキル

• 自動運転車や自律移動ロボット（ドローンなど）の開発経験
• 自己位置推定・状態推定（Localization）の実装経験
• 車載組込み環境での開発経験（Linux、リアルタイム性）
• 大規模データでのモデル学習・評価の経験
• センサハードウェアの物理特性に関する知識、ケーブル配線や熱管理など実装レベルの課題への対応経験

求める人物像

• 当事者意識と実行力 — 課題や問題を指摘するだけでなく、必要であれば自ら泥臭く手を動かして改善・修正できる方
• 微細な変化への洞察力 — 単なる要素技術にとどまらず、ハードウェアの微細なノイズや環境変化に気づき、仮説検証を行える方
• コラボレーション — 未知の課題に対して、チームや別領域のエンジニアと協力しながら柔軟に解決策を探せる方

応募概要

給与給与 800万円〜2000万円

勤務地Autonomy Garage Tokyo

〒143-0006 東京都大田区平和島6丁目1番1号 東京流通センターA棟2F AE-2-7-2

雇用形態正社員または業務委託

勤務体系裁量労働制またはフレックスタイム（コアタイム11:00-14:00）

出社ポリシー: 事業立ち上げフェイズにつき、原則週５日出社

試用期間あり（3ヶ月）

福利厚生福利厚生:有給休暇、慶弔休暇、出産育児休暇、産前産後休暇、看護/介護休暇、夏季休暇、Welcome休暇、Sick Leave

加入保険:完備（健康保険、厚生年金、雇用保険、労災保険）

受動喫煙対策:屋内全面禁煙

マイカー通勤制度

企業情報

企業名newmo