DepthAIのドキュメント

デバイスを受け取ったばかりですか？ OAK Cameraはこちら（翻訳済み）、RAE Robotはこちらから始めてください！

DepthAIは空間AIプラットフォームであり、ロボットやコンピューターが人間のように世界を認識することを可能にします。DepthAIを使用することで、以下のようなプロジェクトや製品を開発することができます：

DepthAIプラットフォームは、ハードウェア、ファームウェア、ソフトウェアの完全なエコシステムです。モジュール化されているため、この技術をあなたの製品に簡単に導入することができます（ドキュメントはこちら）。

DepthAI ビュアー

DepthAI ビュアーはDepthAIとOAKカメラの可視化ツールです。デフォルトでデモアプリを実行するGUIアプリケーションで、すべてのストリームを可視化し、デバイス上で推論を実行します。また、デバイスの設定を変更することもできます。DepthAIビュアーはUSBおよびPOEカメラで動作します。

DepthAI ビュアーをインストールして実行するには、ターミナルで以下のコマンドを実行します：

python3 -m pip install depthai-viewer
# Run the DepthAI Viewer
python3 -m depthai_viewer

デモスクリプト

depthaidemo

デモスクリプトはパイプラインビルダーAPIを中心に構築された多目的コマンドラインデモツールで、DepthAIの機能をコマンドラインから直接確認することができます！USBとPoEの両方に対応しており、LAN上のPoE DepthAIやコンピュータに接続されたUSB DepthAIを自動的に検出します。複数のDepthAIが接続されている場合、デモに使用するDepthAIを選択するプロンプトが表示されます。

OAKカメラにデモスクリプトをインストールして実行するには、ターミナルに以下のコマンドを入力します。

git clone https://github.com/luxonis/depthai.git
cd depthai
python3 install_requirements.py
python3 depthai_demo.py

さらに、README.mdで使用例を確認してください。また、DepthAIのセットアップとこのスクリプトの実行方法を詳しく説明したガイドも用意しました。

インストール中に問題が発生した場合は、インストールページでOS別の対応手順をご確認ください。

使用例

このセクションでは、DepthAIを使ってすぐに構築できる使用例を紹介します。インスピレーションが沸くものばかりです。

ポーズ推定

Google Mediapipeのシングルボディポーズトラッキングモデルを実行する方法です。

ハンドトラッキング

hand

Google Mediapipeのハンドトラッキングモデルを実行する方法です。

人間と機械の安全性

DepthAIを使って人間と他の物体との危険な相互作用を検出する方法です。

頭部姿勢検出

head

DepthAIを使った2段階のパイプライン（顔検出ニューラルネットワークと頭部姿勢推定ニューラルネットワーク）のデモです。

視線推定

eyes

Gen2パイプラインビルダーを使用して、DepthAI上で3段階の推論（3系列、2並列）を実行する方法です。

疲労検出

顔検出ネットワークと頭部検出ネットワークを実行するGen2パイプラインビルダーのデモです。

年齢性別認識

Gen2パイプラインビルダーを使用して、DepthAI上で2段階の推論を実行する方法です。まず、画像上で顔が検出され、次に切り取られた顔フレームが年齢性別認識ネットワークに送られ、推定結果が生成されます。

顔認識

face

Gen2パイプラインビルダーを使用して、顔検出ネットワーク、頭部姿勢推定ネットワーク、顔認識ネットワークの実行する方法です。

COVID-19マスク検出

Google Colabのチュートリアルで学習したCOVID-19マスク/マスクなし物体検出ツールを実行することができます。

歩行者の人物再特定

Gen2パイプラインビルダーを使用してDepthAI上で2段階の推論を実行する方法です。 この例が作成されたオリジナルのOpenVINOデモはこちら。

カメラデモ

USB経由でGen2パイプラインビルダーを使用してDepthAI/megaAI/OAKカメラを実行する方法です。

Deeplabv3（セグメンテーション）

seg

Deeplabv3+を実行し、モデルの出力に基づいて深度画像をクロップする方法です。

火災検知

Gen2パイプラインビルダーを使用して火災検知ネットワークを実行する方法です。

テキスト検出 + OCR

OCR

Gen2パイプラインビルダーでテキスト検出（EAST）を実行し、検出されたテキストを光学式文字認識する方法です。

ツールとAPIの例

このセクションでは、APIで何ができるか、どのようにデータをストリーミングや収集するか、といったメタ的な問題を解決するために、様々なAPIの使用例を紹介します。

エコシステム
OCR テキスト検出（EAST）の後に、検出されたテキストの光学式文字認識を行います。
複数のデバイス 1つのホスト上で複数のDepthAIを使用する方法です。デモはホストに接続された全てのデバイスを見つけ、それぞれのRGBプレビューを表示します。
顔認識 フレーム内のすべての顔を検出し、顔の特徴ベクトルを取得してデータベースと比較し、顔認識を行います。
メッセージの同期 タイムスタンプまたはシーケンス番号に基づいて、ソフトウェアとメッセージを同期する方法です。
WLSフィルタリング DepthAI APIからrectifiedrightと深度ストリームを使用して、ホスト側でWLSフィルタリングを行う方法です。
QRコードスキャナー デバイス上で動作するQRコード検出モデルとオンホストQRコードデコーダーを組み合わせたものです。
Roboflowモデルの導入 Roboflow Universeから10000以上の事前トレーニング済みAIモデルや独自のRoboflowカスタムモデルを導入します。
コアリポジトリ
depthai-python DepthAIのPython APIを作成するPythonバインディングです。
depthai-core C++で書かれたコアAPIです。
depthai-ros DepthAI ROSラッパーです。これは基本的なDepthAIのROS2インターフェイスの試みです。主に既存のdepthai-pythonの例を活用しています。
depthai-unity DepthAI Unityラッパーのプロジェクトとサンプルです。合成データセットの生成に便利です。
depthai-hardware Luxonisオープンソースベースボード、DepthAIを動かす組み込みハードウェアの詳細を理解するのに役立つAltiumデザインファイル、ドキュメント、画像が含まれています。
depthai-ml-training ニューラルネットワークの接続やBLOBの作成に役立つリポジトリを見つけることができます。
デモリポジトリ
depthai-experiments DepthAIを使った様々なサンプルがあります。アプリケーションの基礎や参考として使うことができます。
depthai 異なるネットワークの読み込み、パイプラインの作成、ビデオの録画などができるデモアプリケーションが含まれています。このプログラムには、深度とCNN推論の例など、すぐに使えるモデルです。
depthai-core-example C++とdepthaiライブラリをすぐに使い始めるためのテンプレートとなるCMakeサンプルプロジェクトです。
depthai-tutorials Luxonisで公開されているチュートリアルのソースコードが含まれています。
depthai-docker Dockerコンテナ内でDepthAI上のOpenVINOを実行するためのDockerfileが含まれています。

質問がありますか？ 技術サポートやその他の質問については、ディスカッションフォーラムへどうぞ。

出典 : Luxonisの資料 - DepthAI’s Documentation

https://docs.luxonis.com/en/latest/

＊このガイドはLuxonis社の許可を得て、スイッチサイエンスが翻訳しています。

◀︎一覧に戻る