LlamaIndexを用いたJetson上でのローカルなRAGのデプロイ

イントロダクション

最近では、大規模言語モデルを使用して日々の問題を解決する人が増えています。 一方、大規模言語モデルは特定の質問に対して、錯覚を起こしたり誤った情報を答えることがあります。 しかし、RAGという技術を使用して大規模言語モデルに関連データを提供することで、錯覚を減らすことが可能です。 そのため、RAGを使用して大規模言語モデルでの錯覚の発生を削減することがトレンドとなっています。

RAG-MLC-Jetson

この記事では、JetsonベースのRAGを紹介します。RAGフレームワークとしてLlamaIndex、ベクターデータベースとしてChromaDB、質問応答モデルとして量子化されたLlama2-7bモデルLLM MLCを使用します。 このローカルRAGプロジェクトにより、データプライバシーの保護、低遅延の通信体験が提供可能になります。

ハードウェアの準備

実行環境の準備

ステップ1：MLC Jetsonコンテナをインストール

# Install jetson-container and its requirements
git clone --depth=1 https://github.com/dusty-nv/jetson-containers
cd jetson-containers 
pip install -r requirements.txt

ステップ2：RAGプロジェクトをインストール

# Install RAG project
cd data
git clone https://github.com/Seeed-Projects/RAG_based_on_Jetson.git

ステップ3：量子化されたLlama2-7b MLC LLMモデルをインストール

# Install LLM model
sudo apt-get install git-lfs
cd RAG_based_on_Jetson
git clone https://huggingface.co/JiahaoLi/llama2-7b-MLC-q4f16-jetson-containers

ステップ4：Dockerを実行し、必要要件をインストール

cd ../../
./run.sh $(./autotag mlc)
 # Here you will enter the Docker, and the commands below will run inside the Docker
cd data/RAG_based_on_Jetson/
pip install -r requirements.txt
pip install chromadb==0.3.29

pip install chromadb==0.3.29を実行すると、下記のようなインターフェイスが表示されます。

RAG_Install_ChromaDB

NOTE： エラーは無視して問題ありません。

実行

# Run in the docker
python3 RAG.py

プロジェクトの展望

本プロジェクトではTXTとPDFドキュメントをベクターデータベースとして解析し、RAGを用いて特定の問題に対するモデルの錯覚を削減しました。 将来的にマルチモーダルモデルを使用して、画像とビデオの検索をサポートする予定です。

テクニカルサポートと製品に関するフォーラム

ご購入いただいた製品をスムーズにお使いいただけるよう、Seeedでは様々なサポートを提供しています。ご希望に合わせてコンタクトの方法をお選びください。

出典 : Seeed Studio資料 Wiki - Local RAG based on Jetson with LlamaIndex

https://wiki.seeedstudio.com/Local_RAG_based_on_Jetson_with_LlamaIndex/

＊このガイドはSeeed Studioの許可を得て、スイッチサイエンスが翻訳しています。