로컬 개발 — exdev AI 연동

로컬에서 chatbotApi · chatbotApp · exAiChatBot · kakaoChatbotSkill 을 실행하고,
LLM / Embedding / Reranker 는 SSH 터널로, MongoDB / Qdrant 는 stock.exdev.co.kr 원격 인스턴스를 사용합니다.

exdev AI 구조

포트	서비스	API
16000	MLX LLM	`/v1/chat/completions`
16001	Embedding (MPS)	`/embed` (`EMBED_API_STYLE=tei`)
16002	Reranker	`/rerank` (`RERANK_API_STYLE=legacy`)

https://chatbot.exdev.co.kr 은 RAG API URL이며 LLM 직접 URL이 아닙니다.

한 번에 기동 / 중지

chmod +x local-dev/*.sh

./local-dev/stop-all.sh      # 먼저 중지
./local-dev/start-all.sh     # 전체 기동 + 헬스체크

# 옵션
./local-dev/start-all.sh --no-tunnel   # AI 터널이 이미 떠 있을 때
./local-dev/start-all.sh --skip-java   # Docker(RAG + chatbotApp)만
./local-dev/start-all.sh --no-build    # RAG 이미지 빌드 생략

./local-dev/stop-all.sh --tunnel   # SSH 터널까지 종료

RAG는 docker-compose.local.yml 사용 (Mac Docker :28012 포트 바인딩)
Mongo: stock.exdev.co.kr:27017 / Qdrant: http://stock.exdev.co.kr:6333/dashboard
로컬 Mongo·Qdrant 컨테이너는 기동하지 않습니다

기동 후 UI: http://localhost:8089/chatbot/app/

1. exdev AI 기동 (서버에서 한 번)

exdev SSH 접속 후:

bash /Users/aidev/dev/exAIChatbot2.0/scripts/exdev/start-host-ai.sh
curl -s http://127.0.0.1:28012/health   # llm/tei_embed/tei_rerank: true 확인

2. 로컬 SSH 터널

chmod +x local-dev/start-exdev-ai-tunnel.sh
./local-dev/start-exdev-ai-tunnel.sh

터널 확인:

curl -s http://127.0.0.1:16000/v1/models | head
curl -s http://127.0.0.1:16001/health
curl -s -X POST http://127.0.0.1:16002/rerank \
  -H 'Content-Type: application/json' \
  -d '{"query":"test","documents":["doc"]}'

3. exAiChatBot .env

cp local-dev/env.exdev-ai.template exAiChatBot-chatbot2.0-agent/.env
./local-dev/start-all.sh --skip-java --no-build   # RAG만 (원격 Mongo/Qdrant)
curl -s http://127.0.0.1:28012/health

RAG 컨테이너는 .env 의 MONGO_HOST / QDRANT_HOST (= stock.exdev.co.kr) 로 원격 DB에 접속합니다.

4. Java 서비스 + chatbotApp

# WAS (Mongo → stock.exdev.co.kr)
cd chatbotApi-chatbot2.0-agent
export INTERNAL_TOOL_API_KEY=local-dev-key
export MONGODB_URI='mongodb://exDev:ehfhrhdtk!!@stock.exdev.co.kr:27017/chatbot?authSource=chatbot'
export SKILL_INTERNAL_BASE_URL=http://127.0.0.1:8083
./gradlew bootRun

# Skill
cd kakaoChatbotSkill-chatbot2.0-agent
export AGENT_MODE=agent
export RAG_AGENT_CHAT_URL=http://127.0.0.1:28012/agent/chat
export CHATBOT_API_BASE_URL=http://127.0.0.1:8086/api/
export INTERNAL_TOOL_API_KEY=local-dev-key
./gradlew bootRun

# UI
cd chatbotApp-chatbot2.0-agent
CHATBOT_API_UPSTREAM=http://host.docker.internal:8083/web/ \
CHATBOT_API_HOST=host.docker.internal ./start.sh

api_clients.py 스타일 변수

변수	exdev 값	설명
`EMBED_API_STYLE`	`tei`	`/embed`
`RERANK_API_STYLE`	`legacy`	`/rerank`
`EMBED_API_STYLE`	`openai`	게이트웨이 `/v1/embeddings`
`RERANK_API_STYLE`	`gateway`	게이트웨이 `/score`

로컬 exdev 연동 시 tei + legacy 조합을 사용합니다.

3.3 KiB Raw Blame History