DGX Spark 구성 정보

DGX Spark를 AI Poc 용도로 사용하기 위해 구성한 정보들입니다.

---

빠른 시작

• 시스템 구성

  ---

  DGX Spark 초기 설정, 파일시스템, 계정, 원격접속 구성

  시작하기

• LLM 추론 엔진

  ---

  TensorRT-LLM, vLLM, Ollama를 이용한 LLM 구동

  LLM 구성

• 사용자 앱

  ---

  OpenWebUI, AnythingLLM을 통한 채팅 인터페이스

  WebUI 구성

---

문서 목록

시스템 구성

번호	제목	설명
01	서비스 연결 정보	주요 서비스, 접속 계정 및 URL 정보 요약
02	기본 구성	파일시스템, 계정, 쉘, 원격제어, 한국어 지원

LLM 다운로드

번호	제목	설명
03	모델 다운로드 툴 (model-tool)	사내 모델 서버로부터 모델을 다운로드하는 전용 CLI

LLM 추론 엔진

번호	제목	설명
04	LLM 구성	TensorRT-LLM, vLLM, Ollama를 이용한 LLM 6종 구동
04-1	Ollama 구성	Docker 기반 Ollama 설치 및 실행
04-2	TRT-LLM 구성	TensorRT-LLM 고성능 추론 엔진 및 OpenWebUI 연동

Web UI

번호	제목	설명
05	OpenWebUI 구성	다양한 LLM 백엔드 연동을 위한 웹 채팅 인터페이스
05-1	AnythingLLM 구성	RAG 및 Knowledge Base 구축에 특화된 챗봇
05-2	LM Studio 구성	로컬 LLM 모델 구동 플랫폼 및 AppImage 관리

LLM 연동 활용

번호	제목	설명
06	VSCode 연동	Continue 확장을 이용한 VSCode와 LLM 서버 연동