DGX Spark 구성 정보
DGX Spark를 AI Poc 용도로 사용하기 위해 구성한 정보들입니다.
빠른 시작
-
시스템 구성
DGX Spark 초기 설정, 파일시스템, 계정, 원격접속 구성
시작하기
-
LLM 추론 엔진
TensorRT-LLM, vLLM, Ollama를 이용한 LLM 구동
LLM 구성
-
사용자 앱
OpenWebUI, AnythingLLM을 통한 채팅 인터페이스
WebUI 구성
-
개발 환경
에어갭 환경을 위한 Python 패키지 오프라인 저장소
패키지 설치
문서 목록
시스템 구성
| 번호 |
제목 |
설명 |
| 01 |
서비스 연결 정보 |
주요 서비스, 접속 계정 및 URL 정보 요약 |
| 02 |
기본 구성 |
파일시스템, 계정, 쉘, 원격제어, 한국어 지원 |
LLM 다운로드
LLM 추론 엔진
| 번호 |
제목 |
설명 |
| 04 |
LLM 구성 |
TensorRT-LLM, vLLM, Ollama를 이용한 LLM 6종 구동 |
| 04-1 |
Ollama 구성 |
Docker 기반 Ollama 설치 및 실행 |
| 04-2 |
TRT-LLM 구성 |
TensorRT-LLM 고성능 추론 엔진 및 OpenWebUI 연동 |
Web UI
LLM 연동 활용
| 번호 |
제목 |
설명 |
| 06 |
VSCode 연동 |
Continue 확장을 이용한 VSCode와 LLM 서버 연동 |
개발 환경