Instructions to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
# Run inference directly in the terminal:
llama cli -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
# Run inference directly in the terminal:
llama cli -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
# Run inference directly in the terminal:
./llama-cli -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
# Run inference directly in the terminal:
./build/bin/llama-cli -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Use Docker

docker model run hf.co/bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

LM Studio
Jan

vLLM

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

SGLang

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Ollama
How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with Ollama:
```
ollama run hf.co/bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
```
Unsloth Desktop

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with Docker Model Runner:
```
docker model run hf.co/bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
```

Lemonade

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Run and chat with the model

lemonade run user.Bllossom-3B-DTRO-3LINE-POWER-Q6-{{QUANT_TAG}}

List all available models

lemonade list

Hermes Agent

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6 with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

DTRO - Bllossom-3B (파인튜닝) — 모델 설명서

개요

이 모델의 파인튜닝은 실패이며 전혀 동작하지 않습니다. 다운로드 받지 마세요 그냥 이제까지 작업했던 기록으로 남겨 두었습니다.

현재 사내용으로 개발된 프로그램 테스트 용도로 사용중이며 향후 에포크 수를 늘려가며 테스트 예정입니다.

또한 공식적인 사용버전이 아님을 명시합니다.

사내 활용 용도로 장애 보고서 기반 SQL DB 생성 후 장애 유형별 ML기반 장애 예측과 로컬 모델로 AI 분석 브리핑 지원을 하는 프로그램을 위한 LLM이며

AI브리핑 실행시 장애보고서 기반 데이터 호출 후 업무 관련 용어와 정의、 조치 방법들을 제작된 Q&A데이터셋로 5~10 스페닛을 프로그램상 호출 및 중복된 LLM에 파인튜닝된 데이터로 추론에 정확도를 향상시켜

할루시네이션을 방지하고 더 정확한 분석에 활용할 용도로 파인 튜닝 중 입니다.

DTRO-Bllossom-3B_finetuned은 대구교통공사 3호선 전력관제 업무에 특화된 로컬 LLM입니다. 기존의 Bllossom/llama-3.2-Korean-Bllossom-3B 모델을 기반으로, 업무 관련 문서(매뉴얼, 사규, 용어집, 과거 장애보고서 등)를 Q&A 형태로 정제한 데이터셋으로 파인튜닝하여, 검색 기반 DB와 결합했을 때 운영자에게 보다 전문적이고 상황에 적합한 AI 브리핑을 제공하도록 설계했습니다.

이 프로젝트의 핵심 목표는 다음과 같습니다.

장애 발생 시 검색된 관련 문서와 실시간 로그를 근거로 항목화된 'AI 브리핑'을 생성하여 운영자의 판단을 보조합니다.
파인튜닝은 모델의 일반 능력을 훼손하지 않도록 의도적으로 수행하여, LLM 단독 성능 저하를 최소화합니다.
저사양 PC에서도 운용 가능한 GGUF(q6_k) 형식을 제공하여, 사내 오프라인·보안 환경에서 안전하게 활용할 수 있도록 합니다.

핵심 포인트(요약)

파인튜닝 데이터: 업무 관련 Q&A, 매뉴얼·사규·용어·장애보고서 기반
학습 전략: QLoRA 파인튜닝 — 모델 훼손 최소화 우선
파일 아티팩트: Bllossom_llama-3B-DTRO-3LINE-POWER-Q6.gguf, Modelfile_Bllossom_Q6
컨텍스트: 최대 4,096 토큰 지원
목적: 검색 기반 DB 결과를 근거로 한 전문적 AI 브리핑(요약, 원인 가설, 우선 점검 항목, 권장 조치)
기대 향상: AI 브리핑 정확도 및 한국어 이해도 개선

왜 'QLoRA 파인튜닝'인가?

본 파인튜닝은 LLM을 단독 질의응답기(Q&A)로 바꾸려는 목적이 아닙니다. 그 대신 검색에서 추출된 도메인 문서를 LLM에 제공했을 때, 문체·용어·업무 관점에서 더 정확하고 신뢰성 있는 브리핑을 생성하도록 모델의 응답 성향을 보정하는 목적입니다.

주요 고려사항:

모델 훼손 최소화: QLoRA를 통한 효율적인 파인튜닝으로 원래의 일반화 능력을 유지
DB-증강(검색 결합): 모델은 검색 결과를 근거로 추론하도록 설계되어, 검색된 소스의 질이 최종 브리핑의 근거가 됩니다.
운영자 중심: 출력은 항상 운영자 검토를 전제로 한 권고형(참고용)으로 제공됩니다.

따라서, 모델 자체만으로 모든 질문에 완벽한 정답을 보장하지는 않습니다. 단독 사용 시에는 일부 정확도에 한계가 있을 수 있으며, 이는 설계상 의도된 동작입니다 — 본 모델은 '검색·DB를 보강한 브리핑 생산기'로 이해해야 합니다.

시스템 아키텍처 (개요)

아래 다이어그램은 전체 파이프라인의 흐름을 간단히 보여줍니다.

flowchart LR
  A[운영 로그 & 센서 데이터] --> B[검색 인덱스 / 장애 DB]
  C[매뉴얼·사규·용어집·과거보고서] --> B
  B --> D[검색(Top-N)]
  D --> E[프롬프트 구성기]
  E --> F[로컬 LLM (GGUF, Bllossom-3B 파인튜닝)]
  F --> G[AI 브리핑(요약·원인·우선순위·권장 조치)]
  G --> H[운영자 검토 → 피드백 저장]
  H --> I[재학습/미세조정(주기적)]
  F --> J[전력시스템 시뮬레이터] --- H

사용 방법 (간단 예시 — Ollama)

GGUF와 Modelfile을 허깅페이스에서 내려받아 로컬에 저장합니다.

Ollama에 모델 등록(생성)

# Modelfile 경로를 실제 위치로 수정
ollama create bllossom-3b-q6 -f "C:\path\to\Modelfile_Bllossom_Q6"

안전한 테스트 실행 (낮은 온도, 제한된 토큰)

ollama run bllossom-3b-q6 "최근 24시간 전력 이벤트 로그를 기반으로 우선 점검 항목 5가지를 요약해줘." --temperature 0 --num_predict 256

권장 Modelfile 기본값(예시):

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER num_ctx 4096
PARAMETER num_predict 1024
PARAMETER repeat_penalty 1.08

SYSTEM """당신은 대구교통공사 도시철도 3호선 전력 시스템 전문AI입니다. 답변은 자세하고 완전하게 한글로 작성해서 하세요."""

프롬프트 설계 원칙 (권장)

시스템 메시지: "당신은 대구교통공사 도시철도 3호선 전력 시스템 전문AI입니다. 답변은 자세하고 완전하게 한글로 작성해서 하세요."
입력: 검색된 Top-N 결과를 출처와 함께 구조화하여 제공(각 블록에 문서ID/발생일 등 포함)
출력 포맷: 1) 요약 2) 원인 가설(우선순위순, 근거 문서 표기) 3) 권장 점검 항목(우선순위 및 예상 영향)
항상 '출처 라벨(문서ID)'을 함께 표기하여 근거 추적성 보장

성능 및 검증 계획

기대 개선: AI 브리핑 정확도 및 한국어 전문성 향상
권장 측정 지표: 응답 정확도, 운영자 만족도, 처리 시간
검증 방법: 과거 사건 데이터를 통한 평가

한계와 주의사항 (중요)

모델 단독 결과의 한계: 본 모델은 '검색 결과를 기반으로 브리핑을 보강'하기 위해 튜닝된 모델입니다. 따라서 LLM 단독으로 정답을 항상 보장하지 않습니다. 모델 응답은 운영자 검토를 전제로 한 '참고용'이며, 자동조치 권한을 부여해서는 안 됩니다.
데이터 및 개인정보: 입력되는 로그/문서에서 PII(개인식별정보)는 사전 마스킹 후 사용해야 합니다.
모델 업데이트: 운영 피드백과 라벨링 결과를 주기적으로 수집하여, 재학습 또는 미세조정 계획을 수립하세요.

보안 및 배포 권고

로컬 실행 권장: 외부 API 호출 차단 또는 엄격 모니터링
접근 제어: 모델·데이터 접근은 권한 기반으로 제한
감사 로그: 누가 언제 모델을 사용했는지 기록
LFS/스토리지: GGUF 파일은 수 GB 단위이므로 저장 공간과 전송 대역폭 확인

아티팩트 및 파일 목록

Bllossom_llama-3B-DTRO-3LINE-POWER-Q6.gguf - Q6_K 양자화 모델
Modelfile_Bllossom_Q6 - Ollama용 모델 설정 파일
README.md - 이 설명서 파일
dataset_from_data_txt_merged.json - 파인튜닝 데이터셋

재현성 및 오픈소스 계획

허깅페이스에는 모델 아티팩트와 간단 사용법을 게시했습니다. 파인튜닝·전처리·평가 스크립트 등은 향후 GitHub 리포지토리에 업로드할 예정이며, 이를 통해 내부 재현성과 투명성을 보장합니다.

저작권 및 라이선스 권장

내부 전용 사용 또는 제한적 재배포 정책을 권장합니다. (예: 외부 배포 금지, 비상업적 내부 사용 허가) 모델·데이터에 포함된 외부 저작물에 대한 라이선스 의무를 반드시 확인하세요.

연락 및 참고

모델 페이지: https://huggingface.co/bluejude10/Bllossom-3B-DTRO-3LINE-POWER-Q6
개발자: bluejude10
업로드 날짜: 2025년 9월 9일
버전: v1.0.0

작성자 주: 이 모델은 '운영자 보조용 AI 브리핑 생성기'로 설계되었습니다. 모델 단독의 절대적 정답성을 보장하지 않으며, 항상 사람의 판단을 최종 결정권으로 두어 운영 안전성을 확보하시기 바랍니다. 그리고 아직 테스트 하지 않았습니다. 가급적이면 다운로드 하지마세요

Downloads last month: 25

GGUF

Model size

3B params

Architecture

llama

Hardware compatibility

We're not able to determine the quantization variants.

View all variants