@13wt-vclol2ym

경로: /Users/{사용자명}/mlc-packagemlc-llm package로 모델 라이브러리 + 런타임 빌드 → dist/ 생성→ 산출물 (이거를 복사해서 플러터 프로젝트의 android에 사용)[ ] dist/lib/mlc4j/tvm4j_core.jar ← 자바/코틀린에서 쓰는 JAR[ ] dist/lib/mlc4j/output/arm64-v8a/libtvm4j_runtime_packed.so ← 안드용 네이티브 런타임[ ] dist/lib/mlc4j/src/main/assets/mlc-app-config.json ← 모델/라이브러리 매핑 설정→ 앱에 넣을 수 있게 모델을 패키징하는 것. 패키징을 해야 dist/가 생성됨패키징 한다는 건모델 구조랑 모델파일(가중치: .bin)을 안드로이드 런타임이..

맥북에서 qhi-3.5-mini 양자화 모델을 MLC-LLM으로 로컬 실행하는 방법공통개념모델 형식: …-MLC 포맷(예: Phi-3.5-mini-instruct-q4f16_1-MLC)권장 양자화: q4f16_1(균형) → 더 타이트하면 q4f16_0대화형 품질: instruct라 프롬프트 심플해도 됨실행 로그에 Using device: metal:0 뜨면 맥 GPU(Metal) 잘 잡힌 거 준비만들어둔 가상환경 활성화source ~/venv/mlc/bin/activateMLC 패키지 설치된 거 확인python -c "import mlc_llm, tvm; print('MLC 설치 OK')” 모델 로컬에 설치 (수동)hugging face 로그인하고 토큰 발급 https://huggingface.co로컬..

설치 모델 : Llama-3-8B-Instruct-q4f16_1-MLCMLC LLM은 로컬에서 LLM을 Metal GPU로 돌릴 수 있게 하는 프레임워크인데,mlc_llm chat HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLC 명령을 치면,MLC가 내부적으로 Hugging Face에서 해당 모델 저장소를 git clone + git-lfs pull로 받아옴모델(예: Llama-3-8B-Instruct-q4f16_1-MLC)을 직접 포함하지 않고 Hugging Face에 올려둔 버전을 불러와서 실행함 설치 요약가상환경(권장: conda) 만들고 파이썬 3.11프리빌트 nightly 휠 설치(맥은 “CPU + Metal” 프로필이 이 휠에 포함됨)Hugging Face의 M..

mlc-llm 환경구축하고 설치맥이라 apt 대신 brew 사용실행 mlc_llm확장 설치(rust) → 안드로이드 앱 안에 MLC LLM을 집어넣어서 직접 빌드해야해서 이걸로… 1. 필수도구 설치# Python 3.11 설치brew install python@3.11# Rust 설치 및 PATH 적용curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -ysource "$HOME/.cargo/env"# 가상환경 만들기/opt/homebrew/bin/python3.11 -m venv ~/venv/mlc## 또는 virtualenv -p /opt/homebrew/bin/python3.11 ~/venv/mlc# 가상환경 활성화source..

3장. 제품 소프트웨어 패키징 소프트웨어 패키징의 개요소프트웨어 패키징이란 모듈별로 생성한 실행파일들을 묶어 배포용 설치 파일을 만드는 것개발자가 아닌 사용자 중심으로 진행소스코드는 향후 관리를 고려해서 모듈화하여 패키징사용자가 소프트웨어를 사용하게 될 환경을 이해해서 다양한 환경에서 소프트웨어를 손쉽게 사용할 수 있도록 일반적인 배포 형태로 패키징 패키징 시 고려사항사용자의 시스템 환경에 필요한 최소 환경을 정의함UI는 사용자가 직접 확인할 수 있도록 시각적인 자료와 함께 제공하고 매뉴얼과 일치시켜 패키징함단순 패키징하여 배포하는 것으로 끝나는 게 아니라 하드웨어와 함께 관리될 수 있도록 managed service 형태로 제공하는 게 좋음사용자에게 배포되는 거라서 내부 콘텐츠에 대한 암호화 및..

2장. 통합 구현 단위 모듈의 개요 (unit module)단위 모듈은 소프트웨어 구현에 필요한 여러 동작 중 한 동작을 수행하는 기능을 모듈로 구현한 것단위 모듈로 구현되는 한 기능을 단위 기능이라고 함 단위 모듈 테스트모듈이 정해진 기능을 정확히 수행하는지 검증하는 거 테스트 케이스구현된 소프트웨어가 사용자의 요구사항을 정확하게 준수했는지 확인하기 위해 설계된 입력 값, 실행 조건, 기대 결과 등으로 구성된 테스트 항목에 대한 명세서로 명세 기반 테스트의 설계 산출물에 해당됨 통합개발환경 IDE코딩, 디버그, 컴파일, 배포 등 개발과 관련된 모든 작업을 하나의 프로그램에서 처리할 수 있게 제공하는 소프트웨어적인 개발환경을 의미기존 개발에서는 편집기, 컴파일러, 디버거 등의 다양한 툴을 별도..

1장. 데이터 입출력 구현 자료구조의 정의 효율적인 프로그램을 작성할 때 가장 우선적으로 고려할 것 - 저장 공간의 효율성과 실행시간의 신속성- 선형구조배열선형리스트스택큐데크- 비선형구조트리그래프 스택리스트의 한쪽 끝으로만 삽입, 삭제를 함후입선출 방식다 찬 상태에서 삽입되면 오버플로, 데이터가 없는 상태에서 삭제하면 언더플로 발생삽입 - push삭제 - pop up 데크삽입과 삭제가 양쪽 끝에서 모두 발생할 수 있는 자료구조스택과 큐의 장점만 따서 구성한 것 트리정점(노드)과 선분(가지)을 이용하여 > 사이클을 이루지 않도록그래프의 특수한 형태노드와 노드를 연결하는 선 = 링크족보와 조직도 등을 표현하기 적합degree, 차수 = 각 노드에서 뻗어 나온 가지의 수단말 노드 term..

5장. 데이터 전환 데이터 전환의 개요데이터 전환이란 운영 중인 기존 정보 시스템에 축적되어 있는 데이터를 추출하여 새로 개발할 정보 시스템에서 운영 가능하도록 변환한 후, 적재(loading)하는 일련의 과정데이터 전환을 ETL, 즉 추추르 변환, 적재 과정이라고 함데이터 이행 또는 데이터 이관이라고도 함 데이터 검증원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정을 의미데이터 전환 과정은 검증 방법과 검증 단계에 따라 분류할 수 있음 오류 데이터 측정 및 정제의 개요고품질의 데이터를 운영 및 관리하기 위해 수행함데이터 품질 분석 - 오류 데이터 측정 - 오류 데이터 정제 순으로 진행 정리데이터 전환- 데이터 전환 데이터 전환 ..

4장. SQL 활용 프로시저의 개요절차형 SQL을 활용하여 특정 기능을 수행하는 일종의 트랜잭션 언어로 호출을 통해 실행되어 미리 저장해 놓은 SQL 작업을 수행함프로시저를 만들어 데베에 저장하면 여러 프로그램에서 호출하여 사용할 수 있음데베에 저장되어 수행되기 때문에 stored 프로시저라고도 불림시스템의 일일 마감 작업, 일괄(Batch) 작업 등에 주로 사용됨 트리거의 개요시스템에서 데이터의 삽입, 갱신, 삭제 등의 이벤트가 발생할 때마다 관련 작업이 자동으로 수행되는 절차형 sql데이터베이스에 저장되며 데이터 변경 및 무결성 유지, 로그 메시지 출력 등의 목적으로 사용됨티리거 구문에는 dcl을 사용할 수 없음, dcl이 포함된 프로시저나 함수를 호출하면 오류 발생함트리거에 오류가 있으면..

3장. SQL 응용 SQL의 개요국제 표준 데이터베이스 언어. 관계대수와 관계해석을 기초로 한 혼합 데이터 언어기능에 따라 DDL(데이터 정의어), DML(데이터 조작어), DCL(데이터 제어어)로 나눔 DDL data define language데이터 정의어schema, domain, table, view, index를 정의하거나 변경 또는 삭제할 때 사용하는 언어논리적 데이터 구조와 물리적 데이터 구조의 사상을 정의함데이터 베이스 관리자가 설계자가 사용함DDL의 세 유형CREATE - schema, domain, table, view, index를 정의함ALTER - table에 대한 정의를 변경하는 데 사용DROP - schema, domain, table, view, index를 삭제함 ..