MacOS에서 GGUF타입을 MLX타입으로 직접 컨버팅하는 이유.Apple Silicon(M1,M2,M3,M4)을 사용하는 MacOS에서는 MLX 타입의 LLM모델의 효율성이 좋다고 한다.인기있는 LLM모델 대부분 mlx-community에 MLX타입으로 올라오지만, 가끔 MLX타입으로 올라오지 않는 모델들도 존재 한다.때마침... MLX 8bit 모델을 찾을 수 없는 경우가 생겼다.Hugging Face: sm54/QwQ-DeepSeek-R1-SkyT1-Flash-Lightest-32B해당모델은 Qwen2.5-32B 를 Base모델로 QwQ-32B (Preview 모델이 아니다)와 DeepSeekR1 등을 Merge한 모델이다.merge_method: scebase_model: Qwen/Qwen2.5-..
* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.
