Unsloth v0.1.915-beta: 브라우저 파일 조작, GGUF 대화 맥락 유지

1. 브라우저에서 페이지와 파일을 다룬다

브라우저 사용 기능을 켜면 모델이 대화 중 만든 HTML·React 페이지에서 클릭하거나 글자를 입력할 수 있다. 페이지 내용을 읽는 데서 그치지 않고, 대화에서 만든 화면을 직접 조작하는 작업으로 범위가 넓어진 셈이다.

브라우저에 열린 페이지와 서식을 표시하는 문서 형식인 Markdown, 코드, 텍스트 파일은 읽고 편집할 수 있다. 뒤로 가기로 이전 버전을 복원할 수 있어 수정 전후를 오가는 작업도 가능하다. 브라우저에서 연 PDF와 다른 문서는 읽기를 지원한다.

다운로드 허가 요청은 사이트별 또는 모든 사이트에 대해 기억하도록 설정할 수 있고, 프로그램 파일 다운로드에도 적용된다.

저장해 둔 파일은 채팅의 더 보기 메뉴에서 보관함 파일 첨부를 선택해 현재 대화에 붙일 수 있다.

2. GGUF 모델 전환 뒤에도 대화를 이어간다

11월 4일 공개된 v0.1.915-beta에서는 모델을 담아 배포하는 파일 형식인 GGUF 모델을 쓰다가 다른 모델로 전환한 뒤 원래 모델로 돌아오면 대화 맥락이 보존된다. 잠시 다른 작업을 마치고 돌아와도 이전에 읽던 대화의 자리를 유지하는 것에 가깝다. 긴 대화 기록을 다시 읽히는 일을 피하는 것이 직접적인 이점이다.

도구 호출 사이의 진행 상황도 채팅에 표시된다. GGUF 모델이 대화 맥락을 압축하는 동안에도 상태를 볼 수 있어, 작업 중인 단계를 파악하기 쉬워졌다.

도구 실행이 별도 확인 없이 진행되는 경우에는 GGUF 모델이 웹 페이지를 한 번에 최대 4곳까지 읽는다.

3. 시작할 때 준비하는 기능을 선택한다

Unsloth는 시작할 때 PyTorch와 다른 기계학습 라이브러리를 불러오지 않도록 바꿨다. 회사 발표 기준으로 이 변경은 유휴 메모리 사용량을 크게 줄인다. 시작부터 기계학습 기능을 준비하는 대신, 필요한 기능을 골라 준비하는 방향이다.

이용자는 설정의 일반 항목에서 시작 성능 메뉴를 열어 준비할 기능을 조정할 수 있다.

4. 모델 불러오기와 긴 입력 처리를 개선한다

회사 발표 기준으로 모델 불러오기와 다시 불러오기 속도가 크게 개선됐다. 적용 대상은 MLX 모델이며, 이미 불러온 모델의 문맥 길이를 줄이는 작업도 이제 몇 초 만에 끝난다.

긴 프롬프트를 처리할 때 메모리를 덜 쓰는 개선도 지원되는 MLX 모델에 적용됐다는 것이 회사 설명이다. 시작 시 라이브러리를 불러오지 않아 줄이는 유휴 메모리와 달리, 여기서 줄어드는 것은 모델 사용 중 입력 처리에 쓰는 메모리다. 릴리스 설명에는 이들 개선의 구체적인 비교 수치나 측정 조건이 제시돼 있지 않다.

5. 학습에서도 메모리 절감 설정을 제공한다

학습 단계의 자원 절감도 포함됐다. 회사 발표 기준으로 최근 NVIDIA GPU에서는 16비트 기반 모델의 가중치를 고정하는 미세조정 방식인 LoRA 학습을 더 빠르게, 더 적은 메모리로 수행할 수 있다. 변경 목록에 따르면 가중치를 갱신하지 않는 16비트 기반 모델에서 순전파와 입력 기울기 계산을 FP8로 수행하는 방식이다. 이 학습을 선택하는 설정은 다음과 같다.

float8_training = "fp8_lora"

이번 버전의 핵심은 브라우저 작업과 모델 전환 사이에서 작업 흐름을 이어가고, 시작과 모델 사용 과정의 자원 부담을 낮춘 데 있다.