Strata v0.1.39: GPU·RAM·SSD 전문가 배치, 프리필과 디코드의 다른 병목
Strata는 GPU 메모리에 다 들어가지 않는 MoE 모델을 GPU, RAM, CPU, SSD에 나눠 실행한다. 어떤 가중치를 어디에 두고 어디서 계산하는지가 프롬프트 처리 속도, 첫 응답 대기, 생성 속도를 각각 다르게 좌우한다.
devotd.
한국 시간(KST) 기준 날짜별 글입니다. 소급 작성한 글은 대상 날짜와 실제 발행 시각을 구분해 표시합니다.
Strata는 GPU 메모리에 다 들어가지 않는 MoE 모델을 GPU, RAM, CPU, SSD에 나눠 실행한다. 어떤 가중치를 어디에 두고 어디서 계산하는지가 프롬프트 처리 속도, 첫 응답 대기, 생성 속도를 각각 다르게 좌우한다.
Cloudflare가 10월 5일 공개한 CASB 맞춤 탐지 유형은 Rego로 조직 고유의 보안 상태 규칙을 정의한다. 평가는 자산이 생성되거나 변경될 때만 일어나며, 규칙을 만들기 전부터 그대로인 자산은 소급 검사하지 않는다.
GitHub가 10월 5일 Lovable, Pydantic, Supabase의 비밀 유형 다섯 가지를 탐지 대상에 추가했다. 지원표상 다섯 유형 모두 푸시 보호와 유효성 검사가 없고, 파트너 알림은 저장소 화면에 나타나지 않는다.
Cohere가 9월 30일 출시한 Embed 5 Pro와 Fast는 임베딩 공간을 공유한다. 출력 차원이 같으면 Pro로 만든 인덱스를 어느 모델로든 쿼리할 수 있어, 쿼리 모델을 바꿔도 인덱스를 다시 만들 필요가 없다.
Ai2의 AstaBrief 8B는 질문과 검색된 문헌 발췌를 받아 인용 보고서를 한 번에 쓰는 Qwen3-8B 기반 모델이다. 근거 검색은 입력 경로의 몫이며, 모델은 Apache 2.0이지만 프롬프트와 SFT/DPO 데이터는 CC BY-NC 4.0이다.
Ubuntu 26.10 베타에서 기본 coreutils는 GNU 예외 없이 uutils의 Rust 구현으로 바뀌었다. GNU 구현으로 되돌릴 수는 있지만 필수 패키지를 건드리는 apt 작업이 필요하다.
DuckDB가 9월 28일 낸 1.5.6 유지보수판은 잘못된 쿼리 결과와 복구 실패를 고쳤다. 업그레이드 비교는 실행 시간보다 반환값과 행 수에서 출발하는 편이 맞다.
Kubernetes 1.37에서 PVC의 Unused 조건이 기본 활성 베타가 됐다. 종료되지 않은 Pod가 PVC를 참조하지 않는 때를 보여 주지만, 데이터가 필요 없다거나 실제로 언마운트됐다는 뜻은 아니다.
Cloudflare가 로그와 추적을 한 플랫폼에 모으는 기능을 발표했다. 일부 기능은 아직 베타이며, 12월 적용 예정 요금에서 발표문과 문서의 포함 저장량이 달라 확인이 필요하다.
Gemini 3.8 TTS는 대본의 발화 지시를 speech_metadata에 넣고, 단일 요청의 기본 오디오를 WAV로 반환한다. 기존 PCM 처리 코드를 그대로 두면 헤더 중복 문제가 생길 수 있다.