Nemotron-pretraining-Indic-v1: 2.8조 토큰 코퍼스, 공개 데이터 생성 파이프라인
NVIDIA가 인도 22개 언어를 위한 약 2.8조 토큰의 번역 기반 학습 자료와 공개 생성 절차를 소개했다. 공개 예정인 자료는 현지에서 직접 작성된 텍스트를 보완하며, 보고된 성능 향상은 두 종류의 자료를 함께 사용한 학습 단계의 결과다.
devotd.
주제별 새 소식과 판단에 필요한 맥락을 모았다.
NVIDIA가 인도 22개 언어를 위한 약 2.8조 토큰의 번역 기반 학습 자료와 공개 생성 절차를 소개했다. 공개 예정인 자료는 현지에서 직접 작성된 텍스트를 보완하며, 보고된 성능 향상은 두 종류의 자료를 함께 사용한 학습 단계의 결과다.
엔비디아가 재학습 없이 내부 반복 횟수를 바꿔 정확도와 연산량을 조절하는 40억 매개변수 언어 모델을 공개했다. 마지막 반복만 저장하는 캐시와 여러 정밀도의 배포본을 제공하지만 실제 응답 시간과 비용은 작업별로 평가해야 한다.
리플렉션이 첫 공개 가중치 모델을 세 가지 정밀도로 배포해 자체 호스팅과 추가 학습 경로를 열었다. 배포 통제권을 얻는 대신 운영팀은 하드웨어 구성과 업무별 품질·안전성을 직접 확인해야 한다.
IBM의 새 공개 가중치 모델은 대화와 선택지 판단, 음성 인식을 같은 접속점에서 제공한다. 서버 구성을 단순화할 수 있지만 응답별 처리 방식과 영어 음성 입력의 제약을 고려해야 한다.
딥시크가 코딩 평가 점수를 높이고 작업 시간과 출력 길이를 줄였다는 새 모델을 공개했다. 웹 검색과 페이지 가져오기도 공개 API로 제공하며, 지정된 도구의 서버 측 호출에는 한시적 무료 정책을 적용한다.
답변 거부를 줄인 삼진 압축 모델에 다음 토큰을 미리 예측하는 보조 장치를 붙인 빌드가 공개됐다. 제작자 시험에서는 같은 조건에서 생성 속도가 약 20% 개선됐지만 추가 메모리와 전용 실행판이 필요하다.
Ray가 언어 모델용 데이터 처리와 서비스 제공 기능을 정식 출시하고 로컬 클러스터의 토큰 인증을 기본으로 켰다. 시작 방식에 따라 인증 적용 조건이 다르며, 원격 클러스터 운영자는 향후 기본 인증 확대에 대비해 토큰 배포를 준비할 필요가 있다.
새 버전은 지원 모델을 늘리고 반복 입력 캐시와 요청 처리의 기본 동작을 바꿨다. 새 모델의 설치 안내에는 자료 간 차이가 있어 배포 구성 확인과 기존 서비스의 호환성 검사를 구분할 필요가 있다.
참여자의 브라우저에서 메시지를 암호화하고 서버에는 저장하지 않는 임시 채팅이 추가됐다. 관리자는 기능 활성화와 사용자 권한을 따로 설정하고 통신 환경도 점검해야 한다.
텐센트 헌위안이 장기 기억 시스템에서 저장할 정보를 고르고 갱신하는 전용 모델을 공개했다. 기존 기억 관리 체계의 작성 모델을 교체하는 방식으로, 평가에서는 고정된 표본에서의 성과와 검증 범위를 함께 살펴야 한다.