태그: #harness-engineering
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 9 편
#harness-engineering 태그가 붙은 글은 9편이고, 가장 최근 글은 2026-08-12에 올라왔습니다.
함께 자주 붙은 태그: #agent 9 #llm 9 #AI에이전트 8 #하네스엔지니어링 8 #evaluation 3
최근 90일 동안 많이 읽힌 글:
하네스 지문과 버전 관리 — 기록 없는 변경을 추적 가능하게
프롬프트 커밋도 모델 변경도 없는데 성공률이 움직였다면, 무엇을 되돌려야 할까요. 하네스 엔지니어링 시리즈 7편은 하네스를 구성하는 모든 결정을 정규화된 해시 하나로 요약하는 하네스 지문을 다룹니다. 지문에 무엇을 넣고 무엇을 빼는지, 왜 지문이 같아야 비교가 성립하는지, 그리고 지문 이력으로 회귀를 이등분해 롤백하는 방법까지 정리했습니다.
2026-08-12 · 9 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트하네스 엔지니어로 성장하기 — 왜 생긴 직무이고 무엇을 연습해야 하나
하네스 엔지니어라는 직함은 채용 공고에 드물지만, 그 일은 에이전트를 배포하는 모든 팀에 이미 있습니다. 하네스 엔지니어링 시리즈 마지막 8편에서 이 직무가 왜 생겼는지, 기존 소프트웨어 역량이 어떻게 재배치되는지, 그리고 관측과 지문부터 자기 개선 루프까지 여섯 개의 근육을 하네스 RPG의 6개 티어로 단계별 연습하는 경로를 정리했습니다.
2026-08-12 · 9 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트도구 표면 설계 — 스키마 한 줄이 성공률을 움직입니다
도구를 더 붙였는데 에이전트 성공률이 떨어지는 일은 드물지 않습니다. 도구 표면은 에이전트의 인터페이스이고, 이름·설명·파라미터·실패 반환·응답 크기가 전부 설계 대상입니다. 하네스 엔지니어링 시리즈 3편에서 도구 수의 저주, 네임스페이싱과 설명 문구, 포카요케 파라미터, 실패를 돌려주는 형식까지 도구 표면 설계를 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트컨텍스트 예산 — 무엇을 넣을지가 아니라 무엇을 뺄지가 설계입니다
컨텍스트 창은 아직 남았는데 에이전트 정확도는 떨어집니다. 컨텍스트는 유한한 주의 예산이고, 도구 스키마도 그 예산을 먹습니다. 하네스 엔지니어링 시리즈 2편에서 프롬프트 누적을 플레이북으로 바꾸는 법, 드롭 정책과 컴팩션의 기준, 서브에이전트 위임의 비용까지 컨텍스트 예산 설계를 정리했습니다.
2026-08-12 · 11 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트하네스 엔지니어링이란 무엇인가 — 모델은 고정 입력이고, 배포하는 것은 그 주위 전부입니다
같은 모델을 쓰는데 왜 팀마다 에이전트 성과가 다를까요. 대부분의 팀에게 모델은 고정 입력이고, 실제로 배포하는 것은 도구 표면, 실패 반환 형식, 루프와 정지 조건, 컨텍스트 정책, 권한, 평가자까지 모델을 둘러싼 하네스 전부입니다. 하네스 엔지니어링 시리즈 1편으로, 하네스의 정의와 여섯 개의 손잡이, 그리고 프롬프트 엔지니어링이라는 이름이 이 일을 과소평가하는 이유를 정리했습니다.
2026-08-12 · 11 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트루프 설계 — 무한 루프와 조기 포기 사이
에이전트 루프의 실패는 두 방향입니다. 같은 호출을 수십 번 반복하는 무한 루프와, 한 번 막히자마자 포기하는 조기 정지. 하네스 엔지니어링 시리즈 4편에서 재시도 상한, 고정 스텝·목표 체크·확신도라는 세 가지 정지 조건, 확신도 기반 정지의 함정, 그리고 사람·서브에이전트로의 에스컬레이션까지 루프 설계를 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트리워드 해킹 — 지표는 오르는데 과제는 실패합니다
에이전트가 테스트를 통과시키는 가장 싼 방법이 테스트를 고치는 것이라면, 에이전트는 그렇게 합니다. 리워드 해킹은 버그가 아니라 우리가 정의한 목표를 정확히 최적화한 결과입니다. 하네스 엔지니어링 시리즈 6편에서 채점 기준 완화와 assertion 삭제 같은 흔한 형태, 권한 격리가 지우는 절반, 그리고 견제 지표 설계까지 리워드 해킹 대응을 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트평가자 병목 — 약한 채점자가 시스템 전체의 상한이 됩니다
하네스를 아무리 고쳐도 점수가 안 오른다면, 병목은 하네스가 아니라 평가자일 수 있습니다. 측정할 수 없는 품질은 선택할 수 없고, 그래서 약한 채점자가 시스템 전체의 상한이 됩니다. 하네스 엔지니어링 시리즈 5편에서 스모크 테스트부터 단위 테스트, 루브릭, 채점 자료 격리, 견제 지표 패널까지 평가자의 사다리와 평가 보정을 먼저 해야 하는 이유를 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트하네스는 설정이 아니라 배포물입니다 — 자기 개선 루프의 진짜 병목
Lilian Weng이 2026년 7월에 정리한 하네스 엔지니어링 글은 모델을 감싸는 시스템 전체를 하나의 공학 대상으로 이름 붙입니다. 이 글은 그 정의를 옮기는 대신, 하네스를 설정 파일이 아니라 버전이 붙은 배포물로 다루면 무엇이 달라지는지를 다룹니다. 하네스 지문을 찍어 회귀를 잡는 법, 컨텍스트를 늘어나는 프롬프트가 아니라 플레이북으로 다루는 법, 그리고 자기 개선 루프에서 진짜 병
2026-08-09 · 14 분 읽기 #llm#agent#harness-engineering#context-engineering#evaluation