태그: #agent
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 12 편
#agent 태그가 붙은 글은 12편이고, 가장 최근 글은 2026-09-11에 올라왔습니다.
함께 자주 붙은 태그: #llm 10 #harness-engineering 9 #AI에이전트 8 #하네스엔지니어링 8 #evaluation 3
최근 90일 동안 많이 읽힌 글:
AI 에이전트 하네스 해부 — 규칙이 스스로 지켜지게 만든 35개 파일
모델은 똑같은데 어떤 저장소에서는 사고가 반복되고 어떤 저장소에서는 나지 않는다. 그 차이가 하네스다. 3주 동안 AI 와 함께 1,491개 커밋을 쌓은 저장소의 하네스를 파일 단위로 뜯어 본다: 규칙 한 곳, 경로 규칙 6개, 스킬 5개, 훅 2개, 서브에이전트 3개, 그리고 그 장치들이 스스로를 시험하는 34개의 시험.
2026-09-11 · 22 분 읽기 #ai#agent#harness#claude-code#ci-cd하네스 지문과 버전 관리 — 기록 없는 변경을 추적 가능하게
프롬프트 커밋도 모델 변경도 없는데 성공률이 움직였다면, 무엇을 되돌려야 할까요. 하네스 엔지니어링 시리즈 7편은 하네스를 구성하는 모든 결정을 정규화된 해시 하나로 요약하는 하네스 지문을 다룹니다. 지문에 무엇을 넣고 무엇을 빼는지, 왜 지문이 같아야 비교가 성립하는지, 그리고 지문 이력으로 회귀를 이등분해 롤백하는 방법까지 정리했습니다.
2026-08-12 · 9 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트하네스 엔지니어로 성장하기 — 왜 생긴 직무이고 무엇을 연습해야 하나
하네스 엔지니어라는 직함은 채용 공고에 드물지만, 그 일은 에이전트를 배포하는 모든 팀에 이미 있습니다. 하네스 엔지니어링 시리즈 마지막 8편에서 이 직무가 왜 생겼는지, 기존 소프트웨어 역량이 어떻게 재배치되는지, 그리고 관측과 지문부터 자기 개선 루프까지 여섯 개의 근육을 하네스 RPG의 6개 티어로 단계별 연습하는 경로를 정리했습니다.
2026-08-12 · 9 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트도구 표면 설계 — 스키마 한 줄이 성공률을 움직입니다
도구를 더 붙였는데 에이전트 성공률이 떨어지는 일은 드물지 않습니다. 도구 표면은 에이전트의 인터페이스이고, 이름·설명·파라미터·실패 반환·응답 크기가 전부 설계 대상입니다. 하네스 엔지니어링 시리즈 3편에서 도구 수의 저주, 네임스페이싱과 설명 문구, 포카요케 파라미터, 실패를 돌려주는 형식까지 도구 표면 설계를 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트컨텍스트 예산 — 무엇을 넣을지가 아니라 무엇을 뺄지가 설계입니다
컨텍스트 창은 아직 남았는데 에이전트 정확도는 떨어집니다. 컨텍스트는 유한한 주의 예산이고, 도구 스키마도 그 예산을 먹습니다. 하네스 엔지니어링 시리즈 2편에서 프롬프트 누적을 플레이북으로 바꾸는 법, 드롭 정책과 컴팩션의 기준, 서브에이전트 위임의 비용까지 컨텍스트 예산 설계를 정리했습니다.
2026-08-12 · 11 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트하네스 엔지니어링이란 무엇인가 — 모델은 고정 입력이고, 배포하는 것은 그 주위 전부입니다
같은 모델을 쓰는데 왜 팀마다 에이전트 성과가 다를까요. 대부분의 팀에게 모델은 고정 입력이고, 실제로 배포하는 것은 도구 표면, 실패 반환 형식, 루프와 정지 조건, 컨텍스트 정책, 권한, 평가자까지 모델을 둘러싼 하네스 전부입니다. 하네스 엔지니어링 시리즈 1편으로, 하네스의 정의와 여섯 개의 손잡이, 그리고 프롬프트 엔지니어링이라는 이름이 이 일을 과소평가하는 이유를 정리했습니다.
2026-08-12 · 11 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트루프 설계 — 무한 루프와 조기 포기 사이
에이전트 루프의 실패는 두 방향입니다. 같은 호출을 수십 번 반복하는 무한 루프와, 한 번 막히자마자 포기하는 조기 정지. 하네스 엔지니어링 시리즈 4편에서 재시도 상한, 고정 스텝·목표 체크·확신도라는 세 가지 정지 조건, 확신도 기반 정지의 함정, 그리고 사람·서브에이전트로의 에스컬레이션까지 루프 설계를 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트리워드 해킹 — 지표는 오르는데 과제는 실패합니다
에이전트가 테스트를 통과시키는 가장 싼 방법이 테스트를 고치는 것이라면, 에이전트는 그렇게 합니다. 리워드 해킹은 버그가 아니라 우리가 정의한 목표를 정확히 최적화한 결과입니다. 하네스 엔지니어링 시리즈 6편에서 채점 기준 완화와 assertion 삭제 같은 흔한 형태, 권한 격리가 지우는 절반, 그리고 견제 지표 설계까지 리워드 해킹 대응을 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트평가자 병목 — 약한 채점자가 시스템 전체의 상한이 됩니다
하네스를 아무리 고쳐도 점수가 안 오른다면, 병목은 하네스가 아니라 평가자일 수 있습니다. 측정할 수 없는 품질은 선택할 수 없고, 그래서 약한 채점자가 시스템 전체의 상한이 됩니다. 하네스 엔지니어링 시리즈 5편에서 스모크 테스트부터 단위 테스트, 루브릭, 채점 자료 격리, 견제 지표 패널까지 평가자의 사다리와 평가 보정을 먼저 해야 하는 이유를 정리했습니다.
2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트공격자가 없는 침해 사고 — 에이전트 자격증명을 다시 봐야 하는 이유
Hugging Face는 2026년 7월 16일에 자율 에이전트에 의한 프로덕션 침해를 공개했고, 약 3주 뒤 OpenAI는 그 공격이 자사 학습 환경에서 흘러나온 것이었다고 밝혔습니다. 이 글은 사건 요약이 아니라 그 사건이 위협 모델에 무엇을 추가하는지를 다룹니다. 악의가 없어도 권한을 가진 자동화는 목표를 향해 표류하며, 이때 실제로 작동한 방어선은 침입 탐지가 아니라 자격증명의 수명과
2026-08-09 · 15 분 읽기 #security#llm#agent#incident-response#credentials하네스는 설정이 아니라 배포물입니다 — 자기 개선 루프의 진짜 병목
Lilian Weng이 2026년 7월에 정리한 하네스 엔지니어링 글은 모델을 감싸는 시스템 전체를 하나의 공학 대상으로 이름 붙입니다. 이 글은 그 정의를 옮기는 대신, 하네스를 설정 파일이 아니라 버전이 붙은 배포물로 다루면 무엇이 달라지는지를 다룹니다. 하네스 지문을 찍어 회귀를 잡는 법, 컨텍스트를 늘어나는 프롬프트가 아니라 플레이북으로 다루는 법, 그리고 자기 개선 루프에서 진짜 병
2026-08-09 · 14 분 읽기 #llm#agent#harness-engineering#context-engineering#evaluation에이전트 웹의 등장 — auth.md와 AI가 대신 가입하는 시대 ♪ 들을 수 있어요
AI 에이전트가 사용자를 대신해 서비스에 가입하고 행동하는 에이전트 웹이 빠르게 현실이 되고 있습니다. WorkOS 맥락에서 제안된 auth.md 같은 도메인 루트 표준의 발상을 robots.txt와 sitemap의 계보 위에서 살펴보고, OAuth와 위임 토큰을 통한 권한 위임, 봇 구분과 악용 우려, 표준화 과제와 설계 고려 사항을 정리합니다.
2026-06-25 · 40 분 읽기 #ai#agent#authentication#oauth#web-standards