태그: #강화학습

← 전체 글

• 강화학습 평가: 학습 공과 평가 공, 시드 여러 개의 중앙값, 마지막 값 보고, 기준선

  강화학습 결과는 시드 하나, 가장 좋았던 순간 하나만 보면 쉽게 부풀려집니다. 11~14편의 학습 48번을 다시 읽어 평가 규칙을 숫자로 점검했습니다. 같은 설정인데 시드에 따라 성공률이 42% 와 84% 로 갈렸고, 학습 중 가장 좋았던 평가값을 고르면 마지막 값보다 중앙값이 최대 14%p 높게 나왔습니다. 학습에 쓴 공과 쓰지 않은 공의 차이는 중앙값 0.7%p 로 작았지만, 물리가 조금

  2026-10-18 · 10 분 읽기 #탁구 로봇#강화학습#평가#재현성#시드

• 시뮬레이션에서 실물로: 도메인 랜덤화, 지연·잡음 모델링, 시스템 식별, 대량 병렬 시뮬레이션

  시뮬레이터에서 배운 정책은 시뮬레이터가 틀린 만큼 실물에서 틀립니다. 진자 라켓 문제에 라켓 반발 0.72, 관측 지연 20 ms, 위치 잡음 5 mm, 항력 1.1배, Magnus 1.5배의 「실물」을 따로 만들고, 학습 분포를 네 가지로 바꿔 보았습니다. 랜덤화 없이 배운 정책은 명목 시뮬레이션 83% 에서 「실물」 73% 로 떨어졌습니다. 좁은 랜덤화는 「실물」 80% 로 가장 좋았고,

  2026-10-18 · 11 분 읽기 #탁구 로봇#강화학습#sim2real#도메인 랜덤화#시스템 식별

• 보상 설계와 행동 공간: 희소 보상과 형태 보상, 보상 해킹, 관절 한계 벌점, 직접 제어 대 하이브리드

  강화학습은 보상이 말하는 것만 배웁니다. 12편의 진자 라켓에 보상 다섯 가지를 주고 PPO 로 학습해 보니, 「넣으면 1」인 희소 보상이 87%, 형태를 준 보상이 83% 로 비슷했고, 「맞히기만 하면 상」이나 「공을 빠르게 보내면 상」을 주자 라켓에 98% 맞히면서도 성공은 0~9% 인 보상 해킹이 나왔습니다. 관절 한계 벌점을 넣으면 한계에 닿는 에피소드가 최대 79% 에서 8% 아래로

  2026-10-18 · 12 분 읽기 #탁구 로봇#강화학습#보상 설계#보상 해킹#행동 공간

• 정책 경사와 PPO: 비율을 자르는 이유, 이점 함수와 GAE, 가치 함수, 엔트로피

  정책 경사는 평소보다 좋았던 행동의 확률을 올리는 방법이고, PPO 는 한 번에 너무 멀리 가지 않도록 새 정책과 옛 정책의 확률 비율을 잘라 같은 데이터를 여러 번 씁니다. numpy 로 PPO 를 직접 짜서 11편의 진자 라켓을 직접 제어로 학습시켰습니다. 공 19,200개(환경 걸음 약 140만)를 쓴 뒤 평가 공 성공률은 시드 3개 중앙값 83% 였고, 엔트로피 보너스 0.01 을 더

  2026-10-18 · 12 분 읽기 #탁구 로봇#강화학습#PPO#정책 경사#GAE

• 강화학습의 틀: MDP, 상태·행동·보상·할인, 정책과 가치 함수를 탁구 팔로 읽기

  강화학습은 상태를 보고 행동을 고르고 보상을 받는 일을 되풀이하며 보상의 합을 키우는 정책을 찾습니다. 이 글은 그 틀(MDP)의 다섯 요소를 탁구 팔에 하나씩 대응시키고, 11~15편에서 함께 쓸 장난감 문제를 만듭니다. 옆에서 본 2차원에 1자유도 진자 라켓을 두고 DeepMind 의 실제 타구로 공을 보냈습니다. 무작위 정책은 공을 1.5% 돌려보냈고, 회전을 모르는 모델로 격자를 뒤진

  2026-10-18 · 12 분 읽기 #탁구 로봇#강화학습#MDP#가치 함수#할인율

• 고전 방법과 강화학습: 무엇을 방정식으로 풀고 무엇을 학습에 맡길까

  탁구 로봇 논문들은 모두 방정식과 학습을 섞지만 경계를 긋는 자리가 다릅니다. Mülling 외 2013 은 동작 선택을, Büchler 외 2022 는 근육 제어까지 전부를, Google DeepMind 2024 는 기술과 기술 선택을 학습에 맡겼습니다. 같은 질문을 작은 실험으로 재 보았습니다. 라켓 모델이 틀린 상태(반발 0.72 대 모델 0.8)에서 방정식만 쓰면 착지 오차가 24.5

  2026-10-18 · 15 분 읽기 #탁구 로봇#강화학습#하이브리드 제어#시스템 식별#정책 탐색

• DeepMind 탁구 로봇을 원문으로 읽고 시뮬레이터로 따져 본 개선 방향

  DeepMind 의 ICRA 2025 탁구 로봇 논문을 arXiv 원문으로 다시 읽고, 저자가 밝힌 한계 아홉 가지를 정리했습니다. 로봇은 125 Hz 카메라 두 대, 약 100 ms 의 지연, 기술 정책 17개와 고수준 선택기로 사람과 29경기를 치러 13승을 거뒀지만 상급자 11명에게는 한 경기도 이기지 못했습니다. 회전량은 추정하지 않고 탑·언더 분류기만 썼습니다. 우리 MuJoCo 시

  2026-10-18 · 15 분 읽기 #탁구 로봇#DeepMind#강화학습#회전 추정#MuJoCo

• 탁구 로봇의 고전 제어 기준선: 보고, 예측하고, 휘두르면 몇 개나 넘길까

  2편의 MuJoCo 공 모델에 갠트리 2축과 손목 2축 로봇을 올리고, 공 상태 추정, 비행 예측, 사격법 타격 결정, 닫힌 해 역기구학, 5차 궤적, 계산 토크 제어로 이어지는 고전 제어 기준선을 돌렸습니다. 공의 참 상태를 알면 반환 성공률이 62%, 120 Hz 카메라에 지연 30 ms 를 가정하면 60%, 지연이 100 ms 면 26%, 30 Hz 에 지연 100 ms 면 2% 였습니

  2026-10-18 · 12 분 읽기 #탁구 로봇#MuJoCo#역기구학#궤적 계획#카메라 지연

• 탁구공 물리를 MuJoCo 로 재기: 반발, 항력, 회전이 시뮬레이터 설정 한 줄에 달려 있다

  DeepMind 가 공개한 탁구 MJCF 의 공·탁자 값을 MuJoCo 3.16 에 그대로 넣고, 낙하 반발, 항력과 마그누스 힘, 비스듬한 바운드, 공개 초기 상태 500개의 민감도를 쟀습니다. 30 cm 에서 떨어뜨린 공은 26.4 cm 까지 튀어 규정의 약 23 cm 보다 높았고, 시간 간격을 2 ms 로 늘리면 196 cm 까지 튀어 수치가 발산했습니다. 마그누스 세기는 문헌(TT3D

  2026-10-18 · 22 분 읽기 #MuJoCo#탁구#탁구 로봇#물리 시뮬레이션#마그누스