Skip to content
Foxl
Download for macOS

Inside Foxl.

Engineering deep-dives, incident reports, and release notes from the Foxl team.

Featured12 min

AI plays Pokémon Gold

20 new games at one commit, nothing changed mid-run · 17 won all 16 badges · twice · one game recorded in full · random answers: no badge · every rule and stall published

Read the blog

Latest engineering

49 articles
Deep dive21 min

The Model That Learned to Choose: the Story of Bobcat

Bobcat never writes a word: asked which option is right, it returns one probability per option. This is the whole story in plain words: why we stopped training from scratch, what supervised fine-tuning bought, why reinforcement learning matched an answer key without beating it, what the top of the public JevBench board taught us about the confidence dial, and how Bobcat 1.2 stopped falling for planted instructions (46.4% to 6.4%) once we found a shortcut in its training data. Bobcat Flash 1.2 placed sixth on the board; our own run of Bobcat 1.2 on the public items suggests more, which only an official measurement can confirm. Update: Bobcat 1.3 ties for third on the Jev Decision Index, at 62.8 against Jev's 60.1, and is the fastest of the models that beat Jev.

Typed decisions / Calibration / Reinforcement learning / Prompt injection / Measurement

한국어로 읽기

Deep dive10 min

Foxl v0.9.0: 베타 열한 번이 바꾼 것들

Foxl v0.9.0은 v0.8.8 베타 열한 개를 모은 정식 릴리스예요. 아이폰과 안드로이드 앱은 빈 화면의 종류까지 펫으로 알려 주는 자기만의 모습을 갖췄고, 휴대폰의 파일은 폴더 하나씩 열려서 파일 11,000개짜리 작업 공간에서도 한 번에 2MB 대신 3KB쯤만 받아요. 컴퓨터가 아직 쓰고 있는 답장은 앱을 잠깐 나갔다 와도 더 이상 오류로 바뀌지 않아요. Foxl Notes는 노트의 각 부분을 따로 복사하고 내보내며 미팅 전에 브리핑을 보여 주고, Mac의 컴퓨터 사용은 Electron 앱 안까지 닿고, Foxl Code의 Ops 페이지는 운영이 됐어요.

Mobile apps / Relay connection / Meeting notes / Computer use / Coding agents

Deep dive17 min

고르는 법을 배운 모델, Bobcat 이야기

Bobcat은 글을 한 글자도 쓰지 않아요. 무엇이 맞는지 물으면 보기마다 확률을 하나씩 돌려줘요. 처음부터 키우기를 왜 그만뒀는지, 지도 학습으로 무엇을 얻었는지, 강화 학습이 왜 정답지 학습과 똑같은 데 그쳤는지, 공개 순위표 JevBench의 상위권에서 자신감 다이얼에 대해 무엇을 배웠는지, 그리고 학습 자료 속 지름길을 찾아 Bobcat 1.2가 문서 속 속임수에 넘어가는 비율을 46.4%에서 6.4%로 줄인 이야기를 쉬운 말로 풀었어요. Bobcat Flash 1.2는 순위표 6위였고, 공개 문제로 우리가 잰 Bobcat 1.2는 그보다 높을 것으로 보여요. 확인은 공식 측정이 해 줄 거예요. 덧붙임: Bobcat 1.3은 Jev Decision Index에서 62.8점으로 공동 3위에 올랐어요. Jev는 60.1점이에요. Jev보다 점수가 높은 모델 중에서는 가장 빨라요.

Typed decisions / Calibration / Reinforcement learning / Prompt injection / Measurement

Deep dive9 min

AI가 포켓몬스터 금을 처음부터 플레이했어요

Bobcat은 글을 한 글자도 쓰지 않아요. 상태를 읽고 선택지마다 확률을 하나씩 돌려줄 뿐이에요. 포켓몬스터 금 한국어판을 사실만 알려 주는 하네스 뒤에 두고, 공략집을 준 다음 새 게임부터 모든 선택을 맡겼어요. 한 커밋으로 새 게임 20판을 도중 수정 없이 돌렸더니 17판이 배지 16개를 모두 땄고, 게임 시간 중앙값은 19.3시간이었어요. 다른 커밋으로 돌린 첫 배치도 20판 중 17판이었어요. 같은 하네스에 무작위로 답하게 하면 배지를 하나도 따지 못했어요. 세 판을 더 돌려 녹화했고, 멈춘 여섯 판은 까닭과 함께 적었어요.

Typed decisions / Game playing / Agents / Measurement