- 9월 11일부터 닷새 동안 시세가 한 건도 안 들어와 AI 픽이 멈춰 있었는데, 점검 화면은 내내 초록불이었어요.
- 이제는 받은 게 없거나 꼭 필요한 칸이 비면, 조용히 넘어가지 않고 실패로 알려요.
- AI 예측을 처음 보는 기간으로 시험해 보니 동전 던지기 수준이라, 선을 넘는 모델이 나올 때까지 픽에서 그 몫을 빼요.
안녕하세요, 제시예요. 스톡온에서 AI 픽을 보고 계셨다면 먼저 말씀드릴 게 있어요. 9월 11일부터 오늘까지 픽이 새로 올라오지 않았어요. 그리고 그 사실을 저희도 닷새 동안 몰랐어요. 오늘 고친 것들은 전부 그 닷새에서 나왔어요.
시세가 닷새 동안 한 건도 안 들어왔어요
스톡온은 장이 열린 날 하루 몇 번 국내 주식 시세를 가져와요. 그 숫자로 종목마다 점수를 매기고, 점수가 높은 종목을 AI 픽으로 골라요.
그런데 9월 11일 아침, 시세를 가져오던 증권 정보 페이지가 새 주소로 옮겨 갔어요. 옛 주소에는 더 이상 표가 없었고, 앱은 회차마다 0건을 받아 왔어요.
진짜 문제는 그다음이었어요. 점수를 매기는 단계도, 픽을 고르는 단계도 받은 게 없으니 할 일이 없다며 조용히 끝났어요. 단계마다 잘 끝났다고 보고했으니 점검 화면은 닷새 내내 초록불이었어요. 마지막 픽은 9월 10일 것이었고요.
연기가 나도 안 울리는 화재경보기였어요
집 천장의 화재경보기를 떠올려 보세요. 경보기가 하는 일은 딱 하나, 불이 났을 때 우는 거예요. 저희 화재경보기는 연기가 가득한 방에서 아무 일 없다고 말하고 있었던 셈이에요.
그래서 오늘 이렇게 바꿨어요. 시세는 새 주소에서 가져와요. 오늘 장중에 실제로 받아 보니 코스피 2,480종목, 코스닥 1,820종목이 빠짐없이 들어왔어요.
그리고 받은 게 0건이면 이제 실패로 끝나요. 0건만 잡는 게 아니에요. 종목은 들어왔는데 종가처럼 꼭 있어야 할 칸이 절반 넘게 비었을 때, 오늘 픽을 만들면서 어제 점수를 집어 들었을 때도 실패로 올려요. 실패로 끝나면 저희에게 알림이 와요. 이번 화재경보기는 연기가 나면 울어요.
새 주소에서는 못 받는 숫자가 있어요
새 주소는 종가, 오르내린 폭, 거래량, 회사 전체의 몸값은 줘요. 하지만 회사가 버는 돈에 비해 주가가 비싼지 재는 재무 숫자는 주지 않아요.
소개 글에서 「회사가 번 돈에 비해 값이 지나치게 높지는 않은가」라는 규칙을 예로 들었는데, 바로 이런 숫자를 쓰는 규칙이에요. 빈칸을 0으로 채워 점수를 매기면 거의 모든 종목이 같은 점수가 돼요. 그러면 누가 위에 오는지는 사실상 제비뽑기예요.
그래서 재무 숫자가 대부분 비어 있는 동안에는 그 규칙이 등급을 내지 않게 했어요. 숫자가 다시 들어오면 코드를 고치지 않아도 저절로 돌아와요.
AI 예측은 동전 던지기와 다르지 않았어요
AI 픽에는 퀀트 규칙 점수 말고도, 머신러닝 모델이 매긴 몫이 섞여 있어요. 머신러닝은 지난 기록을 잔뜩 보여 주고 거기서 패턴을 스스로 찾게 하는 방법이에요. 이 모델은 종목마다 며칠 뒤 오를 확률을 매겨요.
빈칸 문제를 따라가다가 더 아픈 걸 찾았어요. 지금 쓰던 모델을 학습에 안 쓴 기간으로 시험해 보니, 오를 종목과 안 오를 종목을 가려내는 실력이 동전 던지기에 못 미쳤어요. 그런데도 그 모델은 점검을 통과했어요. 점검이 공부할 때 본 문제의 점수만 보고, 처음 보는 문제의 점수는 안 봤거든요.
이제는 처음 보는 기간에서 동전 던지기에도 못 미치는 모델이면 그 예측을 쓰지 않아요. 들어오는 숫자가 학습할 때와 너무 달라도 멈춰요. 그런 날에도 AI 픽은 예측 몫을 빼고 나머지 규칙만으로 골라져요. 저희가 새 방식으로 다시 학습해 본 모델도 아직 쓸 만한 신호라고 부르기는 어려웠어요.
AI 예측을 시험한 숫자 보기
시험 기간은 7월 31일부터 9월 8일까지이고, 이 기간은 학습에 쓰지 않았어요. 가려내는 실력은 0.5면 동전 던지기, 1이면 전부 맞힌 것으로 재요. 확률이 높다고 매긴 상위 10% 종목이 5거래일 뒤 실제로 오른 비율도 함께 봤어요. 같은 기간 전체 종목에서 오른 비율은 49.3%였어요.
| 시험 기간 기준 | 가려내는 실력 | 상위 10%가 오른 비율 |
|---|---|---|
| 지금까지 쓰던 방식 | 0.484 | 42.3% |
| 오늘 바꾼 방식 | 0.487 | 49.6% |
지금까지 쓰던 방식은 확률이 높다고 한 종목이 오히려 덜 올랐어요. 바꾼 방식은 그 뒤집힘은 없어졌지만 전체 평균과 거의 같아서, 아직 도움이 되는 예측은 아니에요.
아직 남은 것
9월 11일부터 14일까지 비어 있는 날의 픽을 다시 만들지는 아직 정하지 않았어요. 정하면 이 일지에 적을게요.
오늘 일에서 제일 크게 배운 건 이거예요. 멈추는 것보다 무서운 건 멈췄는데 괜찮다고 말하는 거예요. 오늘 스톡온은 안 될 때 안 된다고 말하게 됐어요.
본 글은 개인적인 분석일 뿐 투자 권유가 아닙니다. 투자 판단과 책임은 투자자 본인에게 있습니다.
