ordinary subinium

순서가 많이 흥미롭네요. 탑3가 Claude > GPT > Grok 그리고 바로 뒤에 Kimi, Qwen, Muse (Meta), DeepSeek 그리고 한국에 Motif가 잘하는 것 같고, 그외에도 독파모 Upstage, SK, LG 등 한국이 Mistral 보다 잘해졌으며 전체적으로 위상이 꽤 높아지는 중. 아직 갈 길이 멀지만 그래도 한국 화이팅 https://artificialanalysis.ai/

해시드 플랫폼팀에서 AI Ecosystem Growth 인턴을 모집합니다! 저희 Nitro 이니셔티브를 같이 운영할 분을 찾고 있습니다. Nitro는 올해 1월 Hashed Vibe Labs라는 이름으로 시작한 프로그램이고, AI를 적극적으로 쓰는 극초기 팀들과 함께합니다. 하는 일 - 워크샵, 멘토링 세션, 데모데이 등 프로그램 기획과 실행 서포트 - 빌더 커뮤니티 온오프라인 접점 설계, 소셜 채널 운영 - 홍보 콘텐츠 기획과 제작 - 공동 주최사, 스폰서, 협력사 실무 조율 - 해커톤과 밋업 현장 운영 - 참여자 데이터 정리 → 결과 리포트 작성 이런 분 - AI 생태계와 빌더 커뮤니티에 관심 있는 분 - 여러 건이 동시에 돌아갈 때 순서를 스스로 잡는 분 - 영어 자료 리딩과 기본 커뮤니케이션 가능한 분 - 커뮤니티 운영이나 그로스, 이벤트 운영 경험 있으면 우대 - AI와 바이브코딩 직접 해보셨으면 우대 다만 경력보다 중요하게 보는 건 정해진 게 많지 않은 상태에서 스스로 방향을 잡아본 경험입니다. 근무 조건 및 지원 - 서울 오피스, 근무 시작일로부터 최소 3개월(희망 시 연장 협의) - 이력서와 간단한 자기소개서를 recruit@hashed.com 으로 발송 - 면접 이후 추가 과제 진행될 수 있음 혹시 주변에 생각나는 분 있으시면 편하게 공유해주시면 감사하겠습니다!

입추가 지나니 날씨가 정말 좋네요. 다들 이번 주도 화이팅입니다🙂

구글의 수석과학자 제프 딘 퇴사. 구글 사번 30번, 1999년 입사, 그 이후 구글의 AI를 포함한 수 많은 역사를 써내려온 레전드 개발자. 이후 새로운 창업은 ML/Science/Engineering을 AI를 통한 자동화를 목표로 한 회사 DiscoveryLoop. 진짜 말도 안되는 건 초기 팀원이 구글에서 남긴 역사적인 기록들...진짜 GOAT of GOAT > Between us, we have pioneered massive scale computing…

구글의 수석과학자 제프 딘 퇴사. 구글 사번 30번, 1999년 입사, 그 이후 구글의 AI를 포함한 수 많은 역사를 써내려온 레전드 개발자. 이후 새로운 창업은 ML/Science/Engineering을 AI를 통한 자동화를 목표로 한 회사 DiscoveryLoop. 진짜 말도 안되는 건 초기 팀원이 구글에서 남긴 역사적인 기록들...진짜 GOAT of GOAT > Between us, we have pioneered massive scale computing and led the creation of critical infrastructure, products, and foundational AI advances that the world relies on, including multiple generations of Google Search, Google Ads, Google News, Google Translate, Google File System, MapReduce, BigTable, Spanner, TensorFlow, Pathways, TPUs, AlphaChip, AlphaStar, AlphaCode, AlphaFold, Gemini, model distillation, mixture-of-experts model architectures, word2vec, sequence-to-sequence models, chain of thought reasoning, neural architecture search, and multiple generations of Large Language Models (LLMs) among others. https://www.discoveryloop.com/

근래 아침과 저녁 틈틈히 Kaggle에서 열심히 AI 대회를 참여해보고 있습니다. 특히나 밤에 Loop을 돌리고 대략 아침 7.5시~9시 사이에 결과를 해석하는 루틴을 보내고 있습니다. Kaggle을 다시 시작한 이유는 단순합니다. 오랜만에 다시 AI를 에이전트 레벨이 아닌 코드 레벨에서 탐구하는 경험이 필요하다고 느꼈습니다. (1) 회사에서 주워듣는 여러 AI 방법론 (주로 RL 테크닉) 테스트와 (2) 제가 기존에 알고 있던 AI 방법론과 그 변천사 등 이제는 짧은 시간 내에 학습과 동시에 실험 돌리며 전체적인 저만의 AI를 바라보는 해상도를 높이고 있습니다. Kaggle과 같이 제한적인 환경이 빠른 이론 학습과 적절한 참교육에는 매우 도움이 된다고 느껴지네요. Kaggle에는 크게 3가지 유형의 대회가 있습니다. (1) Metric 기반의 대회 (2) 시뮬레이션 기반의 경쟁 (2~4인 PvP) (3) 해커톤. 원래는 시뮬레이션에 큰 관심이 없다 지난 시뮬레이션 대회 우승 솔루션이 단순한 PPO를 기반으로 2인/4인 전략을 사용했길래 관심이 생겨 시작해보고 있습니다. 그 중에서 Kaggle에서 자체적으로 진행한 Farming 시뮬레이션 PvP 대회가 한창 진행중인데 어쩌다보니 제가 생각한 전략이 맞아 대회 초반에 1등을 찍어보았습니다. 물론 이런 시뮬레이션 대회의 경우 상대방의 데이터를 통해 전략을 훔칠 수도, 또는 counter 전략을 만들 수도 있어 오래가기는 힘들 수 있습니다만 그래도 1등을 찍어보니 동기부여도 되고 기분이 좋네요. AI4S에서도 여러 방면으로 느낀 바지만 많은 이들이 AI가 딸깍이라고 함에도 실험, 아니 시뮬레이션조차도 돌려보기 전까지는 "딸깍"의 결과물로 승부보기가 매우 어렵다는 것을 체감하고 있습니다. 그렇기에 지금은 AI가 제안해준 방법론을 바탕으로 그대로 믿는 것보다 정답을 위한 tree search에서 scalable하게 탐색할 수 있게 본인의 인프라를 구축하는 것이 중요하다는 것이 지금의 제 생각입니다. 특히나 이 과정에서 본인의 실패 경험을 포함한 실험 노트 작성 등의 단순한 테크닉도 있지만, 가장 핵심은 주기적으로 빠지는 local maxima를 벗어나기 위한 Human-in-the-loop 혹은 /goal 내의 명시적 방법론으로 해결해야하는데 이것이야 말로 여전히 작성자의 도메인 지식이 중요하다는 것을 체감하고 있습니다. 관련하여 RSI에 대한 생각도 여러가지로 하는데 이게 실제로 되는 방법에 대해서는 저도 여러가지 실험을 해봐야 알 것 같네요. 결론적으로 AI를 더 깊이 알고 싶은데 이론만으로는 답답하고 풀고 싶은 명확한 문제를 찾는 과정에서 무엇을 해보면 좋을까?라고 생각하는 분들은 Kaggle 대회 참여해보는 것을 추천합니다. :)

주말에 Kaggle에서 보인 익숙한 이름🤔 Pokemon TCG 강화학습 공부하기 재밌고 좋네요.

이번에 국장을 배아파하면서 관전한 입장에서 매수 타이밍은 꽤 있었으나 단기적으로는 희망회로에서 스스로 잘 팔았을까 하면 저는 못팔았을 것 같아요. 제 기존 성향 상 추매하다가 평단가 아래로 온 상황이 아니었을까 싶네요. 매매는 다를 수 있으나 투자는 장기전이자 어느 정도의 분산이 중요하다는 것을 또 새기게 되네요 저는 비트로 탈탈잃어 현금이 없긴 하지만, 하이닉스 이번 아래꼬리쯤 오면 그래도 매수 고민해봅니다. 그 전까지는 투자 신경안쓰고 향후 3년 이후의 미래 근로소득을 위해 갈고 닦는 게 저에게 더 득되는 선택이라는 믿음으로 사는 중입니다.

opus5가 fable5보다 가볍고 빠르고, 특히 성능은 체감도 비슷한 것 같고 이전 sonnet 4.5에서 느꼈던 알잘딱갈센스러운 부분도 있어서 좋네요. 다만 ai들의 문체가 점점 slop스럽게 가고 있어서 이건 이제 개인화된 스킬이 필수로 느껴지네요. 현재 codex/claude 합쳐서 3-4개 정도 구독을 유지하고 있으며 다음과 같은 상태입니다. - coding & loop: 5.6 sol xhigh - 단일 질의: 5.5 Instant / 5.6 pro - web dev/docs/design: opus5 - simple web automation: chrome extension claude - 비용효율적 단순 작업 및 우회(?)작업: composer 2.5 grok과 중국 선진 모델도 사용해봐야 하는데 아직 개인적인 작업에 쓸 일이 별로 없네요

최근 Kaggle에서 최적화 대회 참여했는데 종료 3일전까지만 해도 100위권이다 막판에 미끄러져서 200등권으로 bronze medal. 회고해보면 시간도 테크닉도 부족했는데 루프 엔지니어링과 visual interface 기반 eda 도구의 완성도가 낮았고 기본적으로 수학적 사고도 많이 퇴화한듯. 여튼 이제 다시 시작이니까 아쉬움은 빨리 떨치고 다시 경쟁력있는 엔지니어가 되기 위해 달릴 예정. https://x.com/subinium/status/2077538119193378869?s=46&t=_9QK1B_9Xfb5kENxfV3x-g

주칸의 ICML 후기 한국 AI 스타트업이나 랩실의 연구력이 생각보다 너무 떨어짐. 인재유출 방지 / 해외영입을 위한 대책이 필요해보인다. LG AI리서치를 제외, 한국 AI 모델 개발자들에 대해 매우매우 베어리시하다 https://x.com/jukan05/status/2076205112750379183?s=20

주칸의 ICML 후기 한국 AI 스타트업이나 랩실의 연구력이 생각보다 너무 떨어짐. 인재유출 방지 / 해외영입을 위한 대책이 필요해보인다. LG AI리서치를 제외, 한국 AI 모델 개발자들에 대해 매우매우 베어리시하다 https://x.com/jukan05/status/2076205112750379183?s=20

리서치 작업에서는 sol이 fable보다 좋음. 근데 여전히 웹개발 알잘딱갈센은 4.8 max가 손맛이 좋음. 리서치 센트릭 작업에서 토큰가성비는 sol xhigh가 개인적으로는 제일 좋음. 그래서 codex 하나 더 구독함. claude는 두 개에서 하나로 줄일 것 같음.

icml6일차: 확실히 대-LLM시대라 그런지 포스터존에 이론 논문보다 application논문이 많아보이고 사람들도 거기에 몰려있음 생각해볼 수 있는 정말 다양한 구성들이 다 paper로 있는 느낌. 확실히 산업보다 더 앞서간게 학계. 근데 또 연구만큼 중요한 건 프로덕트고, 실제로 monetization 할 수 있으면 연구낼 필요가 없긴함. 그래서 발표 세션들은 있는데 이 중에서 openai/anthropic 페이퍼 아직 하나도 못봄.

근데 머리길고 동그래서 그런가 종종 중국어로 말검🫠

icml 5일차: 워크샵 티켓만 있어서 오늘은 세션듣고 포스터 보기 워크샵은 좀 제너럴한 내용 들으러가서 끄덕끄덕하다가, 포스터 가서 수백개 논문에서 감탄 일단 나중에 읽을 논문들만 포스터 사진찍어두는 중 사진은 openai bio/lifescience 발표 세션.

GPT5.6 SOL ULTRA는 진짜 토큰이 녹네요. 아직 결과가 안나와서 성능 체크는 못해봄.

브라운대 (Economy로 유추되는) 교수님이 중간고사에 학생들이 AI를 써서 기말은 대면 시험으로 변경했더니 다음과 같은 분포를 보여주었다고 합니다. (주황-중간, 회색-기말) 3명을 제외한 학생이 부정행위를 했다,,, S1, S22 둘 다 다른 의미로 레전드 https://x.com/paulg/status/2075031014628311236?s=20

OpenAI의 최근 레포트의 간단한 요약입니다. "SWE-Bench Pro에서 약 30% 작업에 문제가 있는 것으로 추정" 크게 4가지 케이스에 대한 이슈인데, 정리해보면 문제가 잘못되었거나 또는 채점 기준이 너무 엄격하거나 또는 너무 모호하거나 약하다.로 볼 수 있습니다. 살짝은 다르지만 비슷한 결로 저는 스스로에게 그런 질문을 던지고 있습니다. "AlphaFold의 모델을 생명과학 지식이 없는 엔지니어(=본인)가 사용하면 이것을 제대로 활용할 수 있을까?" 우선 저는 일단 충분한 가이드라인과 이를 해석할 수 있는 능력이 없다면 불가능하지 않을까 라는 현재 시점의 결론을 내렸습니다. 실제로 지금 살펴보는 많은 BioAI 리서치를 살펴보면 어느 순간 내가 뭐를 읽고 있지 싶기도 합니다. 부끄럽지만 해석 능력이 부족한 것이지요. 우리는 이미 꽤 오랫동안 개인은 물론 AI를 작은 그룹의 전문가 집단으로는 온전히 이해하거나 검증하기 어려운 문제를 풀기 위해 학습하고 사용하고 있습니다. 문제는 점점 더 복잡해지고 있고, 평가 대상도 점점 더 모델이 처음 마주하는 과제로 이동하고 있다는 것은 매우 긍정적이면서도, 하지만 그만큼 평가에서 false positive와 false negative가 생길 가능성도 커지고 있습니다. 결국 중요한 것은 모델이 정답을 맞혔는지만이 아닙니다. 그 답을 판단하는 기준점/루브릭이 적절한지도 봐야 합니다. 그리고 모델이 틀렸다면, 왜 틀렸는지, 어떻게 틀렸는지, 그 실패가 무엇을 드러내는지를 봐야 합니다. 벤치마크는 더더욱 해석하기 어려울 것이고, 그렇기에 AI가 좋아질수록 전문성의 가치는 사라지는 것이 아니라, 오히려 더 중요해집니다. > 모든 것이 자동화되는 미래에는 AI의 결과를 해석하고, 검증하고, 평가의 의미를 다시 물을 수 있는 사람만이 살아남는다. 라는 생각을 하며 오늘도 수없이 많이 생성되는 slop 숲에서 지식 한 그루를 하나씩 심어봅니다... https://openai.com/index/separating-signal-from-noise-coding-evaluations/

icml 3일차: zero부터 시작하는 커리어 생활은 쉽지 않다. => ICML 이번 어셉된 논문수가 6000편이 넘는데 자기 섹터가 아니면 (1) 진짜 그 해의 주목 받는 논문이 아니거나 (2) 프론티어랩 아니면 알 수가 없음. 큰 맥락에서 비슷한 테크닉을 쓰긴 해도 결국엔 서로를 깊게 알기란 이전에 비해 훨씬 불가한 상황. => 심지어 3년만에 AI를 돌아온 입장에서 엔지니어링이 아니라 "리서치" 레벨에서 보니 진짜 이해가 안되는 게 넘 많음. => 이직 1개월차, 실질 논문 0편 엔지니어인 상황에서 그리고 이번에 이벤트에서 수없이 거절/펜딩 당하며 이걸 돌아다니려니 스스로 답답한 마음이 큼. => 스스로에게 상당히 분하고 실망스러운 상황인데, 겸손한 햇감자의 마음으로 다시 하나씩 해봐야지..