Most Interesting HuggingFace Daily Papers Abstract Review
FiT: Flexible Vision Transformer for Diffusion Model
Problem
자연에는 이미지와는 다르게 해상도가 존재하지 않는다. 이러한 맥락에서, Diffusion Transformers와 같은 diffusion models들은 학습 데이터에 없는 (outside of thier trained domain) 해상도의 이미지에 대하여 처리하는 것이 어렵다.
Propose
이와 같은 문제를 해결하기 위해 해상도와 비율의 제한이 없는 이미지를 생성하도록 디자인된 transformer 아키텍쳐인 Flexible Vision Transformer (FiT) 를 제안한다. 이미지의 고정된 해상도의 그리드를 입력으로 받았던 기존 연구들과는 다르게 FiT는 이미지를 동적으로 크기가 결정된 토큰들 (dynamically sized tokens)로 여긴다. (conceptualized)
나의 생각
하나의 token을 결정하는 이미지의 패치의 크기, 위치는 어떻게 정했을까? 서로 크기가 다르면 겹치는 부분도 있지 않을까? 드디어 global average pooling과 같은 trick이 아닌 제대로 된 resolution-free 기법이 나오게 된걸까?
Medium posting review
A Visual Guide to Mamba and State Space Models
https://maartengrootendorst.substack.com/p/a-visual-guide-to-mamba-and-state
Mamba와 같은 State Space Model 기반의 연구들이 도란스(transformer) 를 대체한다 어쩐다하여 궁금하던 찰나 SSM을 야무지게 설명해주는 혜성 같은 포스팅.
아직 다 읽어보지는 못했지만 어렵고 새로운 내용들을 정말 친절하게 설명해줌. 나중에 필요하면 다시 들러서 읽어봐야겠다.
Coding Stable Diffusion from Scratch
https://levelup.gitconnected.com/building-stable-diffusion-from-scratch-using-python-f3ebc8c42da3
Stable Diffusion을 from scratch로 구현하는 다양한 튜토리얼들이 있지만 training 과 generation까지 있는 튜토리얼은 찾기 어려웠다. 다른 연구도 연구지만 LDM 기반의 Stable Diffusion은 꼭 구현까지 해봐서 깊이 이해해야한다고 생각함.
본 포스팅을 언젠가는 꼭꼭 씹어 먹어보도록 해야겠다.
Python’s Walrus Operator: What It Is and How to Use It
https://blog.stackademic.com/pythons-walrus-operator-what-it-is-and-how-to-use-it-5cbae9bdc8d3파이썬의 모든 syntax 완벽히 모두 알지는 못해도 처음 들어본 것은 별로 없을 것이라 생각했는데 Walrus operator는 처음 들어본 operator였다. Python3.8 버전 이후로 := operator가 도입되었고 이에 대한 사용법을 소개하는 포스팅임.
Mojo 🔥
Python을 자의든 타의든 주로 사용해왔던 유저로써 mojo language 의 등장은 너무너무 반가웠다. (python syntax에 속도도 C 급인게 말이 되나..?) 하지만 기대와는 달리 python의 superset이 되겠다는 modular의 포부는 어느새 시들어 버렸고 우리에게는 기약 없는 기다림만이 이어지는거 같다.. mojo 맛을 보려면 그냥 완전히 다른 언어를 다시 배우는 느낌이다.
각설하고 2월20일부로 jupyter notebook을 지원하는 Mojo SDK를 릴리즈했다고 한다. 그래서 Mojo playground를 deprecate 할 예정이니 사용했던 노트북들을 서둘러 다운로드 받으라고 한다.
Uploaded by N2T