ESRGAN 기본 아키텍처 Real-ESRGAN은 RRDB 기반 CNN Generator를 GAN 방식으로 학습한 Super-Resolution 모델이다.Low-Resolution(저주파) 이미지를 High-Resolution(고주파) 이미지로 만든다.Input (LR Image) → Conv → RRDB × N → Conv → Upsampling (x2 / x4) → Conv → Output (HR Image) RRDB (Residual-in-Residual Dense Block) RRDB 가 하는 일은 다음과 같다.LR image → Conv → RRDB blocks → "이 위치엔 이런 엣지/텍스처가 있어야 한다" → 고주파 feature maps 생성이미지에서 주파수저주파- 밝기 변화-..

PyTorch to TFLite Githubhttps://github.com/cornpip/pt_to_tflite PyTorch to TFLite Docker Imagehttps://hub.docker.com/r/cornpip77/tf_213_convertertensorflow:2.13.0-gpu 이미지 위에`pip install torch torchvision onnx onnx-tf tensorflow-addons tensorflow-probability` 패키지를 설치한 이미지이다. Exmaple변환 예시로 mobilenet_v2를 tflite로 변환해 보자.README에 MobileNet Test Sciprt를 따라가면 된다.// torch model (mobilenet_v2-b0353104.pth..

한 달 넘게 Codex를 주로 사용했다.1. Codex WebGithub repository랑 연동해서 PR을 보낼 수 있다. (Public/Private 상관없이 연동할 수 있다.)https://youtu.be/hhdpnbfH6NU소개 영상을 보면 어떻게 쓰이는지 감이 올 것이다.주로 Codex CLI를 사용했고 웹은 잘 활용하진 않았다. 예를 들면,Codex CLI : 질문1 → 응답1 → 내가 직접 코드 수정 → 질문2 → 응답2Codex 웹 : 질문1 → 응답1 → 질문1-2 → 응답1-2 → 질문2 → 응답2웹은 프롬프트로만 코드에 개입할 수 있는 반면, CLI는 코드에 직접 개입하며 진행할 수 있다. 기능 구현할 때는 코드에 개입하며 작업하는 편이 더 빠르고 의도대로 진행되며,웹은 PR 반영 ..

환경tensorflow/tensorflow:2.16.1-gpu (docker)RTX 3060TF) OUT_OF_RANGE: End of sequence 에러classification 모델을 학습할 건데, TF Keras로 Resnet 모델을 전이학습 하고자 했다.tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence그런데 위와 같은 로그와 함께 한 에포크씩 동작하지 않았다.1epoch 학습되고 2epoch는 에러 로그와 함께 accuracy:0, loss:0 뜨면서 바로 끝나고 3epoch 학습되고 이런 식이었다. 의심 1.steps_per_..

Semantic Segmentation"각 픽셀이 무엇인가?"Image → CNN Encoder → Feature Map (C×h×w) → 1×1 Conv (class projection) → Upsampling / Decoder → Segmentation Map (H×W×Class) classification 신경망에서 사용하던 FC layer를 제거하고, 네트워크를 fully convolutional 구조로 변경한다.이 구조에서는 출력이 공간적 feature map 형태로 유지되어 위치 정보가 보존되며,FC layer가 없어 입력 크기에 대한 제약 없이 다양한 해상도의 입력을 처리할 수 있다.(fc layer는 이전 레이어의 모든 뉴런과 연결되어 있고, 입력 size가 변경되면 가중치 수도 변경되기 ..

CLIP(Contrastive Language-Image Pre-Training) https://github.com/openai/CLIP GitHub - openai/CLIP: CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image - GitHub - openai/CLIP: CLIP (Contrastive Language-Image Pretraining), Predict the most releva.....

* 파랑은 후에 공부할 것들 Stable Diffusion (안정적 확산) forward diffusion - 이미지에 무작위 노이즈만 남을 때까지 가우스 노이즈를 점진적으로 추가한다. 결국 어떤 이미지인지 식별할 수 없다. reverse diffusion - forward diffusion을 점진적으로 취소한다. 개와 고양이로 학습했다면 취소하는 과정은 개 또는 고양이가 나타나는 방향(drift)으로 흘러갈 것이다. Stable Diffusion 구조 Latent Space(잠재 공간) 512x512, 1024x1024와 같은 사이즈를 그대로 사용하면 연산이 너무 오래 걸린다. 그래서 잠재 공간으로 이미지를 낮은 차원으로 압축한 후 연산을 진행한다. (낮은 차원이란게 무엇인지) 암튼 압축되는 것인데 잠..