questionet

2장 n비트는 2^n 개의 정보를 담을 수 있다. 1 Byte = 8 Bit 10진수 (Decimal) 2진수 (Binary) 보조기억 장치의 용량 표시 프로그래밍 상에서의 메모리 크기 표시 1 KB = 1000 Byte 1 KiB = 1024 Byte 1 MB = 1000 KB 1 MiB = 1024 KB 1 GB = 1000 MB 1 GiB = 1024 MB 1 TB = 1000 GB 1 TiB = 1024 GB 이진수의 음수 표현 : 이진법의 2의 보수를 구해 이 값을 음수로 간주하는 방법 보수 complementary number : R진법에서 R-1의 보수, R의 보수(진보수) 가 정의된다. 예를 들어, 10진법에서 9의 보수, 10의 보수 2진법에서 1의 보수, 2의 보수 R-1의 보수 : 임..

1장 컴퓨터의 성능, 용량, 비용 문제를 스스로 해결하려면 컴퓨터 구조를 알아야 한다 명령어 instruction 와 데이터 data(0, 1)는 시스템 버스를 통해 컴퓨터 장치들(I/O, 메모리, CPU, 보조기억장치)을 돌아다닌다 시스템 버스에는 주소버스, 데이터버스, 제어버스가 있다. 예를 들어 CPU의 제어장치는 CPU에서 메모리로 가는 제어버스로 메모리 읽기/쓰기 제어신호를 보내고 주소 버스로 읽고 쓸 주소를 보내고 데이터 버스를 통해 데이터를 주고 받는다. 메모리에는 현재 실행되는 프로그램의 명령어와 데이터가 저장된다. (보조기억장치는 보관할 프로그램을 저장. 메모리를 보조하는 입출력 장치로 볼 수도 있다) 예컨대 CPU의 제어장치는 메모리에 제어신호를 보내서(어느 주소에 있는 값을 읽어와라)..

PyTorch (또는 다른 딥러닝 프레임워크)에서, nn.linear(in_features, out_features) # 입력특성, 출력특성 코드를 사용해 nn.Linear(20, 30)를 실행하면 파이토치는 내부적으로 30×20 shape의 가중치 행렬 A를 초기화합니다. 한편 입력 데이터 X는 일반적으로 (batch_size x 20)의 형태를 가집니다. PyTorch에서 이 두 객체의 행렬곱을 수행할 때 실제 수행되는 연산은 X @ A.T 이고 이 연산의 결과는 (batch_size x 30) 형태의 출력입니다. 왜 x @ A.T 와 같은 꼴로 행렬곱을 할까요? (애초에 왜 가중치 행렬을 전치된 형태로 초기화하고 실제로 연산할 땐 다시 전치시켜 계산하는 걸까요?) 이 방식은 딥러닝에서 배치 처리를 ..

https://github.com/state-spaces/mamba GitHub - state-spaces/mamba Contribute to state-spaces/mamba development by creating an account on GitHub. github.com https://arxiv.org/pdf/2312.00752.pdf

https://arxiv.org/pdf/2305.13048.pdf https://www.rwkv.com/ RWKV Language Model RWKV GUI with one-click install and API for v4 v5 v6 Official RWKV pip package for v4 v5 v6 Fast GPU inference server (nvidia/amd/intel) for v4 v5 v6 Fast CPU/cuBLAS/CLBlast inference, int4/int8/fp16/fp32 for v4 v5 Simple training, for any GPU / CPU Latest www.rwkv.com https://wiki.rwkv.com/ RWKV Language Model RWKV L..

인생이 길다, 살아야할 남은 날들이 많다. 라는 생각이 들면 잠이 오지 않을만큼 불안해지는데 짧게 살려고 마음 먹으면 또 용기가 나고 어떻게든 하루를 반복해내며 살아진다. 실제로 인생은 짧고, 짧게 보면 볼수록 불안을 불러일으킨 원인들의 실체가 명료해진다. 그 실체 중에 희망이란 이름을 붙일 수 있는 건 없다. 그냥 지금해야만 한다고 생각되는 것들 뿐이다. 그런 생각으로 가득찬 삶 자체가 희망이길 바라는 건 내가 아닌 타인의 바람이다. 인생이 길다, 살아야할 남은 날들이 많다. 라는 생각이 들때 희망으로 마음이 부풀어오르는 삶도 있을 것이다. 인생이 그리 길지 않다는 생각이 아직 들지 않았을 때, 앞으로 살아갈 날들을 짧게 쪼갤수록 할수 있고 해야만 하는 것들도 점점 줄어들 때. 어린이는 꿈을 먹으며 자..

https://gist.github.com/philosucker/dab41f97f303e2dd31965d3aeae231d7