CodeBottlehun's Web-Note.

MySQL 설치

i독 — Tue, 23 Nov 2021 15:38:12 +0900

[ 1 ] 다운로드

페이지 하단에 위치해 있습니다 .

https://www.mysql.com/downloads/ 접속 후 MySQL Community Downloads 클릭.

Windows 사용자는 installer를 제공해주니 해당 파일로 다운로드 받습니다.

[ 2 ] Setup option.

보통은 Default로 설치합니다만, 저 같은 경우에는 SQL 연습용으로 설치하는 것이라 Custom을 선택하여 Server 만을 설치합니다.

추가로 Workbench 또한 좋은 IDE 이나, 저는 이전부터 사용해왔던 Heidi SQL을 사용합니다.

- 중요 설치 항목

MySQL Server - DB를 사용하게 해 줄 수 있는 핵심 프로그램입니다. Data, Schema, 그리고 Auth 등을 관리합니다.

MySQL Shell - 이름 그대로 Kernel과 연결해주는 Interface입니다. 별도의 DB Tool을 사용할 예정이라면 이 역시 Skip하셔도 무방합니다.

다만 MySQL의 사용자에게 MySQL Shell은 매우 중요한 부분을 차지하고 있으니, 전문적인 DB 사용자를 희망한다면 익혀두는 것을 추천드립니다. 저는 전문적인 DB 사용자가 아니므로 링크만 추가하고 넘기겠습니다.

https://dev.mysql.com/doc/mysql-shell/8.0/en/

[ 3 ] setting

Development Type으로 설정한다면, 기본적으로 외부의 접속은 허락되지 않게끔 Configuration 이 되어 있습니다.

저는 SQL 연습으로 사용할 목적이니 해당 Type 을 그대로 사용하겠습니다.

아래의 TCP/IP Port 넘버는 MySQL Server가 지속적으로 사용할 번호를 지정합니다.

외부에서 MySQL Server Program에 접속하기 위한 번호이며, 보통 3306은 DB용 Port 번호로 널리 사용되는 값입니다.

다만 저의 PC에는 이미 다른 프로그램이 3306을 사용하고 있으므로 별개의 값을 사용하겠습니다.

X Protocol은 짧게 설명드리기에 배움이 부족하여, 아래의 링크를 남기며 통상적으로 기본 Port Number에 곱하기 10을 한 값을 가집니다. DB를 처음 사용하신다면 아래의 내용은 중요하지 않습니다.

https://www.percona.com/blog/2019/01/07/understanding-mysql-x-all-flavors/

[ ] 간단한 Port 설명

Port는 프로그램에서 데이터를 받을 수 있는 통로라 볼 수 있고, 프로그램은 하나의 Port를 가지고 다른 네트워크와 연결될 수 있습니다.

우리가 사용하는 Web browser로 Google에 접속 할 때, 웹 브라우저는 운영체제가 할당하는 임의의 Port를 지닌 채 약속된 Port 번호로 Google에게 페이지의 정보를 달라 요청합니다. 대표적인 웹 통신 Port 번호는 Http : 80, Https : 443 이 있습니다.

ex) Client Application - Web Browser[ex. Chrome] (44343-Flexible to change) <-----> Server Application - Http Service program[ex. Apache] (80-Fixed)

이러한 TCP 연결 구조로 데이터를 받아와 Web Page를 화면에 출력합니다.

[ 5 ] 암호화

내용 그대로, 암호화에 따른 접속문제 때문에 하위 버전의 시스템을 위해서 구분해 놓은 듯 보입니다. 추천 항목을 선택하고 넘어가겠습니다.

[ 6 ] 계정 설정

외부의 접속이 허용되지 않는 Database라면 암호를 간단히 해도 무방합니다.

Windows Service 상에 어떤 이름으로 프로그램을 나타낼지 물어보는 항목입니다.

MySQL Sever Program은 Windows Service상에 올라가 백그라운드 모드에서 계속 실행됩니다.

사실상 개발용으로 잠깐잠깐 사용하실거라면, 계속 켜놓을 필요는 없으니 아래의 Start the MySQL Server at System startup을 꺼주시는걸 추천드립니다.

[ ] 실행

먼저 Service가 실행 중임을 확인합니다.

작업관리자에서 Service tab에 들어가 셋팅된 이름(Default : MySQL80)을 찾습니다. 만약 서비스가 중지되어 있다면 오른쪽 버튼을 클릭해 시작하면 됩니다.

그 후 DB접속 프로그램을 이용하여 접속하면 됩니다. 만약 서비스는 동작중이나 Server로 부터 접근이 되지 않는다면,

mysql를 검색하여 Command Line이란 프로그램을 실행시킵니다. 그 후 로그인후 창을 닫아주시면 정상적으로 동작하는 모습을 확인할 수 있습니다.

이 화면이 뜨면 닫아주시면 됩니다.

MySQL Server at System startup 옵션을 꺼놓았다면 재부팅하고 난 뒤에 Server 프로그램이 동작하지 않습니다.
사용이 필요할 때 마다 Client 프로그램으로 실행시켜주시면 됩니다.

[ ] DB 접속

Command Line Client를 사용하셔도 무방하나 CLI보다는 GUI를 더 선호하신다면 HeidiSQL을 설치하여 접속이 가능합니다.

https://www.heidisql.com/download.php

별도의 Setting 옵션은 없습니다.

프로그램을 실행 후 자신의 Database 정보를 입력하여 접속하실 수 있습니다.

Complement (보수)

i독 — Tue, 23 Nov 2021 14:46:28 +0900

[ ] Concept.

Computer는 2진수로 수를 다루며, 보수라는 개념을 이용하여 덧셈으로 뺄셈을 처리할 수 있다.

[ ] 1's Complement

마이너스 부호가 있다면 전체 값을 1로 XOR 하여 더한다. Carry가 발생하면 최하위 비트에 더한다.

1's complement 가산법. >> 15 - 9 = 6

1) 음수 값을 1의 보수화 시킨 후 연산 값과 더한다. 받아올림이 발생한다면 Carry Flag로 표시한다.

- 1111 + 0110(6의 1의 보수 값) = 1000, Carry 1

2) 만약 Carry 값이 존재한다면 계산된 값에 1를 더한다.

- 1000 + 1(Carry) = 1001

2) 위의 값을 다시 1의 보수로 취한다.

- 1001 XOR 1111 = 0110

= 1111(15) - 1001(9) = 0110(6)

[ ] 2's Complement

1의 부호화 후 +1를 더한다. 1의 보수와 달리 Carry가 하지 않을 때만 다시 보수를 취한다.

2's complement 가산법. >> 15 - 9 = 6

1) 음수 값을 2의 보수화 시킨 후 연산 값과 더한다.

- 1111 + 0111(6의 2의 보수 값) = 0110, Carry 1

2) Carry가 발생하였음으로 연산은 끝난다.

= 1111(15) - 1001(9) = 0110(6)

2's cpmlement 가산법. >> 9 - 15 = -6

1) 음수 값을 2의 보수화 시킨 후 연산 값과 더한다.

-1001 + 0001(15의 2의 보수 값) = 1010, Carry 0

2) Carry가 발생하지 않았기에 2의 부호화를 취한다.

- negative flag 1, 0101 + 1 = negative flag 1, 0110 = -0110(6)

2의 보수화를 진행하다 보면, Carry가 발생하지 않을 경우는 음수 값임을 알 수 있다.

값을 역전시켜 더하는데, 자리올림이 발생하지 않는다면 역전된 값이 피연산자보다 크다는 것을 의미하게 한다.

먄약 2의 보수를 Code로 표현할 시, 이러한 점을 인지하고 있어야 Negative Flag의 조건을 알 수 있다.

18. I/O Systems

i독 — Mon, 15 Nov 2021 02:30:37 +0900

* 해당 게시물은 경북대학교 컴퓨터학부 강의초빙교수, 배준현 교수님의 강의를 보고 작성되었음을 미리 알려드립니다. ( 개인적인 공부를 정리한 글입니다. )

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

TMI Lab. 아무거나 연구소의 유튜브 TMI 지식나눔 채널 컴퓨팅 사고력을 키워 주고 코딩 지능을 길러 주는 자세히 보면 유익한 코딩 채널 주니온TV@Youtube 주니온 박사: 현) 경북대학교 컴퓨터학부 초

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

사람이 컴퓨터를 사용하면 많은 경우에서 I/O 작업이 주작업이 된다.

Figure 12.1 A typical PC bus arch i tecture.

[ ] Memory-Mapped I/O

- The controller has one or more registers for data and control signals.

data-in register: is read by the host to get input.

data-out register: is written by the host to send output.

status register: contains bits that can be read by the host.

control register: can be written by the host to start a command or to change the mode of a device.

Figure 12.2 Device I/O port locations on PCs (partial).

[★] Three types of I/O

- polling: or busy-waiting:

reading the status register repeatedly until the busy bit becomes clear.

레지스터리 정보에서 Data in이 될 때 까지 계속해서 기다리는 방식.

- interrupt:

CPU has a wire called the interrupt-request line.

If CPU detects an interrupt, it jumps to an ISR(interrupt service routine) to handle an interrupt.

The addresses of ISRs is specified in the interrupt vector table.

CPU가 interrupt를 확인하여, Interrupt service routine을 사용해서 처리한다.

- DMA: Direct Memory Access:

used to avoid programmed I/O (one byte at a time).

useful for handling large data transfer.

아주 큰 데이터의 경우 직접적으로 메모리에 접근한다.

Figure 12.3 Interrupt-driven I/O cycle.

Figure 12.6 Steps in a DMA transfer.

[ ] Blocking I/O .vs. Non-blocking I/O

- Blocking I/O: a thread is suspended.

moved from running queue to waiting queue.

thread가 유예되고 waiting으로 간다.

- Non-blocking I/O: does not halt the execution of the thread.

e.g., receiving keyboard or mouse input in word processor.

returns as much as available.

바로 return해서 처리한다.

- Asynchronous system call: the thread continues to execute its code.

실행을 계속해 나가다 인터럽트가 걸리면 그때 처리한다.

Figure 12.9 Two I/O m e thods: (a) synchronous (b) asynchronous.

[ ] File System

- consists of two distinct parts

a collection of files, each storing related data

a directory structure, which organizes all the files in the system.

- Access Methods

sequential access: Information in the file is processed in order, one record after the other.

- direct accees(Random Access File): relative access: A file is made up of fixed-length logical records that allow programs to read and write records rapidly in no particular order.

- The file system itself is generally composed of many different levels.

Figure 14.1 L a yered file system.

[ ] Allocation Method.

파일을 효율적이고 빠르게 할당해야 한다.

- Contiguous Allocation > 연속적으로 파일을 할당한다.

Figure 14.4 Contiguous allo c ation of disk space.

이 방법은 Paging과 마찬가지로 external fragment가 발생한다.

- Linked Allocation.

Figure 14.5 Li n ked allocation of disk space.

이 방법의 단점은 영상 시청을 예로 알 수 있다. 동영상을 뛰어넘어 본다면 계속해서 Linked list를 하나씩 탐색하면서 지나가야 한다.

- FAT

이 방법은 Linked list를 쓰는데 조금 더 효율적으로 쓰기 위해 고안된 기술이다.

Linked list에 index를 넣어서 사용한다.

Figure 14.6 File Alloc a tion Table.

- Indexed Allocation

FTA의 문제에는 포함되지 않는다. 일반적으로 Linked list로 할당되었다는 가정에,

Bad sector 가 발생한다면 다음 List 를 찾아 갈 수 없게 된다. 이를 방지하기 위해 한 블락에 모든 인덱스를 저장한다.

Figure 14.7 Indexed allocation of disk space.

17 > Storage Management

i독 — Mon, 15 Nov 2021 02:27:56 +0900

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

[ ] Mass-Storage

- 비휘발성 메모리. 보통은 HDD, 유식하면 NVM(Non-Volatile Memory).

[ ] HDD Scheduling.

하드 스케쥴링에서 가장 중요한 목적은 access time(or seek time)을 최대한 줄이는 것이고, 두번째는 data transfer bandwidth를 최대화 시킨다.

- FIFO Scheduling.

Figure 11.6 FCFS disk scheduling.

- SCAN Scheduling.

if the direction of head movement is moving towards 0.

한쪽 방향으로 가는 것이 더 물리적으로는 효율적이다.

- C-SCAN Schduling

head를 원형 리스트처럼 다룬다.

끝까지 탐색했다면 바로0번으로 이동한다. 이미 다 읽은 것들이기에.

[ ] Boot Block

- For a computer to start running, when it is powered up, it must have an initial program to run.

- A bootstrap loader is stored in NVM flash memory, and mapped to a known memory location.

Figure 11.10 Bo o ting from a storage device in Windows.

[ ] RAID ( Redundant Arrays of Independent Disks )

disk-organization 기술을 다양한 변형이 가능한데,

첫번째로 데이터의 저장과 읽기를 병렬 처리한다.

두번째로는 데이터 저장장소의 신뢰성을 향상시킨다. - 독립적인 물리적 데이터 저장 장치를 추가한다.

중요한 정보라면 중복이라도 미러링이 필요하다.

[ ] RAID Levels:

- mirroring: highly reliable, however, too expensive.

- striping: highly efficient, however, not related to reliability.

- How about parity bit?

set to 1: the number of biys in the byte is even.

set to 0: the number of biys in the byte is odd.

It enable us to detect an error if f one of the bits is damaged.

- RAID levels: classify these schemes according to different cost-performance trade-offs

Figure 11.15 RAID levels.

Figure 11.16 RAID 0 + 1 and 1 + 0 with a single disk failure.

16 > Page Replacement

i독 — Mon, 15 Nov 2021 02:26:25 +0900

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

만약 free frames가 없다면? page를 교체해주어야 한다.

알고리즘에서 victim을 정하고, 이를 page out 시키고 invalid 상태로 올린다.

그럼 invalid한 page를 backing store에서 요구한 뒤 page를 재 시작한다.

Figure 10.10 Page replacement.

[ ] Two major problems to implement demand paging:

- Frame-allocation algorithm:

how many frames to allocated to each process?

- Page-replacement algorithm:

select the frames that are to be replaced.

- Since the secondary storage I/O is so expensive,

even slight improvements in demand-paging methods

can yield large gains in system performance.

page fault의 비율을 낮추어야 한다. 이것을 위해서 frame 수를 높일 수 있다.

- FIFO Page Replacement:

Oldest page를 victim으로 설정한다.

그러나 Belady's Anmaly 에서 확인할 결과, Page frame은 늘렸는데 이상하게 page fault가 더 많이 발생하는 현상이 일어난다.

Figure 10.13 Page-fault curve of FIFO repl c ement on a reference string.

- Optimal Page Replacement

가장 사용 안 할 것 같은 page를 victim으로 설정한다. 하지만 이것을 계산하기는 실질적으로 불가능하기에(미래의 상황을 예측할 수 없다) 비교 대상군으로 사용한다.

- LRU (Least-recently-used) > 시간

가장 오래 사용되지 않은 페이지를 교체한다. 많은 운영체제가 이 방식을 채택하고 있다.

이를 구현하기 위해 Count나 Stack을 사용할 수 있다.

Figure 10.17 Second-chance (clock) page-replacement algorithm.

위와 같이 한번 돌 때를 기준으로 사용하면 1, 사용하지 않으면 0을 두어 victim을 선정할 수 있다.

- LFU (Least-frequently-used) > 횟수

LRU의 문제는 계속해서 사용된 page가 역할을 끝냈을 때, 더 이상 사용하지 않더라도 참조횟수가 높아서 메모리에 계속 잔류할 가능성이 높다.

이것을 해결하기 위해 가장 참조 횟수가 적은 페이지를 교체하는 것이다.

- MFU(Most-frequently-used)

LFU의 반대, 오히려 가장 적은 참조 횟수를 가진 page가 미래에 자주 쓰일 가능성이 높기에 채택한다.

LFU, MFU의 기본 Concept부터 애매하고, 각 page의 counting을 해야 하기 때문에 자원도 소모된다. 더불어 LRU의 성능 보다 항상 좋다고 볼 수도 없기에 자주 사용되지 않는다.

[ ] Thrashing

- a situation that a process is busy swapping pages in and out.

- If a process does not have enough pages, the page-fault rate is very high.

page fault가 일어나면 process는 계속해서 wait 상태로 전환 되었다가 다시 동작한다. 이것이 매우 많이 발생한다면 막상 CPU는 작업을 하지 않고 Page를 기다리는 시간이 높아진다. 이를 Thrashing이라 한다.

Figure 10.20 Thrashing.

working-set window(slice window)를 지정한다. 해당 slice window 안에 들어온 page를 recent page라 본다.

이 밖을 벗어나면 victim으로 선정한다.

Figure 10.22 Working-set model.

14 > Paging, Swaping

i독 — Mon, 15 Nov 2021 02:24:36 +0900

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

[ ] Paging

- a memory management scheme that permits a process's physical address space to be non-contiguous.

[ ] Basic method for Paging.

- break physical memory into fixed-sized blocks (frames) and break logical memory into blocks of the same size. (pages)

- The logical address space is totally separate from the physical address space.

- Every address generated by the CPU is divided into two parts.

p: a page number, d: a page offset.

- The page number is used as an index into a per-process page table.

Figure 9.8 Paging hardware.

Figure 9.9 Paging model of lo g ical and physical memory.

- The page size(like the frame size) is defined by the hardware.

- If the size of logical address space is 2^m, and a page size is 2^n,

then the high-order m − n bits designate the page number,

and the low-order n bits designate the page offset.

[ ] PTBR (page-table base register)

페이지의 정보를 따로 메인 메모리에 Table 로 기록해 보관한다.

실제적으로 Memory에 두 번 접근하므로 (Table로 읽은 뒤, Table을 찾아서 Data Load) 속도가 느리다. page의 수도 엄청나기에 이것을 읽는 것 또한 작업이다.

[ ] Translation Look-aside buffer. (TLB)

Cache memory에 사용하여 TLB를 기록한다.

Figure 9.12 Paging hardware with TLB.

TLB hit : if the page number of interest is in the TLB.

TLB miss : if the page number of interest is not in the TLB.

hit ratio 에 따라 속도가 달라진다.

[ ] Memory Protection with Paging.

물리적으로 1bit를 추가하여, true라면 legal하고 false라면 illegal 한 상태를 의미한다.

이 bit를 protection bit라 한다.

Figure 9.13 Valid bit (v) or in v alid bit (i) in a page table.

[ ] Shared Pages.

DLL 같은 것들을 이곳에 올리면 매우 효율적으로 자원을 사용할 수 있다. (실행 중에 자신의 코드가 변경되지 않는 것들)

Physical Memory는 하나이고 Page table에서 같은 주소를 가리키고 있다.

Figure 9.14 Sharing of standard C library in a paging environment.

[ ] Hierarchical Paging.

이름 그대로, page가 너무 크다면 또 다른 page를 나눠 새로운 page로 가리키는 기법.

Figure 9.16 Address translation for a two-lev e l 32-bit p a ging architecture.

[ ] Hashed Page Tables.

Hash 값으로 Page를 구성한다.(hash 생성을 hardware로 구성해서 효율성을 높인다.)

address 공간도 32bit(CPU Cache)로 관리한다.

[ ] Inverted Page Tables.

Page table 안에 PID 정보를 추가하여 관리한다.

Figure 9.18 Inverted page table.

[ ] Swapping.

프로그램이 필요한 메모리가 실제 메모리 공간 보다 클 경우 사용 할 수 있다. (프로그램 전체를 메모리에 올릴 필요가 없다.)

지금 당장 필요한 메모리만 paging 하여 사용한다.

Figure 9.19 Standard swapping of two processes using a disk as a b a cking store.

요즘은 swapping with paging을 그냥 paging 이라 부른다.

page out : moves a page from memory to backing store.

page in : moves a page from backing store to memory.

- Paging works well in conjunction with the virtual memory. (Chapter 10)

Figure 9.20 Swapping with paging.

13 > Main Memory

i독 — Mon, 15 Nov 2021 02:22:27 +0900

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

A process is a program in execution. To say, a set of instructions kept in a main memory.

A memory consists of a large array of bytes, each with its own address.

CPU fetches instructions from memory using the program counter, and instruction may cause load from and store to the memory.

이 메모리 공간에 어떻게 Process 들을 저장하고 관리할 것인지가 중점.

We need to make sure that each process has a separate memory space.

A pair of registers : base register and limit register.

- provides the ability to determine the range of legal addresses.

Figure 9.2 Hardware address protection with base and limit registers.

[ ] Address Binding

- A program resides on a disk as a binary executable file.

To tun, the program must be brought into memory.

The address of the process does not start at address 00000000.

- Addresses in the source are generally symbolic(상징적인).

- A compiler typically binds symbolic addresses to relocatable addresses.

- A linker or loader in turn binds the relocatable addresses to absolute addresses.

Figure 9.3 Multistep processing of a user program.

[ ] Logical vs Physical Address Space.

논리적 주소는 물리적 주소와 관계가 없다. 따라서 각 공간을 표현하는 방법은 분리되어 있다.

[ ] MMU (Memory Management Unit)

- a hardware device that maps from logical address to physical address.

Figure 9.4 Memory management unit (MMU).

relocation register: a base register in MMU.

Figure 9.5 Dynamic relocation using a relocation register.

[ ] Dynamic Loading.

- It is necessary for the entire program and data to be in physical memory?

이럴 경우 dynamic loading을 해야 한다. 게임 프로그램을 예로 들면, 대부분의 게임은 메모리에 올릴 수 없을 정도로 사용하는 프로그램이 큰 경우가 많다.

Dynamic loading은 필요할 때만 Load 한다.

- The relocatable linking loader is called to load the desired routine and to update the program's address tables to reflect this change.

[ ] Dynamic Linking and Shared Libraries.

- DLLs : Dynamically Linked Libraries. > 프로그램이 실행 중일 때 Linking 되는 Library 파일들을 말한다.

- Static linking: System libraries are treated like any other object module and are combined by the loader into the binary program code.

- Dynamic linking: is similar to dynamic loading.

- Shared library: DLLs are also known as shared libraries, since only one instance of the DLL in main memory can be shared among multiple user processes.

[ ] Contiguous Memory Allocation.

- each process is contained in a single section of memory that is contiguous to the section containing the next process.

전체를 올리기에 연속적인 메모리 구역을 가진다.

[ ] Memory Allocation

hole : a block of available memory.

Figure 9.7 Variable partition.

[ ] The problem of Dynamic Storage Allocation:

- How to satisfy a request of size n from a list of free holes?

- Three types of solutions to this problem

1) First-Fit : allocates the first hold that is big enough. > 순서대로 남은 공간을 탐색하여 들어갈 수 있는 곳에 넣는다.

2) Best-Fit : allocates the smallest hole that is big enough. > hole을 heap으로 관리하면 가장 작은 것부터 찾을 수 있는데, 작은 것부터 넣을 수 있는 곳까지 탐색하여 들어갈 수 있는 곳에 넣는다.

3) Worst-Fit : allocates the largest hole. > hole을 max_heap으로 관리

[★] Fragmentation

빈 공간의 총 용량은 100M지만 너무 잘게 나눠져 어떠한 곳에도 Process를 할당시킬 수 없을 때 단편화가 발생했다고 한다.

external fragmentation > Program이 할당되면서 그 사이에 중간에 사용하지 않는 메모리가 존재하게 되어 낭비되는 경우.

internal fragmentation > Program이 할당될 때, 필요한 용량보다 더 큰 메모리를 할당 받아 사용하지 않는 메모리 공간이 낭비되는 경우

12 > 동기화(4)

i독 — Mon, 15 Nov 2021 02:20:58 +0900

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

[ 추가 Youtube 영상 ]

기본 개념 | 교착상태 | 운영체제

[ ] 교착 상태 Dead lock.

시스템 측면에서 자원의 요구가 뒤엉킨 상태.

한 스레드 집합 내의 모든 스레드가 그 집합 내의 다른 스레드에 의해서 발생될 수 있는 사건을 서로 무한히 기다리는 상황.

* 대부분의 OS에서 교착상태를 완전히 예방해 주지는 못한다. > 자주 일어나는 현상이 아니기에, 사용자가 직접 어느 한쪽을 없애서 해결한다.

* 보통은 정교하게 구성되지 못한 Multi thread application 에서 발생한다. -> app을 강제 종료하거나 재시작한다. ( windows OS에서 응답없음이 나온다)

> 전형적인 멀티 스레드 교착 상태 사례

> 세마포어와 교착 상태.

1로 초기화된 semaphore S와 Q가 있다고 할 때, P0에서 S를 0으로 변경 후 진입했다. 그리곤 P1 에서는 Q를 0으로 변경 후 진입하고 S에 대해 wait 호출을 했다.

이미 P0에서 S를 0으로 바뀐 상태에서 다시 돌려주지 않았으므로 P1은 계속 기다린다. P0는 실행 도중 Q에 대한 접근이 필요하여 Semaphore를 확인했는데 이 역시 이미 P1에서 0으로 바꾼 상태라 진입할 수 없게 된다.

서로 이러지도 저러지도 못하는 Deadlock 상황이 발생한다.

> 교착상태를 유발시킬 수 있는 잠재적 요인.

- 공유 자원 > software resource (Mutex, Spin lock, Semaphore, File lock …), Hardware resource(Memory, Printer, Processor)

- 한 스레드가 여러 자원을 동시에 필요할 때, 한 번에 하나씩 자원을 할당하는 OS의 정책에 의해 발생한다.

> 교착 상태 발생 조건.

- 네 조건이 동시 성립할 때 발생한다.

1) Mutual exclusion (상호 배제) - 하나 이상의 자원이 비공유 모드로 점유돼야 한다.

2) Hold-and-wait (점유 대기) - 최소한 자원 하나를 점유한 채, 다른 프로세스에 의해 점유된 자원을 추가로 얻기 위해 대기한다.

3) No preemption (비선점) - 점유된 자원은 다른 프로세스에 의해 선점될 수 없음.

4) Circular wait (순환 대기) - 프로세스들이 체인을 구성하여 자원을 상호 요청한다.

> 자원 할당 그래프

교착 상태를 보다 정확히 기술하는 방법.

G = (V, E), Vertex의 집합 V와, Edge의 집합 E 로 구성.

간선은 Process에서 resource를 향할 때는 요청 간선(Request edge)이라 하며, resource에서 Process를 향할 때는 할당 간선(Assignment edge)이라 한다.

> 교착 상태 해결 기법.

- 교착 상태 예방 = 교착 상태 발생 요건 중 하나라도 발생하지 않게 함.

1) 점유와 대기 조건 방지

스레드가 자원을 요청할 때에는 다른 자원들을 점유하지 않음을 보장해야 함. > 자원 이용률이 낮고 기아상태 발생 가능

어떤 임의의 프로세스가 자원을 요청할 때에는, 다른 자원들을 점유하고 있지 않다.를 보장한다.

1-1) 각 스레드는 자신이 필요한 자원 전부를 요청하여 할당 받는다.

이 방법은 실행 도중 자원이 없어서 대기상태에 빠지지 않게 한다.

1-2) 각 스레드는 실행을 위해 일부 자원들만을 요청 할 수 있되, 추가적인 자원 요청은 모든 자원을 방출한 뒤에 가능하다.

5개의 자원이 필요한 스레드가 자원을 3개를 먼저 확보하고 실행 뒤, 추가 적인 자원 요청은 3개의 처리가 끝난 후 가능하다.

2) 비선점 조건 방지 > 이미 실행한 작업의 상태를 잃을 수 있다.

스레드가 실행 중 이미 선점 된 자원을 요청하게 된다면, 실행하면서 선점한 자신의 자원들 모두를 비선점 시킨다.

이 방법은 작업 상태를 쉽게 복구/저장이 가능할 때나, 빈번하게 발생하지 않을 때 사용하면 좋다.

3) 순환 대기 조건 방지

계층적 요구 기법으로 모든 자원에 순서를 보여하고 이 순서대로 각 스레드들은 자원을 요청할 수 있다.

이 방법은 순환대기의 가능성을 제거하여 교착 상태를 예방하며, 자원에 대한 접근을 불필요하게 거부하기에 효율적이지 못하다.

할당 받은 뒤에 추가적인 자원 요청을 하더라도, T4 입장에서 T1의 자원할당이 아직 이루어지지 않았음으로 R4에 대한 자원을 요청하지 않는다.

- 교착 상태 회피 = 자원 할당 전에 미리 스레드의 수행 상태를 파악하여 자원이 할당될 경우를 가정하여 교착 상태가 발생하면 자원 할당을 중지한다. (예방 보다는 조금 더 완화된 정책이다.)

자원이 어떻게 사용될 지에 대한 추가 정보를 제공하도록 요구한다.

각 프로세스는 자신이 필요한 각 유형의 자원들의 최대 수를 선언하고, 이 값을 바탕으로 교착상태가 발생하지 않는 알고리즘이다.

안정 상태(Safe state)와 불안정 상태(Unsafe sate)로 나눠진다. 여기서 불안정 상태는 교착 상태 발생 가능성이 있다는 뜻이다. 이 불안전 상태를 막아 시스템을 항상 불안정 상태에 들어가지 않게 하여 교착 상태를 회피한다.

- 교착 상태 탐지 & 복구 = 발생을 탐지하여 시스템에 문제가 발생하지 않도록 처리함.

- 교착 상태 무시 = OS의 일반적 선택

[ ] Safe State

A state is safe if the system cam allocate resources to each thread (up to its maximum) in some order and still avoid a deadlock.

safe sequence가 존재한다면 각 thread들은 safe state를 유지하면서 자원을 할당 받을 수 있다.

[ ] 은행가 알고리즘 (Banker's Algorithm)

각각의 자원 유형들이 다수의 인스턴스를 갖고 있는 경우에 활용될 수 있다.

프로세스 시작 시, 자신이 필요한 각 자원의 최대 개수를 미리 선언하고 프로세스의 자원요청에 대해 안전상태와 불안정 상태를 판단한다.

RAG is not applicable to a resource allocation system with multiple instances of each resource type.

한 임계 영역에 자원이 두개가 있고, T0는 자원 A를, T1은 자원 B를 할당한다. 이럴 경우에 RAG(Resource Allocation Graph)를 보면 Cycle이 발생하지만 실행에는 전혀 문제 없다. 즉, 이런 경우에 RAG를 대입할 수 없다.

[ ] Data structures.

- Let n be the number of threads in the system and let m be the number of resource types.

Available: A vector indicates the number of available resource types.

Max: A matrix defines the maximum demand of each thread.

Allocation: A matrix defines the number of resources of each type currently allocated to each thread.

Need: A matrix indicates the remaining resource need of each thread.

- Available[m]: if Available[j] == k, then k instances of Rj are available.

- Max[n × m]: if Max[i][j] == k, then Ti may request at most k instances of Rj

- Allocation[n × m]: if Allocation[i][j] == k, then Ti is currently allocated k instances of Rj.

- Need[n × m]: if Need[i][j] == k, then Ti may need k more instances of Rj

An illustrative example:

- a set of five threads: T = {T0, T1, T2, T3, T4}

- a set of three resource types : R = {A, B, C}

- the number of instances of each resource types : A = 10, B = 5, C = 7

- the snapshot representing the current state of the system.

	(Allocation) A B C	(MAX) A B C	(Available) A B C	(Need) A B C
T0	0 1 0	7 5 3	3 3 2	7 4 3
T1	2 0 0	3 2 2		1 2 2
T2	3 0 2	9 0 2		6 0 0
T3	2 1 1	2 2 2		0 1 1
T4	0 0 2	4 3 3		4 3 1

1) work vector는 available 로 초기화, Finish vector는 Thread 수 만큼 false

2) 조건(idx is specified thread number, finish[idx] 가 false 면서 Need[idx] Work 보다 작거나 같을 때 할당을 해준다.

3) Work = Work + Allocation[idx] 을 하고 finish[idx] = true; 2번 Step으로 보낸다.

초기화 work[] = {3, 3, 2}, finish[] = {f, f, ,f, f, f }

idx = 0, need[0] = {7, 4, 3} <= {3, 3, 2} > 조건을 만족하지 못함.

idx = 1, need[1] = {1, 2, 2} <= {3, 3, 2} > work[] + allocation[] = {3, 3, 2} + {2, 0, 0} > work[] = {5, 3, 2}, finish[1] = true로 값이 변한다.

idx = 2, need[2] = {6, 0, 0} <= {5, 3, 2} > 조건을 만족하지 못함.

idx = 3, need[3] = {0, 1, 1} <= {5, 3, 2} > work[] + allocation[] = {5, 3, 2} + {2, 1, 1} > work[] = {7, 4, 3}, finish[3] = true로 값이 변한다.

idx = 4, need[4] = {4, 3, 1} <= {7, 4, 3} > work[] + allocation[] = {7, 4, 3} + {0, 0, 2} > work[] = {7, 4, 5}, finish[4] = true로 값이 변한다.

Loop

finish[idx] 가 true는 생략. (조건에 의해)

idx = 0, need[0] = {7, 4, 3} <= {7, 4, 5} > work[] + allocation[] = {7, 4, 5} + {0, 1, 0} > work[] = {7, 5, 5}, Finish[0] = true로 값이 변한다.

idx = 2, need[2] = {6, 0, 0} <= {7, 5, 5} > work[] + allocation[] = {7, 5, 5} + {3, 0, 2} > work[] = {10, 5, 7}, finish[2] = true로 값이 변한다.

finish가 된 순서를 보면 (첫번째에 완료된 Threads) T1, T3, T4, (두번째에 완료된 Threads) T0, T2 순이다.

이 순서를 지킨다면 Safety criteria 를 만족한다.

11 > 동기화(3)

i독 — Mon, 15 Nov 2021 02:18:45 +0900

> 주니온 TV Youtube Channel. https://www.youtube.com/channel/UCOcPzXDWSrnaKXse9XOPiog

주니온TV 아무거나연구소

www.youtube.com

> 주니온 TV Inflearn page. https://www.inflearn.com/users/@joonion

주니온님의 소개 - 인프런 | 온라인 강의 플랫폼

인프런 지식공유자 주니온님의 소개 페이지 입니다. - 지식공유자 소개 | 인프런...

www.inflearn.com

>> Classic Problems of Synchronization

[ ] The Bounded-Buffer Problem.

n 개의 buffers 가 있고, 각각 item을 보유할 수 있다.

Producer는 소비자를 위한 buffer를 가득 채우는 것이 목적이고, >> create fully buffer.

Consumer는 공급자가 제공하는 Buffer를 빨리 소비하는 것이 목적이다. >> create empty buffer.

- Shared data structures

A binary semaphore mutex. > mutual exclusion 제공.

Two counting semaphores empty and full. > 서로 상반되는 값으로 n으로 감소하거나, 0에서 n까지 증가한다.

empty, mutex variable를 wait(), signal()을 하기에 Code 실수가 발생할 수 있다.

[ ] The Readers-Writers Problem.

Process 별로 역할에 따라 only read or only write or RW를 한다.

이 Process 들 중 only read를 Reader로, only write를 Writer로 정의한다.

동시에 둘 이상의 Reader가 Shared memory에 접근하더라도 Data의 integrity 는 훼손되지 않는다.

[ ] Some Variations of the Readers-Writers Problem

우선 순위에 관련된 변형.

- The first reader-writers problem. > Writer와 Reader 둘에게 평등한 기회를 제공한다.

기본 : 단순히 Writer가 wait 상태라 해서 Reader들이 기다려서는 안된다.

문제 : 만약 Wait 상태의 Reader가 대다수고, 하나의 Writer가 대기하고 있다면 해당 Writer는 Starvation이 발생한다.

- The second reader-writers problem. = 입출금 시스템 처럼 중요한 Write를 먼저 처리하고 Reader를 열어준다.

기본 : Writer가 wait 상태라면 새로운 Reader가 접근할 수 없다.

문제 : 만약 Wait 상태의 Writer가 대다수라면, Reader에 Starvation이 발생한다.

[ ] The Reader-Writer Locks.

reader-writer lock을 획득할 때는 read or write mode를 지정해준다.

여러 개의 프로세스가 read mode의 reader-writer lock 획득하면 여러 개가 진입할 수 있고,

write mode를 획득하면 오직 하나의 process만 진입 가능하다.

[★] The Dining-Philosophers Problem.

Consider five philosophers who spend their lives thinking and eating.

Sharing five single chopsticks.

Sometimes, a philosopher gets hungry and tries to pick up two chopsticks that are closest to her.

When a hungry philosopher has both her chopsticks at the same time, she eats without releasing the chopsticks.

Figure 7.5 The situation of the dining philosophers.

- Semaphore Solution.

젓가락에 Semaphore를 부여해서 상호배제 문제는 해결할 수 있다. 그러나 Deadlock이 쉽게 발생한다.

- Possible remedies to the deadlock problem.

[Youtube 추가 영상]

식사하는 철학자 문제 | 교착상태 | 운영체제

가장 쉬운 방법은 철학자들의 수를 한 명 빼는 것이다. 젓가락은 항상 하나가 남는 상황이 발생하기에 교착 상태가 일어나지 않는다.

두번째 방법은 양쪽에 젓가락이 놓여졌을 때만 젓가락을 획득할 수 있게 한다. 두 개 이상을 집을 수 있을 때만 집고, 그렇지 못한다면 아예 하나도 집지 않게 끔 설계한다. (임계 영역 내에서 수행한다.)

비대칭적인 해결법이 있는데, 이는 홀수 번호를 부여받은 철학자들은 왼쪽을 집고, 오른쪽을 집는다. 짝수 번호를 부여 받은 철학자들은 오른쪽을 집고, 왼쪽을 집는다. 같은 방향의 젓가락들을 동시에 요구하는 상황을 배제한다.

그러나 위 방법은 Starvation 까지는 해결하지 못한다.

기아 상태 > 교착 상태를 예방하기 위해 무한히 기다린다. 자원을 사용할 수 있음에도 불구하고 자원을 계속 양보하다 자원이 할당되는 일을 무한히 연기하게 된다.

[ ] Monitor Solution.

2번째 방법으로, 양쪽에 젓가락만이 available 할 때만 젓가락을 집을 수 있게끔 Monitor를 설정한다.

이 방법은 상태를 하나 더 추가하는데, 기존 Thinking, Eating에서 Hungry 상태를 추가한다.

두 철학 중, 한 사람이 먹고 있는 상태가 아닐 때만 먹을 수 있는 조건을 추가한다.

Condition variable을 구성하는데, 만약 철학자가 Hungry 상태 일 때, 자기 자신을 delay(wait)한다.

Monitor의 operation은 pickup() - 젓가락을 집는 행위, putdown() - 젓가락을 놓는 행위 제공한다.

pickup이 성공 할 때 eating 상태가 되고, 성공하지 못한다면 기다린다. 먹고 난 뒤에는 반드시 putdown()을 호출한다.

이러한 구성도 결국엔 Starvation을 야기시킨다.

말이 어려운데, 결국에는 공유 자원에 대한 문제에 대한 발생 문제 중 어떻게 해결할 것인가에 대한 논리만을 이해하고 넘어가도 좋다. 공유 데이터를 동시에 제어하면 데이터 불위치가 생기는데, 이를 막기 위해 프로세스간의 순서적인 실행방법이 필요하다.

생산자 소비자 문제는 buffer 관리에 중점을 둔다.

10 > 동기화(2)

i독 — Mon, 15 Nov 2021 02:16:48 +0900

[ ] Higher-level software tools to solve the CSP:

- Mutex Locks: the simplest tools for synchronization. (1개의 instance)

- Semaphore: more robust, convenient, and effective tool. (n개의 instance)

- Monitor: overcomes the demerits of mutex and semaphore.

- Liveness: ensures for processes to make progress.

[★] Mutex Lock

- mutex: mutual exclusion.

- to protect critical section and prevent race condition.

- a process must acquire the lock before entering a critical section. (열쇠를 사용해서 접근하고 반납한다)

- releases the lock when it exits the critical section.

발생하는 문제

- Busy waiting:

Any other process trying to enter its critical section must loop continuously in the call to acquire().

Busy waiting is clearly a problem in a real multiprogramming system,

+ where a single CPU core is shared among many processes.

+ wastes CPU cycles for some other processes to use productively.

열쇠를 받을 때 까지 무한으로 대기하게 됨. 괜히 무한 loop를 돌기위해 CPU를 사용하게 됨.

- Spinlock: ( busy waiting과 같은 말이다. busy waiting이 발생하더라도 그 상황이 반드시 worst는 아니다. )

the type of mutex lock using the method of busy waiting.

the process spins while waiting for the lock to become available.

However, spinlocks do have an advantage, in that no context switch is required waiting on a lock. a context switch may take considerable time.

In certain circumstances on multicore systems, spinlocks,

+ are the preferable choice for locking.

+ one thread can spin on one processing core while another thread performs its critical section on another core

어차피 놀고 있는 Core가 여러 개가 있다면 busy waiting이 발생하더라도, 바로 진입할 수 있으니 반드시 이 상태가 나쁜 것은 아니다. Context switch가 발생하지 않으므로 오히려 효율적으로 CPU를 사용할 수 있다.

[★] Semaphore (신호장치, 신호기)

- A semaphore S is an integer variable that, apart from initialization, is accessed only through two standard atomic operations: wait() and signal(), or sometimes P() and V().

- Using the counting semaphore:

Initialize a semaphore to the number of resources available.

When a process uses a resource

+ wait() on the semaphore: decrements the count.

When a process release a resource

+ signal() on the semaphore: increment the count.

When the count goes to 0, all resources are being used.

+ Then, processes that wish to use a resource will block

+ until the count becomes greater than 0.

Definition of wait() and signal()

- All modifications to the integer value of the semaphore in the wait() and signal() operations must be executed atomically.

S의 수만큼 열쇠를 주는 것처럼 이해하면 좋다. 즉 n을 1로 두면 mutex lock과 매우 유사하다. (차이점은 Atomic variable을 counting 한다는 점- 내 생각)

- Using the semaphore to solve synchronization problem:

Consider two processes P1 and P2 running concurrently.

+ P1 with a statement S1, and P2 with a statement S2.

Suppose that S2 should be executed only after S1 has completed.

+ Let P1 and P2 share a semaphore synch, initialized to 0.

- Semaphores also suffer from the problem of busy waiting.

이를 해결하기 위해서 wait() 할 때, scheduling를 이용하여 waiting queue와 ready queue를 사용한다.

무한 Loop로 사용되는 CPU 점유만을 죽이는 목적을 명시한채 코드를 확인하면 쉽게 이해 가능하다.

공유 메모리에 한 개의 변수만이 있고, semaphores 가 5개가 있다면 이는 Mutual exclusion이 성립되지 않는다.

- The difficulty of using semaphores:

The semaphore is convenient and effective for synchronization.

However, timing errors can happen

+ if particular execution sequences take place.

+ these sequences do not always occur, and it is hard to detect.

[ ] Monitor

기본적인 개념은 semaphore을 사용함에 있어서 사람의 실수(Code에서 쉽게 발생할 수 있는 실수)를 줄이기 위한 목적으로 나온 상위 도구이다. = one fundamental high-level synchronization construct.

- A monitor type is an ADT that includes a set of programmer-defined operations that are provided with mutual exclusion within the monitor. (하나의 클래스)

- declares the variables

+ whose values define the state of an instance of that type.

+ along with the bodies of function that operate on those variables.

Figure 6.12 Schemat i c view of a monitor.

- 모니터가 자체적으로 Synchronization mechanisms 을 가질 수 있도록 Condition variable을 추가하여 사용한다.

모니터 안에서 x, y를 개별적으로 모니터링한다.

Figure 6.13 Monitor with c o ndition variables.

[ ] Liveness

Monitor는 Method 전체를 동기화 시켜주는 것, 그러나 mutex만 보장한다. 오히려 dead lock 문제를 더 일으킨다.

- Two criteria for the CSP: the progress and bounded-waiting.

Semaphores and monitors cannot solve these requirements.

- Liveness refers to > 아직 남은 과제(dead lock, starvation) 을 해결하기 위해 나온 개념.

a set of properties that a system must satisfy

to ensure that processes make progress during their execution cycle.

- Two situations that can lead to liveness failures.

deadlock and priority inversion.

[★] Deadlock

- a situation where two or more processes are waiting indefinitely for an event that can be caused only by one of the waiting process.