Sign in

s3

it ops aws s3

S3 주기적으로 파일 자동 삭제 규칙만들기

웹 애플리케이션을 운영하면서 쌓이는 로그파일들이 누적이 되면서 너무 커져서 일정 기간만 로그파일을 저장하기 위해서 방법을 찾아봤다. 일단 aws S3에서 규칙을 적용시킬 버킷에 들어간다. 그럼 상단에 이미지와 같이 메뉴가 있다. 여기서 관리 탭에 들어간다. 그러면 제일 상단에 삭제를 위한 수명 주기 규칙 항목이 있고, 제일 우측에 수명 주기 규칙 생성을 눌러준다. 수명 주기 규칙 이름은 어떤 작업을 위한 규칙인지 가독성 좋게 지어주는 게 좋다. 이름 때문에 일일히 들어가서 규칙을 열어보는 건 매우 귀찮은 짓이다. 규칙 범위 선택 하나 이상의 필터를 사용하여 이 규칙의 범위를 제한 -> 특정 디렉터리의 파일들만 규칙을 적용시키기 위한 옵션이다. 이 규칙은 버킷의 모든 객체에 적용됨 -> 버킷 하위에 모든 ..
wono | discuss |
it ops aws s3

[AWS 실습 프로젝트] 2. 이미지 업로드를 위한 AWS S3 인프라 구성

✅ 개요프로필 이미지를 저장할 AWS S3의 인프라를 구성하는 실습을 진행할 것이다.  ✅ S3 버킷 만들기1️⃣ 버킷 만들기 클릭 2️⃣ 버킷 만들기1. 버킷 이름 지정이름 같은 경우에는 중복이 없어야 하기 때문에 나만의 고유한 bucket 이름을 지정해야 한다. 2. 모든 퍼블릭 액세스 차단 해제현재는 S3에 어디서든 접근가능하게 설정하기 위해 해제해준다. 이후 나머지 설정은 그대로 둔 뒤 버킷 만들기 클릭 3️⃣ 버킷 생성 확인버킷이 정상적으로 잘 만들어졌다. ✅ 버킷 접근 권한 설정하기앞서 모든 퍼블릭 액세스 차단을 해제했지만 그럼에도 버킷의 객체에 대한 접근은 기본적으로 막혀있다.그렇기 때문에 따로 설정해 주어야 한다. 나는 다음과 같이 접근권한을 설정할 것이다.1. 다운로드는 모두가서비스를 사..
wono | discuss |
it ops aws s3

[AWS] 📚 S3 개념 & 버킷 · 권한 설정 방법

S3 (Simple Storage Service) 개념 AWS S3는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 온라인 오브젝트(객체) 스토리지 서비스이다. (참고로 S 앞글자가 3개라서 S3 이라고 한다.) 쉽게 말하자면, 스토리지 즉 구글 드라이브 처럼 파일 저장 서비스이며, 데이터를 온라인으로 오브젝트 형태로 저장하는 서비스라고 보면 된다. 앞에 온라인이라는 글자가 붙는 이유는 데이터 조작에 HTTP/HTTPS를 통한 API가 사용되기 때문이다. 또한 편리한 UI 인터페이스를 통해 어디서나 쉽게 데이터를 저장하고 불러올 수 있어 개발자가 쉽게 웹 규모 컴퓨팅 작업을 수행할 수 있도록 한다. S3는 저장하는 데이터 양에 대한 비용도 저렴하고, 저장할 수 있는 데이터 양이 무한에 가..
wono | discuss |
it ops aws s3 efs

[AWS] 📚 S3 / EBS / EFS 스토리지 서비스 비교

S3 vs EBS vs EFS 스토리지 비교 EBS, EFS, S3 모두 데이터를 저장하는 파일 저장 공간 서비스임에는 같다. 하지만 각각 서비스 특징과 성능에 따라 사용 용도를 분별할 필요가 있다. 데이터 시점에서 보면 EBS는 볼륨 기반이며, S3는 객체 기반, 그리고 EFS는 파일 기반 저장 서비스이다. 이 세가지 파일 저장 스토리지의 특징을 살펴보는 시간을 간단히 가져보자. EFS (Elastic File Storgae) AWS 클라우드 서비스와 온프레미스 리소스에서 사용할 수 있는 간단하고 확장 가능하며 탄력적인 완전 관리형 탄력적 NFS 파일 시스템 NFSv4(Network File System) 프로토콜 사용 VPC 내 EC2 인스턴스는 직접 액세스 할 수 있음 On-premise 서버는 D..
wono | discuss |
it ops aws s3 cloudfront

[AWS] 📚 CloudFront 개념 원리 & 사용 세팅 💯 정리

CloudFront 클라우드프론트는 개발자 친화적 환경에서 짧은 지연 시간과 빠른 전송 속도로 데이터, 동영상, 애플리케이션 및 API를 전세계 고객에게 안전하게 전송하는 고속 콘텐츠 전송 네트워크(CDN) 서비스이다. CloudFront는 CDN 서비스와 이외에도 기본 보안 기능(Anti-DDoS)을 제공한다. CDN 이란? CDN(Content Delivery Network or Content Distribution Network, 콘텐츠 전송 네트워크) 은 콘텐츠를 효율적으로 전달하기 위해 여러 노드를 가진 네트워크에 데이터를 저장하여 제공하는 시스템이다. 인터넷 서비스 제공자(ISP,Internet Service Provider)에 직접 연결되어 데이터를 전송하므로, 콘텐츠 병목을 피할 수 있는 ..
wono | discuss |
it ops aws s3 cloudfront

[AWS] S3 퍼블릭 액세스 차단 유지하며 URL 허용 방법

S3에 이미지를 업로드 한 후 해당 이미지를 썸네일이나, 웹에 띄우기 위해 여러가지 설정이 가능하다.가장 쉬운 방법은 S3 버킷 자체를 퍼블릭하게 열어주면 된다.하지만 만약 내 S3 버킷안에 들어간 이미지에 개인정보가 있거나 혹은 중요한 계약 정보가 담겨 있다면 S3 버킷을 공개로 열어놓는 것은 보안상 매우 취약한 행동이 될 것이다.  그렇다면 어떤 방법으로 S3는 비활성화를 유지하며 URL을 오픈할 수 있을까? 1. 미리 서명된 URL 공유이 기능은 버킷 및 객체가 프라이빗하다고 하더라도 미리 서명된 URL을 통해서 외부에서 접근을 가능하게 하는 것이다.하지만 이 URL은 정해진 시간이 있어 그 시간이 만료되면 URL이 만료가 된다.이 기능을 지속적으로 쓰려고 한다면 람다를 통해서 일정 시간마다 계속 ..
wono | discuss |
it ops aws s3 presignedurl

[AWS + Spring] S3 : 파일 업로드 & 다운로드 (2) (Presigned URL, Multipart Upload)

이전 포스팅에서는 Spring 프로젝트에서 로컬 개발 환경과, EC2 프로덕션 환경에 따른 S3 연동 방법 및 기본적인 업로드와 다운로드를 구현해 보았었다. 이번 포스팅에서는 S3 업로드와 다운로드 방식을 고도화하여 Presigned URL을 사용하는 방법에 대해서 살펴보고, 업로드 시 여러개의 Chunk 단위로 분할 업로드하는 방식인 S3 Multipart Upload에 대해서도 함께 살펴보려고 한다. 1. Presigned URL   - 업로드 및 다운로드 구현 (Spring + 바닐라 JS)2. Multipart 업로드   - 업로드 및 다운로드 구현 (Spring + 바닐라 JS)    [AWS + Spring] S3 활용 : 파일 업로드와 다운로드 (1) (개발 환경 및 프로덕션 환경에서의 기본..
wono | discuss |
it ops aws s3 presignedurl

AWS S3 & Pre-signed URL 사용 후 발생한 문제들 (feat. CORS)

이미지를 업로드하거나 삭제하는 행위는 해당 서비스에 권한이 있는 사람만 할 수 있다. 이를 위해 서버에서 Pre-signed Url을 받아와 AWS S3에 접근하도록 만들었다. 이런 구조가 되면서 몇 가지 문제가 발생했는데 다음과 같다. 사용자가 이미지를 제출하면 Client(React)는 서버에게 Pre-signed URL을 받아와 AWS S3에 바로…
wono | discuss |
it ops aws s3 purl

[AWS] 📚 S3 Pre-signed URL 공유하기

S3 Pre-signed URL 공유 만일 이용자들이 S3 버킷에 public에서 접근해서 object를 다운받거나 업로드 하게 설정해야 하는 경우, 보통 두가지 방법이 있다. 1. 모든 파일을 퍼블릭으로 만들기 장점 : 별도의 관리가 필요없음 단점 : 아무나 파일 다운로드 가능 (보안 문제) 2. IAM 자격증명 공유 (Access Key Pair) 장점 : 지정한 사람만 공유 가능 단점 : 자격증명 유출/변경 시 공유자 모두에게 다시 부여 필요하고 관리 자체가 빡쌔다. 3. IAM 사용자 부여하기 (Role) 장점 : 지정한 사람만 공유 가능 단점 : IAM 사용자 숫자 제한 (5000개), 부여하는 과정과 유지보수의 어려움 이처럼, 버킷 자체를 public으로 열기엔 부담스럽고, 그렇다고 이용자에게..
wono | discuss |
it ops node aws s3

06. AWS S3 이미지 가져오기 구현

우리는 앞선 포스트를 통해 S3에 이미지를 저장하는 두 가지 방법에 대해 알아보았다. 이렇게 저장된 자원들은 REST API를 통해 접근할 수 있다. 따라서 아래와 같은 방식으로 요청하면 특정 버킷으로부터 이미지 파일을 가져올 수 있다.https://[버킷 이름].[리전 이름].amazonaws.com/[파일 이름] 그런데 이러한 주소를 직접 사용하는 것은 문제가 없을까? 이러한 주소를 직접 클라이언트에 건네준다는 것은 곧 내가 사용하고 있는 S3가 어느 리전에 위치해있는지, 버킷 이름은 무엇인지와 같은 정보가 무방비하게 노출되어버리고 만다는 의미가 된다. 따라서 이번에도 백엔드 서버가 S3와 클라이언트 사이를 중개해주어야 하는데, 나는 여기서 presigned URL을 사용하고 있다. pURL은 그저 ..
wono | discuss |
it ops aws s3

AWS S3 저장소 구축하기

S3를 사용하는 이유 로컬에 파일을 저장해도 기능은 문제없는데, 왜 S3를 써야 할까? S3는 AWS 클라우드 서비스 중 저장소 역할을 하는 온라인 스토리지 서비스이다. 로컬에 파일을 저장하는 건 언젠가 용량에 한계가 올 것이고, 그때마다 추가적인 용량 확장 작업과 설정을 해줘야 하는 번거로움이 예정되어 있다. 클라우드 서비스인 S3를 활용하면 무제한에 가까운 저장을 할 수 있기 때문에 이런 문제에서 벗어날 수 있다. 그러면 EC2와 같은 클라우드 서버에도 저장이 가능하다고 생각할 수 있다. 생각한 것처럼 EC2와 같은 서버에도 파일을 저장할 수 있지만, 요금 측면이나 활용도 측면에서 S3를 활용하는 것이 훨씬 좋은 선택이다. S3 버킷 만들기 먼저 AWS S3를 활용하기 위해서는 AWS 계정이 필요하다..
wono | discuss |
it ops aws s3

AWS S3 + CloudFront 배포

개요1. AWS IAM 설정2. S3 생성 및 설정3. CloudFront 설정4. Github Action으로 CI / CD 구축 ✅ AWS IAM 설정📦 IAM(Identity and Access Management)이란?AWS리소스에 대한 엑세스를 안전하게 제어할 수 있는 웹 서비스로 AWS 계정을 최초로 생성할 때 만들어지는 루트 사용자는 모든 엑세스 권한을 가지기에 보안에 주의해서 사용해야하므로 IAM을 통해 리소스를 사용할 수 있는 인증 및 권한 부여된 대상을 제어한다.리소스에 대해 여러 사람에게 다양한 권한을 부여할 수 있다.사용자에게 직접 정책을 설정할 수도 있지만 그룹에 대해서도 부여할 수 있다. 📦 IAM 사용자 추가하기AWS > IAM > 사용자 생성 > 1 ~3단계 수행 > 생성..
wono | discuss |