본문 바로가기
[udemy - Apache Spark와 Python으로 빅데이터 다루기] Spark란? 해당 글은 글또 커뮤니티를 통해 제공 받은 udemy 강의 를 기반으로 작성되었습니다. 데이터 엔지니어라면 한번쯤은 들어보고 다뤄 봤을 기술인 Spark 💫 하지만 정작 Spark에 대한 정의를 설명해보라고 하면 익숙한 만큼 표현하기 어렵게 느껴진다. 이번 글에서는 Spark란 무엇인지, 어떤 식으로 구성되어 있는지 기초적인 부분을 다뤄보고자 한다. Spark란 무엇인가? Spark의 공식 이름은 Apache Spark로, 아파치 소프트웨어 재단에서 운영하고 있다. 공식 사이트(https://spark.apache.org)에 들어가 보면 아래와 같이 Spark를 정의하고 있다. Apache Spark™ is a multi-language engine for executing data engineering..
[CPython 파헤치기] 사실 Python은 C로 구성되어 있다 - CPython 구성 요소 살펴보기 해당 글은 도서 CPython 파헤치기 1-4장을 기반으로 작성되었습니다. Python은 아래 2023년 stack overflow survey의 결과에서도 보여주고 있듯이 많은 개발자들에게 사랑받고 있는 언어 중 하나이다. 실제로 업무에서나 다른 개발 작업을 할 때 내가 가장 주 언어로 사용하고 있는 것이 Python인데, 정작 이렇게 많이 사용하고 있으면서 내부 구조를 어떻게 구성되어 있는지 알지 못해 매번 궁금했었다. 그래서 이번 글에서는 CPython 파헤치기 관련 첫번째 글로, C로 구성되어 있는 Python의 전반적인 내부 구조와 문법에 대해 살펴보고자 한다. C로 구성되어 있는 Python 우리가 일반적으로 이용하고 있는, 공식 사이트 python.org에서 다운로드 받는 python은 C로..
[Review] 자료구조/알고리즘 코드트리로 이겨내기 - 코드트리 1달 체험기 이번 글에서는 약 1달 동안 코딩테스트 학습 플랫폼 '코드트리'를 이용해본 후기를 담아보고자 한다. 매번 기본기가 부족하다는 생각에 CS 기초 지식과 함께 알고리즘 공부를 하고 싶었는데, 백준이나 leetcode로 문제를 풀기에는 너무 시험을 준비하는 것 같기도 하고, 개념은 익히지 않은 채 실전에 돌입하는 느낌이었다. 그렇다고 개념을 위해 강의를 듣기만 한다면 직접 다뤄보지 않게 되면서 쉽게 체득되지 않을 것 같았다. 어떻게 알고리즘 공부를 하면 좋을지 고민하던 찰나에 글또를 통해 좋은 기회를 제공 받아 코드트리라는 플랫폼을 체험해볼 수 있게 되었다. 코드트리란? 코드트리 | 코딩테스트 준비를 위한 알고리즘 정석 국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표..
[회고] 한걸음 쉬어가기 - 휴직을 결심하다 벌써 일을 잠깐 쉬기 시작한 지도 한달이 거의 다 되어간다. 이전부터 쉬는 것과 관련해서 꼭 한번 글을 써야겠다고 생각했지만, 지금까지 중에 가장 많이 망설여지고 고민이 많이 되었던 글이다. 이런 얘기를 공개적으로 쓸 필요가 있을까, 너무 나의 개인적인 이야기가 들어가는 것은 아닐까 등등.. 하지만 정말 소중하게 잡은 기회이기도 했고, 지금이 아니면 남길 수 없는 이야기일 수 있겠다는 생각이 들었다. 그리고 나중에라도 비슷한 고민을 하는 한 분에게라도 이 글로 도움을 드릴 수 있거나 영감을 얻게 해드릴 수 있지 않을까 하는 생각에 결국 이렇게 마음을 다잡고 글을 쓰게 되었다. 처음 쉬는 것을 결정하고 주변 사람들에게 이야기했을 때, “왜? 뭐 때문에 쉬려고? 쉬면서는 뭐하고 지내게?” 라는 질문을 가장 ..
[OSSCA] python-mysql-replication - 오픈소스는 어떻게 테스트를 진행하고 있을까? 개발을 하다보면 기능 구현에 집중하느라 정작 테스트 확인은 간과하게 되는 경우가 많았다. 이 정도면 괜찮겠지..! 하고 넘기면 며칠 뒤의 나에게 고통을 선사하게 되는 악순환을 겪게 되었다. 특히 오픈소스는 누구나 기여할 수 있다는 부분으로 인해 테스트가 더 중요하게 여겨질 것이라고 생각이 들었다. 그래서 이번 글에서는 python-mysql-replication 오픈소스에서 어떻게 테스트를 구현했는지 살펴보고자 한다. 또한 2023 오픈소스 컨트리뷰션을 통해 기존 테스트 구현 방식을 직접 개선한 부분에 대해서도 담아볼 예정이다. 지난 글 다시 보기 python-mysql-replication - 개념 이해하기 python-mysql-replication - RandEvent 구현하기 python-mysq..
[OSSCA] python-mysql-replication - UserVarEvent 구현하기 이전 2023 오픈소스 컨트리뷰션 python-mysql-replication RandEvent 기여 활동 글에 이어 두번째 기여 작업이었던 UserVarEvent에 대해 이야기해보고자 한다. (이전 RandEvent 구현 내용은 https://heehehe-ds.tistory.com/204에서 확인할 수 있다.) [OSSCA] python-mysql-replication - RandEvent 구현하기2023 오픈소스 컨트리뷰션 python-mysql-replication 첫번째 기여 활동으로 진행한 RandEvent 구현 과정에 대해 살펴보고자 한다. (python-mysql-replication 설명은 이전 글 참고 : https://heehehe-ds.tistory.com/203) [OSSCA]he..
[회고] 글또 9기를 시작하며 (8기와 9기 사이 점검하기) 2023년 나에게 큰 영향을 주었던 활동 중 하나인 글또 ✍️ 글 쓰는 또라이가 세상을 바꾼다 - 글또 페이지👋 안녕하세요 :)www.notion.so8기 도전을 하지 않았더라면 이 블로그도 올해 텅텅 빈 채로 남겨져 있을텐데, 덕분에 여러 글도 작성해보고 생각지도 못했던 기회들이 종종 생겨났다. 그렇기에 9기를 다시 하지 않을 이유가 없었다! 이번 글에서는 8기에 비해 얼마나 성장했는지, 9기에는 어떤 것을 중심으로 활동하고자 하는지 다짐을 적어보고자 한다. (이번 9기 첫 글은 기술 글로 시작해보려고 했으나.. 기수마다 다짐글을 남겨두는 것도 유의미할 것 같아 적어보려고 한다☺️)8기 다짐글: https://heehehe-ds.tistory.com/189 [글또] 8기를 시작하며"개발 블로그를 꾸준히..
[OSSCA] python-mysql-replication - RandEvent 구현하기 2023 오픈소스 컨트리뷰션 python-mysql-replication 첫번째 기여 활동으로 진행한 RandEvent 구현 과정에 대해 살펴보고자 한다. (python-mysql-replication 설명은 이전 글 참고 : https://heehehe-ds.tistory.com/203) [OSSCA] python-mysql-replication이란? 지난 7월부터 2023 오픈소스 컨트리뷰션 아카데미라는 활동을 통해 오픈소스에 직접 기여하는 활동을 진행하게 되었다. 2023 오픈소스 컨트리뷰션 아카데미 Open Source Contribution Academy www.contribution.a heehehe-ds.tistory.com Event란? 먼저 Event는 이전 글에서 언급했던 바와 같이 p..

티스토리툴바