[회고] 글또 8기 마무리 + 2023 상반기 돌아보기 글또를 처음 지원한게 1월 중순, 첫 글을 쓰던게 2월이라는 사실이 믿겨지지 않을 정도로 어느덧 나름의 습관이 되어버린 글또 8기 활동이 벌써 마무리가 된다 😮 6,7기 모집을 알게 됐을 때 지원할까말까 고민하다가 놓치고 도저히 글을 쓰지 않는 나 자신을 발견하며 다음에는 진짜 신청해야지 다짐한 끝에 지원하게 된 8기 활동이었는데 '6개월이면 정말 길겠는걸?'하던 생각이 무색할 정도로 빠르게 지나갔다. 그렇게 고민 끝에 하게 됐던 글또 활동을 통해 나에게는 어떤 변화가 있었을까? 글또의 주 활동이었던 글쓰기뿐만 아니라 업무적, 내면적, 활동적으로 있었던 크고 작은 변화들에 대해 돌아보았다. 글쓰기 변화 먼저 글또의 메인 활동인 글쓰기에 대해서 가장 많은 변화가 있었다고 생각한다. 주로 내가 검색해서 찾게.. [KG] LLM에 날개를 달아줄 지식그래프 (Unifying Large Lanuage Models and Knowledge Graphs 논문) 지식그래프 관련 업무를 한다고 하면, "지식그래프 그게 뭔데?" "지식그래프 그걸로 뭘 할 수 있는데?"라는 질문을 단골로 받았다. 마침 chatGPT로 핫해진 LLM과 지식그래프를 연관지은 서베이 논문(https://arxiv.org/abs/2306.08302)을 발견해서 소개해보고자 한다. Unifying Large Language Models and Knowledge Graphs: A RoadmapLarge language models (LLMs), such as ChatGPT and GPT4, are making new waves in the field of natural language processing and artificial intelligence, due to their emergent.. [DE] 하둡 없이 맵리듀스를?! Local MapReduce 오픈소스 파헤치기 비록 Spark, Tez 등 데이터를 빠르게 처리하는 프레임워크가 등장하면서 MapReduce가 과거의 기술로 여겨지고 있지만, 여전히 큰 데이터를 다루는 데에 있어서 기초가 되는 부분 중 하나이다. MapReduce는 하둡 프레임워크로 일반적으로는 하둡 환경에서 진행할 수 있지만, 분산 환경 없이 로컬 환경에서도 이용할 수 있는 오픈소스 Local MapReduce가 존재했다. (https://github.com/d2207197/local-mapreduce/tree/master) 해당 오픈소스를 알려주신 분이 내부가 그렇게 복잡하지 않다고 말씀주셔서 한번 내부를 구경해봤더니 정말 100줄도 되지 않는 하나의 스크립트로 구현되어 있었다. 어떻게 구현해놨길래 100줄도 안되는 스크립트로 이렇게 유용하게 이.. [DE] 2023 DEVIEW - SCDF로 하루 N만곡 이상 VIBE 메타 데이터 실시간으로 적재하기 (스트림 처리 레거시 극복일지 엿보기) 지난 2월에 있었던 DEVIEW 2023에서 가장 인상 깊게 들었던 세션 "SCDF로 하루 N만곡 이상 VIBE 메타 데이터 실시간으로 적재하기" 세션의 주 목적은 "SCDF를 사용해보세요!" 였겠지만, 실시간 데이터를 직접 다루지는 않는 입장에서는 조금 다른 관점에서 세션을 들을 수 있었다. 우선 서비스 데이터를 직접 다뤄보지 못하는 아쉬움을 세션을 통해 해소할 수 있었고, 기존 작업에서 어떻게 문제점을 찾고 극복해 나갔는지 그 여정을 듣고 배울 수 있어서 많은 도움을 받을 수 있었다. 첫 입사 때부터 지금까지도(ㅠㅠ) 얼굴도 모르는 분들이 만들어 놓고 떠나신 레거시 작업을 해결해보려다 실패한 적이 많았는데, 이 세션을 듣고 어떤 방향으로 다가가면 좋을지 조금이나마 가이드라인을 잡을 수 있게 되었다. .. [Review] 데이터 취업 토크 콘서트 첫 패널 참여 후기 학부생 2-3학년 때 데이터의 세계를 본격적으로 처음 배우게 만들어 줬던 스터디 모임 빅리더의 인연으로 너무나도 좋은 기회를 얻어 데이터 직군 관련 취업 토크콘서트의 패널로 참가하게 되었다. 아직 3년도 채 되지 않은 내가 패널로 참여해서 많은 도움이 될 수 있을까 고민도 됐지만, 오히려 아직 입사한지 3년이 되지 않았으니 취업 경험이 더 잊혀지기 전 좋은 시기라고 생각하고 함께 참여하게 되었다. 행사는 4가지 세션으로 나눠서 진행되었다. 초반 3가지 세션은 인공지능 산업과 관련해서 공공기관에서의 이야기와 함께 스터디 했던 선배들의 직무별 이야기, 그리고 해당 빅리더 9기 (내가 참여했을 때가 2기였는데 벌써 여러 기수가 많이 흘렀다..) 모집과 관련된 이야기로 진행되었고, 마지막에 토크 콘서트가 진행되.. [DE] 개발자들은 어떤 데이터베이스를 많이 사용할까? 데이터베이스의 종류에 대해 공부하다보니 문득 다른 개발자들은 어떤 데이터베이스를 많이 사용할지, 또 어떤 데이터베이스가 트렌드일지 궁금해졌다. chatGPT와 이런 저런 대화를 하다 보니, 오류를 맞이할 때마다 단골손님으로 방문하게 되는 사이트 stackoverflow에서 개발자 대상으로 매년 진행하는 설문조사 "StackOverflow Developer Survey"를 2011년부터 진행하고 있다는 걸 알게 됐다. (이후 Stack Overflow 설문조사에 대해 질문한 결과) 기존에는 테이블 형식의 데이터가 많이 다뤄지다보니 RDBMS를 많이 사용하다가, 저장해야 하는 데이터 형식이 다양해지면서 NoSQL이 등장하게 되고 점차 사용하게 됐다고 하는데 실제 많은 개발자들이 그렇게 사용하고 있는지 궁금해.. [회고] 2023 1분기 & 글또 중간 회고 (4L+KPT & marimba) 글또 첫 다짐글을 쓴 지도 벌써 2달이 지났다. 1분기 회고를 언제 한번 해야하는데..라고 생각만 하고 있다가 글또에서 더 좋은 기술 글을 쓰는 강의를 듣고 회고를 작성하는 부분이 있어서 잊고 있던 회고를 떠올리게 되었다. 입사한 뒤에도 1개월차 회고만 진행한 뒤 3년을 슬슬 채워가는 동안 한번도 진행하지 않았었고, 내가 뭘 하고 지내는지 스스로 파악하지도 못한채 계속 달리고 있다는 생각이 들던 터라 한번 나를 돌아볼 시기가 찾아왔다고 생각이 들어 전반적인 회고 글을 써보게 되었다. 비록 회고라는게 어떤 틀을 정해서 해야한다라고 생각하진 않지만, 좀 더 본격적으로 회고를 해보고자 어느 정도 정의되어 있는 회고 방식을 찾아보았다. AAR(After Action Review) 일의 진행과정에 대해 되돌아보는.. [DE] 쿠버네티스(kubernetes): 컨테이너도 자동화가 필요해! 해당 글은 https://kubernetes.io/docs 에 기반하여 작성되었습니다. django로 데이터를 확인하고 검색하는 api를 개발하는 업무를 하고 있던 중, "접속량이 많아도 안정적으로 만들어서 사람들이 믿고 쓸 수 있게 하라"는 이야기를 들었다. 어떻게 보면 당연히 해야하는 부분이었지만, 기능 추가에만 집중하고 있었기에 방법을 몰라 너무 막막했었는데.. 말로만 듣던 쿠버네티스를 알고 난 뒤 해결의 실마리 일부를 찾을 수 있었다. 이번 글에서는 쿠버네티스가 도대체 무엇이길래 실마리를 줄 수 있었는지 정리하고자 한다. 먼저 쿠버네티스에 대해 다루기 전에 미리 알아야 할 한가지 개념이 있다. 컨테이너 오케스트레이션 (Container Orchestration)docker 관련 글에서 다루었던 컨.. 이전 1 2 3 4 5 6 ··· 25 다음
