남정현 @rkttu@hackers.pub
Public

C RAG를 구현하려고 할 때 어려울 수 있는 문제점 중 하나인 RAG를 위한 인터넷 페이지 본문 추출을 추가적인 파이썬 프레임워크나 AI의 도움 없이, ReverseMarkdown과 SmartReader로 간편하게 해낼 수 있습니다.

https://forum.dotnetdev.kr/t/ai/13894

AI에게 던져줄 블로그 아티클 본문 추출하기

AI 관련 워크로드를 구현하는 코드를 작성할 때, RAG에 앞서 전처리를 수행하는 것을 많이 고민하게 됩니다. 이 때, 블로그 아티클이나 포털 뉴스 기사처럼 본문이 아닌 다른 영역이나 주변부 콘텐츠들이 섞여있어 골라내기 쉽지 않은 종류의 페이지들을 처리하는 것이 무척 중요합니다. 이런 부분을 파이썬 측 라이브러리나 AI의 추가 도움 없이 빠르게 추출할 수 있는 방법을 간단히 구현해보았습니다. ReverseMarkdown과 SmartReader nuget 패키지 2개면 충분합니다. var url = "https://n.news.naver.com/mnews/article/003/0013545358"; var parseResult = await SmartReader.Reader.ParseArticleAsync(url); var converter = new ReverseMarkdown.Converter(new ReverseMarkdown.Config() { CleanupUnnecess...

forum.dotnetdev.kr · 닷넷데브

1
0
0

❤️

1 person reacted.

洪 民憙 (Hong Minhee)

洪 民憙 (Hong Minhee)

@hongminhee@hackers.pub

Hi, I'm who's behind Fedify, Hollo, BotKit, and this website, Hackers' Pub! My main account is at @hongminhee洪 民憙 (Hong Minhee).

Fedify, Hollo, BotKit, 그리고 보고 계신 이 사이트 Hackers' Pub을 만들고 있습니다. 제 메인 계정은: @hongminhee洪 民憙 (Hong Minhee).

Fedify、Hollo、BotKit、そしてこのサイト、Hackers' Pubを作っています。私のメインアカウントは「@hongminhee洪 民憙 (Hong Minhee)」に。