남정현 @rkttu@hackers.pub
Public

C RAG를 구현하려고 할 때 어려울 수 있는 문제점 중 하나인 RAG를 위한 인터넷 페이지 본문 추출을 추가적인 파이썬 프레임워크나 AI의 도움 없이, ReverseMarkdown과 SmartReader로 간편하게 해낼 수 있습니다.

https://forum.dotnetdev.kr/t/ai/13894

AI에게 던져줄 블로그 아티클 본문 추출하기

AI 관련 워크로드를 구현하는 코드를 작성할 때, RAG에 앞서 전처리를 수행하는 것을 많이 고민하게 됩니다. 이 때, 블로그 아티클이나 포털 뉴스 기사처럼 본문이 아닌 다른 영역이나 주변부 콘텐츠들이 섞여있어 골라내기 쉽지 않은 종류의 페이지들을 처리하는 것이 무척 중요합니다. 이런 부분을 파이썬 측 라이브러리나 AI의 추가 도움 없이 빠르게 추출할 수 있는 방법을 간단히 구현해보았습니다. ReverseMarkdown과 SmartReader nuget 패키지 2개면 충분합니다. var url = "https://n.news.naver.com/mnews/article/003/0013545358"; var parseResult = await SmartReader.Reader.ParseArticleAsync(url); var converter = new ReverseMarkdown.Converter(new ReverseMarkdown.Config() { CleanupUnnecess...

forum.dotnetdev.kr · 닷넷데브

1
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://hackers.pub/ap/notes/0199ffeb-1637-7f49-859a-cc7b1ac9297e on your instance and quote it. (Note that quoting is not supported in Mastodon.)