#regular expression

Email ID Validation in JavaScript:

- Learn how to validate given Email ID in JavaScript with Regular Expression

2 1 Regular Expressions

https://youtu.be/zfH2ADGtzJQ

| 는 ‘또는'을 의미한다.

u?의 경우 u는 있어도 되고 없어도 된다는 의미이다. o+는 적어도 o가 한번 이상나와야 한다. o*는 0번또는 그 이상 여러번 나올수 있다. 점 . 는 어떤 캐릭터도 될수 있다. 

여기서 ^는 시작을 의미한다. $는 마침을 의미한다. 

2 3 Word Tokenization https://youtu.be/f9o514a-kuc

모든 nlp에서 데이터는 기본적으로 token 단위로 나누어야 한다. 

같은 어원, 어근을 가지는 단어들을 어떻게 처리할것인지 단수, 복수처럼 상황에 따라 단어의 형태가 조금 바뀌는 경우 같은 단어로 볼것인지 아닌지를 결정해야 한다.

 token은 중복되는 것을 상관하지 않고 각각 따로 갯수를 센다. type의 경우 동일한 단어는 갯수에서 제외한다.

각 tokens의 갯수가 types보다 큰것을 알수 있다.

tokens, types단위로 나눌때 흔히 발생하는 문제를 보여주고 있다.

각 언어별 특성에 따른 문제점들을 보여주고 있다.

중국어나 일본어처럼 띄어쓰기가 없는 경우 사용할수 있는 방법으로 maxium matching word segmentation algorithm이 있는데 이를 보여주고 있다.

2 4 Word Normalization and Stemming https://youtu.be/ZhyLgPnOeh0

아래에 단어를 여러방법으로 정리하는 것을 보여주고 있다. 

case를 한 방향으로 통일하는 방법이다.

한 lemma를 기반으로 하는 단어들을 하나로 통일해준다. 

어근과 접미, 접두의 합으로 표현할수도 있다.

영어 단어를 정리하는데 porter algorithm을 많이 사용한다.

영어에서 ing 를 정리할때 모음이 있는 경우만 제거한다.

2 5 Sentence Segmentation https://youtu.be/UL4Ez56AMVo

문장단위로 데이터를 잘라서 처리하는 방법을 보여주고 있다.

!와 ?를 기준으로 문장을 구분하는 것은 불확실하다. 점 .를  기준으로 나누는 경우도 단어의 약자나 숫자에 사용되는 . 때문에 어려움이 있다. 그래서 추가 작업이 필요하다. 이때 사용할수 있는 것이 hand-written rules, regular expression, machine learning 등등이 있다.

문장의 끝을 확인하는 간단한 방법으로 decision tree를 이용하는 것이 있다. 

dot 앞뒤에 대문자가 사용된경우 약자에 사용된 dot일 확률이 높다. dot 뒤에 대문자가 오는 경우 dot이 문장 끝일가능성이 높다. 단어 the 앞에 dot 이 사용된 경우 dot이 문자의 끝일 확률이 높다. 

Shippers keep telling antis, “use a blacklist!” And well... I’ve tried that, and there are some problems. Long story short, it’s an imperfect solution if you still want to see anti posts while keeping out shipping posts. Also, if you want blacklisting on mobile you’re either going to have to give up on such things as checking notes and messaging, or use the Tumblr app (where you cannot blacklist tags) to do those things. Check below the cut for more details because this got long.

Have you ever encountered the same solution to a problem time after time again, never fully grasping why it works, but accepting that it does?  And because this magical solution works so well and you’ve got bigger fish to fry, you put off researching why it works and choose to just accept that it’s magic and you shouldn’t question it?

That’s what regular expression is to me.  Up until last week, when Gee slacked me “I’ve actually been interested in learning more about regex, like regular expression,” I didn’t realize that “regular expression” was what this magic was called.

The first time I ever (unknowingly) used regex, was when I was trying to make myself a contact form for my personal website back in 2010 and I needed a way to make sure that the email was valid.

Here is part of the javascript email validation I used in my code.:

var hasError = false; var emailReg = /^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}$/; var emailFromVal = $("#emailFrom").val(); if(emailFromVal == '') { $("#emailFrom").after('Please enter a valid email address.'); hasError = true; } else if(!emailReg.test(emailFromVal)) { $("#emailFrom").after('Please enter a valid email address.'); hasError = true; }

/^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}$/;

How does one get from that gibberish to email validation??

I ran into Regular Expression a few more times since then, most notably in the Ruby labs we had to do at the Flatiron School.  For example, one of our labs instructed us to be able to break a paragraph string into sentences.  To do so, we needed to find a way to identify punctuation.

So, I turned to stack overflow:

string = "I am a lion. Hear me roar! Where is my cub? Never mind, found him." string.gsub(/[.?!]/, '\0|') # "I am a lion.| Hear me roar!| Where is my cub?| Never mind, found him.|"

Okay, I can kind of begin to understand what's gong on.  I think.  It’s obvious to me that, /[.?!]/ is basically searching for punctuation in the string.  Which makes a lot of sense, because Regular Expression (regex) is “a special text string for describing a search pattern.”  A wildcard on steroids, if you will.

https://www.reddit.com/r/explainlikeimfive/comments/w1e0p/eli5_how_do_regexeswork/c59gb18/

Regular Expression basically gives you a list of things to look for in a particular sequence with forward slashes often encapsulating the regex.  /hello/ - look for an ‘h’ followed by ‘e’ followed by ‘l,’ and so on.  Where it gets complex is when factor in special characters that give things special meanings.

And suddenly the gibberish from above makes sense!

/^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}$/;

/.../ - surrounds the regex used.  ^ and $ are anchor characters signifying start-of-string and end-of-string.  The [ .. ] looks for any character listed or in the range specified, followed by + which is basically looking for one or more of any character in the brackets.  So basically, this expression is looking for a collection of any of the characters in the bracket (A-Z and a-z, numbers, and some select symbols) followed by an @ sign, followed by another collection of characters (A-Z and a-z, numbers, ‘-’ and ‘.’ which takes into account subdomains), a “.” (the literal since it’s escaped by a backslash), and another collection of characters (A-Z and a-z) that is greater than 2.

Trong quá trình quản lý website hoặc kinh doanh online, bạn thường phải làm việc với rất nhiều dữ liệu dạng chuỗi. Email khách hàng, số điện thoại, URL trang web hay dữ liệu marketing đều cần được kiểm tra và xử lý chính xác. Nếu thực hiện bằng cách thủ công hoặc viết nhiều đoạn kiểm tra phức tạp, việc xử lý dữ liệu sẽ trở nên tốn thời gian và khó quản lý.

Regex, hay Regular Expression, là một công cụ được thiết kế để giải quyết vấn đề này. Regex cho phép mô tả cấu trúc của một chuỗi dữ liệu bằng một biểu thức ngắn gọn, từ đó giúp chương trình tìm kiếm, kiểm tra hoặc trích xuất thông tin nhanh chóng. Nếu bạn muốn khám phá thêm nhiều kiến thức lập trình web hữu ích khác để hiểu rõ hơn về cách xây dựng và phát triển ứng dụng web, hãy tham khảo thêm nhiều bài viết tại DinhDai.Tech.

Regex hoạt động như thế nào?

Regex hoạt động bằng cách so khớp một chuỗi dữ liệu với một mẫu đã được định nghĩa trước. Mẫu này mô tả những ký tự nào được phép xuất hiện, chúng xuất hiện bao nhiêu lần và ở vị trí nào trong chuỗi.

Ví dụ, biểu thức sau thường được dùng để kiểm tra một chuỗi chỉ chứa chữ số:

^[0-9]+$

Biểu thức này yêu cầu chuỗi phải bắt đầu bằng số, chỉ chứa các chữ số và kết thúc ngay sau đó. Nhờ những quy tắc như vậy, Regex có thể xác định dữ liệu hợp lệ chỉ trong một bước kiểm tra.

Regex được dùng trong những trường hợp nào?

Regex được sử dụng rất phổ biến trong các hệ thống web và công cụ dữ liệu. Một ứng dụng quen thuộc là kiểm tra dữ liệu nhập từ form, chẳng hạn như email hoặc số điện thoại của khách hàng. Nhờ Regex, hệ thống có thể phát hiện dữ liệu sai định dạng ngay từ đầu và tránh lỗi khi lưu trữ.

Ngoài ra, Regex còn được dùng để lọc và phân tích URL trong các công cụ marketing như Google Analytics hoặc Google Tag Manager. Khi cần xử lý file dữ liệu lớn hoặc danh sách email marketing, Regex cũng giúp làm sạch và chuẩn hóa dữ liệu nhanh chóng.

Nếu bạn muốn tìm hiểu chi tiết hơn về cú pháp và các ví dụ ứng dụng thực tế, bạn có thể đọc bài hướng dẫn đầy đủ Regex là gì? Hướng dẫn cú pháp, ví dụ & ứng dụng 2026

Regex là một công cụ mạnh mẽ giúp xử lý chuỗi dữ liệu nhanh và chính xác. Dù ban đầu có thể hơi khó đọc, nhưng khi hiểu nguyên lý hoạt động của nó, Regex sẽ trở thành một trợ thủ rất hữu ích trong việc kiểm tra dữ liệu, phân tích URL và tự động hóa nhiều tác vụ liên quan đến văn bản.

Introduction In today’s data-driven world, protecting sensitive information during replication is crucial for compliance with regulations like GDPR, CCPA, and PCI-DSS. Oracle GoldenGate provides powerful transformation capabilities that allow you to mask sensitive data at the replication level, ensuring that personally identifiable information (PII) never reaches non-production or other…

We were using the below code to create a sharepointdoucmentlocation record through a C# Console App. private void CreateAssociateSharePointDocumentLocation(string folderName, Guid recordGuid, ServiceClient serviceClient) { var documentLocation = new Entity("sharepointdocumentlocation"); documentLocation["name"] = "Documents on Default Site 1"; documentLocation["relativeurl"] =…