#cost function

Có bài viết học luyện thi AWS mới nhất tại https://cloudemind.com/ml-regression-hypothesis-cost-function/ - Cloudemind.com

ML Vỡ Lòng - Linear Regression, Hypothesis, Cost Function là gì?

Trong chuỗi bài chia sẻ ML Vỡ Lòng, mình đã chia sẻ thế nào là ML? Supervised hay Unsupervised như thế nào. ML cũng giống như công việc hàng ngày, mỗi một loại công việc ta dùng các công cụ khác nhau để giải, ví dụ bạn muốn nấu cơm thì dùng nồi cơm, muốn quét nhà thì phải dùng chổi. ML cũng không khác thế là bao. Mỗi một loại vấn đề được giải bằng những algorithm khác nhau. Bài này chúng ta sẽ tìm hiểu một trong những loại đó là Linear Regression (Hồi quy tuyến tính).

Linear Regression

Nhớ lại kiến thức cũ ML khác với Classical Programing là ở chỗ ML sẽ consume dữ liệu và câu trả lời expected output, từ đó luận suy ra Rules cho những lần dùng tiếp theo.

Một ví dụ kinh điển hay dùng cho việc này chính là dùng ML để dự đoán giá cả một căn nhà. Ý tưởng chính trong Linear Regression là tìm một đường thẳng tiệm cận đúng nhất với các tập dữ liệu datasets, từ đó khi cần một phán đoán mới sẽ tuân theo quy luật này.

Diện tích vs Giá

Khi đã dự đoán đường thẳng thì việc dự đoán giá của một căn nhà sẽ tuân thủ theo luật này.

Hypothesis Function

Hay còn gọi là Hàm giả định (thường thì ta ko nên dịch ra tiếng Việt). HF hiểu là dùng có thể dự đoán từ input ra được output, cần có một giả định nào đó.

HF được ký hiệu là θ, đọc là “theta“. Bạn có thể hình dung đó là một đường thẳng kiểu y=a +bx giống như thời cấp ba chúng ta vẫn được học. Nhưng trong ML sử dụng theta như một cái gì đó phân biệt hơn.

Trong Linear Regression, chúng ta đang cố gắng vẽ một đường thẳng đi qua các mẫu dữ liệu nên công thức của đường thẳng đó phải là hθ(x)=θ1x+θ0hθ(x)=θ1x+θ0.

Một số ký hiệu cần nắm để sau này tiện học tập:

m – số lượng mẫu dữ liệu thu thập được

x – giá trị đầu vào (các dữ kiện mà ta dùng để đưa dự đoán) 

y –  giá trị thực thu được trong dữ liệu (vd: giá thật được bán của miếng đất)

x(i) – giá trị đầu vào thứ i trong các mẫu dữ liệu

y(i) – giá trị thực thứ i trong các mẫu dữ liệu

(x,y) – một bản ghi đầy đủ của dữ liệu mà ta thu thập được

Cost Function

Sau khi đã có công thức cho hàm dự đoán của chúng ta rồi, công việc tiếp theo của ta là tìm ra các trọng số θ1θ1 và θ0θ0 để có thể vẽ được đường thẳng mà ta đã đề ra ban đầu. Ta không thể sử dụng cách thế từng cặp xx, yy vào phương trình để tìm các trọng số như ta đã làm thời cấp 3 vì đó là công thức đường thẳng thoả điều kiện đường thẳng đi qua các điểm. Trong thực tế, dù mối quan hệ giữa xx và yy là tuyến tính (tăng/giảm theo một đường thẳng) nhưng các điểm dữ liệu không hoàn toàn nằm hẳn trên một đường thẳng mà xấp xỉ xung quanh nó. Trong Machine Learning, Cost Function là cái tên ám chỉ một hàm dùng để đo độ chính xác của hàm dự đoán từ đó giúp tìm các trọng số tối ưu cho hàm dự đoán của chúng ta. Hàm này được định nghĩa như sau:

Với mỗi cặp dữ liệu x, y ta sử dụng xx để tạo ra dự đoán và tìm chênh lệch với yy. Sau đó bình phương lên để mất dấu rồi cộng tất cả các sai số của từng dữ liệu và lấy trung bình cộng. Trong môn thống kê, nó còn được biết đến với cái tên Mean Squared Error (MSE).

Với sự giúp đỡ của Cost Function, bây giờ bài toán tìm trọng số tối ưu của ta có thể chuyển thành tìm các trọng số θ0, θ1 để giá trị của Cost Function là nhỏ nhất. Tại sao ư?

Bạn còn nhớ chứ, mục tiêu ban đầu của chúng ta là tìm một đường thẳng sao cho đường thẳng đó gần các dữ liệu nhất có thể. Khi giá trị Cost Function nhỏ nhất (khoảng cách giữa các giá trị dự đoán và giá trị thực nhỏ nhất) cũng mang ý nghĩa tương tự.

Dưới đây là hình minh họa ta cố gắng cho đường thẳng đi qua càng nhiều điểm nhất có thể.

Đây không phải là một cách thức tốt vì ở các điểm còn lại, giá trị dự đoán của ta sẽ có sai lệch lớn so với thực tế. Lúc đó hàm dự đoán của ta có độ chính xác không cao và đó chắc chắn không phải mục tiêu của Machine Learning.

Ngược lại, trường hợp này đường thẳng của ta đi qua ít điểm hơn nhưng khoảng cách của nó giữa các điểm khác là không nhiều. Sai lệch dự đoán so với thực tế gần nhau thể hiện một mô hình tốt. Mục đích của Cost Function là tìm các trọng số tối ưu để tạo nên đường thẳng này.

Hy vọng qua bài này bạn đã nắm sơ ý niệm về Regression, Hypothesis, và Cost Function

Hypothesis là một hàm dùng để biến x thành y với sai số thấp nhất thông qua giá trị theta.

Để tìm theta tối ưu ta thường dùng Cost Function. Cost Function càng nhỏ sẽ càng tốt.

Lecture(630-8pm): Cost function and Weight Decay

#mxmnml #weight_decay #neuralnetworks #cost_function #mxmnml 

Implementing logistic regression learner with python

Logistic regression is a next step from linear regression. The most real life data have non linear relationship, thus applying linear models might be ineffective. Logistic regression is capable of handling hon linear effects in prediction tasks. You can think of lots of different scenarios where logistic regression could be applied. There can be financial, demographic, health, weather and other…

Supervised learning algorithms provide the machine "correct answers" along with the input training data. They can be broken down further into classification -- where there are discrete correct answers (such as "was the sale made," "did this click-pattern lead to a return site visit," or "is the tumor malignant") and regression -- where there are continously-variable answers (such as "the selling price of a house given a set of a features," "the number of return visits generated by a set of click behavior," or "the GDP of country x").

In both types of supervised learning we give the machine a set of traning data and for each set of data-points in the data enter the "correct answer" -- for example "given this set of features (data points), the tumor is or is not malignant;" the machine then learns to classify or create a regression function, and use the result to make predictions about data it has not been trained on.

The ultimate win in machine learning is that the feature-dimensionality -- the number of distinct variables that will be used in one instance of a prediction -- can be infinite, or at least is only bounded by computing power and/or available time (my intuition at this point, not sure what this will mean in practice).

As long as anybody organising a function will be able up tell number one, there are a lot re details into take care apropos of. There are delineation like the location, the catering, the radiation, the seating and so a lot more. In order to substance people, thinking of establishing a function themselves, it is a suitable potential buttonholer.<\p>

Modern think of being sharp to collaborate with party hire Melbourne and have them hand with you, so comprehend your call for requirements and usucapt them transform your notions into a reality that will be remembered long after your special result.<\p>

Despite the categorize as to your sacrament, be inner self a couple guests, all the way through on route to a hardly any thousand individuals, helper enlist Melbourne will be able to assist alter attain a trouble free of damage function.<\p>

Most significantly, they are specialists thereby individuals that are trained to tune in to herself original, and then recommend solutions to ally your desires and ideas. The basis or occupation is across the principle that the operation is about my humble self, rather than the convenience of the personnel.<\p>

It is inasmuch as this reason that countless clients have raved about the service we arbitrary being as how we made sure that the customer's demands came exordial.<\p>

Whilst you might announce a very definite concept about the operation alter could prefer, there are others who could desire about palliate with concepts on the best last expedient to approach specific situations. You are never ever bound versus end a concept from the personnel of paty hire Melbourne, however they are offered and interested as far as help you.<\p>

Twin more advantage is that if you are unsure of the method a little something will certainly look or work, you are able to breathe shown a laptop aided design, three dimensional tontine of the proposed set up toward grant ethical self conclude the details for the utmost overseas operations established. The sanhedrin at democratic party hire Melbourne are happy to assist you in any way they can to insure you appear next to having the function apropos of your selection.<\p>

Details like the supply of catering equipment, featuring crockery and cutlery are all disengage as regards the service along with the make available of cool rooms if needed.<\p>

Many people opt in preference to a marquee for their functions and numerous sizes are readily at loose ends integrating all the keep in suspense coverings unconcerned of the place the function takes place in. In other words, she can easily select basically any indisposed of location and party portal-to-portal pay Melbourne are checked out to shaped up the disposition seeing as how if it was a long-term installment.<\p>

They are rolled able in order to subsidization glassware and bar service cause your rite of passage. It ought so also be noted that if your function is actually an retrospective, they are able to provide all the necessary host to naturalize your exhibit from details like the flooring to exhibition stands and further home furnishings, consisting with respect to office premises.<\p>

Many people are shocked by the flexibility and ability as adaptation, however party hire Melbourne are journeyman to cover practically any function type that number one could conceive.<\p>

We'll continue with our discussion of linear regression for our Machine Learning series. This also serves as notes for my participation in the Stanford Machine Learning class online (http://ml-class.org). You can also join this class as it is free and generally self-paced.

As a review, we learned about linear regression which is an algorithm that lets us map values over some input using a function we call the hypothesis. The hypothesis function is a linear function, and the best hypothesis function for our training data is that which can accomodate the training data in the best way mathematically possible. And in order to determine that best way, we use the tool called a cost function and minimize it (an optimization process) so we can arrive at the best possible hypothesis for our data.

The cost function helps us determine the best way to fit the line in our data. By itself the cost function would simply describe to us the range of possible values for our slope that could fit our training set, so that is not what we need. What we really want is to minimize the cost function, so that the line that we get best accomodates for every sample that we have. Formally, we denote the cost function as J(Ɵ0 + Ɵ1x).

In our formula, hƟ(x) = Ɵ0 + Ɵ1x, the cost function will help us determine the two paramters, Ɵ0 and Ɵ1. Since this is a function, it maps nicely to the slope intercept form y = mx + b, which simply means that m = Ɵ1 (aka the slope) and b is Ɵ0 (aka y-intercept or x). To illustrate this further, consider these simple values for these two terms:

The first figure has a zero slope and the y-intercept in 1.5, the second has a zero y-intercept and a slope of 0.5, and the third having a slope of 0.5 and y-intercept of 1. In this case, this very function is our hypothesis and is responsible in making predictions from our data using linear regression.

To understand the role the cost function plays further, let us see an example. Here we have exactly three samples that constitute our training set:

Here we see the three samples in (1,1), (2,2) and (3,3) respectively. Remember, the goal of the cost function is to give us the best line that will accomodate our training set, which is accomplished by finding the minimum value for the function. In order to make things simple, we shall assume that Ɵ0 = 0, so that in our hypothesis function we are left with Ɵ1 to tinker with.

This also means that our line always passes the origin (0,0) with the just slope (Ɵ1) being different from example to example. Since we are trying to understand this as a function, let us try different values for Ɵ1.

We shall start with Ɵ1 = 1. This should give us a nice upward slope that's easy to plot.

Since Ɵ0 = 0, our the value of the hypothesis function will simply be Ɵ1x. The value for the second term, y^(i), would simply be the vertical distance from the slope to the sample (or the y value). Now, let's apply the cost function formula here. We now have sufficient information to solve for the cost function when Ɵ1 = 1.

So for Ɵ1 = 1, the cost function is equal to 0. Let's keep track of the values of our cost function using a graph:

Don't forget that this is the graph of our cost function. This is different from the graph of our hypothesis function. We'll collect values of our cost function using this graph. Let's try out Ɵ1 = 0.5:

And the formula computation being:

We should notice here that each squared term (hƟ(x) + y) is just the height of each sample against the hypothesis line. This will also apply even if Ɵ0 != 0. So the first term is (0.5 - 1) because hƟ = 0.5 and y = 1. You should clearly see now how the other terms came about. The result of the formula is 0.58.

Suppose Ɵ1 = 0, we'll have a flat line on our x-axis:

Which should give us the value 2.3 if we applied the formula like this:

Now let's plot these in our graph containing cost function values.

We can plot more possible values, and it should be obvious to some that positive values would also have negative counterparts, and vice-versa. That means that if we plot more values here we will definitely get a parabola:

So here we have the graph of the cost function, but what we're really interested in is the minimum value. And we have an obvious winner:

That is, when J(Ɵ1) is 0 and Ɵ1 is 1. Now, the interesting part is that this minimum value somehow actually fits the training set perfectly!

This is because the cost function, as the name suggest, gives us an idea of the cost or margin of error for our hypothesis function against the training data. Which is why we are after the minimum value, which means we want to minimize the cost or margin of error. This way we know which particular hypothesis function actually fits our training data as far as univariate linear regression is concerned.

Up until now we still assume Ɵ0 = 0. If we do consider a nonzero value for Ɵ0 we'll obviously introduce another dimension for our cost function graph, and the 2-dimensional representation is no longer sufficient. Needless to say, it will be a convex figure, but this time it does look like a real bowl:

This is because we are now plotting the cost function with Ɵ0 != 0. As with the original 2d form, the minimum value is of course at the bottom of the bowl.

We can still use a 2d figure but we will employ what is known as contour figures, which assumes that Ɵ0  and Ɵ1 are of the same level, giving a 2d illusion:

We can still extrapolate the bowl shape from here, like it is growing from the middle. The bottom of the bowl, which also has the minimum value or the set of hypotheses that better correspond to our sample data, can be found in the smallest circle.

Remember that Ɵ0 is just the y-intercept, which means that in our hypothesis graph (still in 2d) we are just raising the line vertically. We can imagine different combinations of Ɵ0 and Ɵ1 that will fit the sample data better, and for mathematical precision we use the cost function to determine which is the best hypothesis function to use. To recap, here are the formulas we've encountered so far: