katesanalyst

Introduction: What is Data Scraping?

Data scraping, in its most general form, refers to a technique in which a computer program extracts data from output generated from another program. Data scraping is commonly manifest in web scraping, the process of using an application to extract valuable information from a website.

How to Use Data Scraping to Find the Best Movies for Your Audience

If you want to predict what is the current movie for business apart from reviews/critics or next hits. To search for clean data for building a movie tickets status. So, you think about getting movie data, then find data from external sources. And you may to know much about HTML or web scraping.

Hence, find the best online sites for Movie Booking then analysis their HTML, API and relevance of web scraping.

I have chosen some sites for educational purpose to make a clear usage of Fims Business. Same as other sites too whereas some tricky to handle in code. Its best practices make a favors to-do.

by using sample code, defining a simple task about that movie(s) business against Advance Booking which is accuracy as 90%, remaining 10% of booking will made in offline which is +/- 10% percentage of advance booking variance. So, the business may calculate more accuracy than any form.

Because not all time 100% booking against offline. If, then to know advance booking itself in simple calculation. Same time Advance booking calculated 75-85% booking itself. For an example, Tamil movies especially Rajini, Ajith and Vijay may get 100% booking Day1 to Day2 [Depends on review/critics on Fans show onwards]. So for the ticket sale is KING of any movie.

However, nowadays, OTT and Digital rights are major role then THEATRE BOOKINGS.

for an example, leading actor budget along with postproduction 30 crore; producer may earn entire or more OTT and Digital rights itself.

remains Theatre rights Domestic and International are unexpected profits. In 2022, producers calculated star rating actor, directors and music composers to make profit with OTT and Digital; instead of Stories and other stuff. Hence, we had more unwanted garbage's.

This industry is real money making from white to black or even more black to white or vice versa. So, for government control mechanism not available and moreover one of assets getting money from them.

Code Available in:

கமலஹாசன் நடிப்பின் இன்றைய திலகம். சிவாஜியையடுத்து தமிழகம்மட்டுமல்ல உலகம்முழுவதும் போற்றப்படக்கூடிய நடிப்பின் உட்சபட்ச நட்சத்திரம். சிறுவன் முதல் கிழவன் வரை அவரை போற்றாத /உச்சிமுகத்தவர்களில்லை.

அப்படிப்பட்ட நடிகன் அரசியலில் காலூன்றும்போது … அவர்சார்ந்த தேசம் , தேசத்தை விடுங்கள், அவர்சார்ந்த மாநிலம் எவ்வாறு மாற்றம்கொண்டிருக்கவேண்டும் !!

ஆனால், மாற்றாக அவரின் தொழில்முறையில் மட்டுமே … தன் சொந்த தயாரிப்பு நிறுவனமே தடிமாறிக்கொண்டிருக்கும்போது , 2021 தேர்தலுக்கு பிறகு அவரின் தயாரிப்புகள் அணிவகுத்து நிற்கிறது.

திராவிடக்கட்சிகளுக்கு மாற்றாக ,மாறுபட்டதாக அரசியல் வல்லுனர்களால் கணிக்கப்பட்டு, மத்திய ஆட்சியாளர்களால் /எதிர்கட்சிகளால் கவனிக்கப்பட்ட கட்சி… ஆனால், அரசியல் நிலைப்பாடு கிட்டத்தட்ட நிறுவனத்தை ஒத்தநிலையில் உருவாக்கப்பட்டது .

அரசியல் மக்களுக்காக என்னும்நிலையிலிருந்து தன சார்ந்த நலனுக்காக மட்டுமே என்னும் நிலைக்கு செல்லப்பட்ட , குறுகியகால கட்சியாக MNM , மக்கள் நீதி மைய்யம் கட்சி கருதப்படுகிறது.

3.62% வாக்குகள் வைத்துள்ளக் கட்சி , தன் கட்சி தலைவனை பின்தொடர்வோர் மட்டும் (7.7 மில்லியன்) எழுபத்தியேழு இலட்சம் பேருக்கு மேல் twitter -ல் பின்தொடர்கின்றனர் …

techonlogy முழுமையாக பயன்படுத்திய கட்சி… அதன்பின்னர் கட்சியின் உள்கட்டமைப்பு மாற, அதற்கு மாறாக அதன் குறிப்பிட்ட கட்சி உறுப்பினர்கள், வேறொரு திராவிட கட்சிக்கு (DMK ) மாற தொடங்கினர் . அதன் விளைவு , கட்சியில் நிலைப்பாடு மக்களிடையே கொஞ்சம் சந்தேகம் மட்டுமல்ல , அந்த கட்சியே வேண்டாம் என்றநிலைக்கு தள்ளப்பட்டனர்.

குறிப்பாக, 2021-ல் நடைபெற்ற தேர்தல், கமல்ஹாசன் கட்சியை மிகவும் அசைத்து பார்த்தது, தேர்தல் நேரத்தில் அந்த கட்சியின் முக்கிய நபர்கள் வெளியேறினர்{மாறினர்}. தேர்தலுக்கு பின், அந்த கட்சியில் போட்டியிட்டு களத்தையிழந்தவர்கள் கூட திராவிட கட்சியில் (DMK ) இணைந்தனர்.

ஆனால், அதைவிட மாற்றாக, அக்கட்சியின் தலைவரின் நேரடி தொழில்முறை நட்பு தேர்தலுக்கு முந்தய பிணைப்பாகவே பார்க்கப்படுகிறது.

கட்சியின் தலைமை நேரிடையாக வணிகரீதியாக தொடர்புவைத்தது , அவர்களின் கட்சி எதற்காக ஆரம்பிக்கப்பட்டதோ அதையே தலைக்கீழாக மாற்றியது. அக்கட்சியை மாற்று அரசியலாக கருத்தியாதோர் , அவரை குப்பைமேட்டிற்கு சமமாக மதிப்பீடு செய்தனர்.

தேர்தலுக்கு முன்,பின் , நடிகன் எப்போதுமே நடிகன்தான்… . தன்நலன் சார்ந்த அமைப்பாக மக்களை ஏமாற்றி அரசியல் செய்வர் . ஏமாற்றப்படுவது அவரை அரசியல் பின்தொடர்வோர், நடிகனாக பின்தொடர்ந்தவர்கள்.

அண்ணாமலை , ரஜினியின் படத்தைப்போலவே மிகப்பெரிய ஈர்ப்பு தற்போதைய தமிழக இளைய தலைமுறைகளிடம் என்று சொல்லப்படுகிறது.. அது முற்றிலும் உண்மை, எப்படி சீமான், கமலஹாசன் போன்றோர் வரிசையில் இவருக்கும் இடமுள்ளது.

முன்னாள் உயர்நிலை காவல் துறை அதிகாரி , முன்னாள் தனியார் வரையறுக்கப்பட்ட நிறுவனதின் இயக்குனர், "We The Leaders Foundation" என்கிற அமைப்பிற்கு தற்போதைய தலைமை …

இந்நிலையில், ஆகஸ்ட் 2020 முதல் தமிழக பாஜக தலைவராக நியமிக்கப்பட்டார்.. அதுவரை தமிழக அரசியல் அதிமுக ,திமுக கட்சிகள் மட்டும் என்றிருந்தநிலையில் பிஜேபி செயல்பாடு , அந்த கட்சிகளை நேரிடையாக அசைத்துப்பார்க்கவே செய்தது. ஆனால், தலைவராக பொறுப்பேற்ற அண்ணாமலையின் செயல்பாடு கூர்ந்துநோக்கினால் .. அது அந்தக்கட்சியை வளர்பதைவிட , அவரை வளர்ப்பதில் மிகப்பெரிய செயல்பாட்டுத்திட்டம் தீட்டப்பட்டது.

இந்த செயல்பாடு பிஜேபி தலைமை மிகப்பெரிய உதவிகள் செய்துகொடுக்கப் பட்டுயிருக்கலாம். ஆனால், அண்ணாமலையின் செயல் நாளடைவில் பிரதான தன்னிலை வளர்க்கவே பார்க்கப்படுகிறது.

இந்த செயல்பாட்டு திட்டத்திற்கு bjp மிகப்பெரிய பணபலத்தை கொடுத்ததே தவிர, அவர்கள் அதைக்கொண்டு பிரதான தன்னிலை வளர்க்கவே பார்க்கப்படுகிறது.

அண்ணாமலையின் அரசியல் பயணம் நன்றாக செப்பனிடப்பட்டு, செயலில் தீவிரமாக அவரும் , அவரின் குழுவும் பயணித்தபோது.. ஈரோடு இடைத்தேர்தல் அவரை அசைத்து பார்த்தது..

அவரின் செயல்பாடு முற்றிலுமாக தலைமை என்னும் பதவிக்கு மேல் ஆசை பட்டாயிற்று. ADMK என்னும் கூட்டணியை/கட்சியை அசைத்து பார்க்கும் நிலைக்கு தள்ளப்பட்டார் . ADMK என்னும் கட்சியை அசைத்து, இடைத்தேர்தலில் அவர்சார்ந்த பிஜேபி கட்சியை போட்டியிட மறைமுகமா வேலைசெய்ப்பட்டதாகவே தெரிகிறது.

ஆனால் , பிற கட்சிகள் சந்தித்து அதற்கான செயலில் இறங்குவதற்குள் முன் எடப்பாடி முந்தினார் , அதனோடு கூட அவரின் அண்ணாமலையின் பிற்பகுதி அரசியல் குழப்படியான நிலைக்கு வரவைத்து..

அண்ணாமலையின் செயல்பாடு சரியாகயிருந்து இருக்குமேயானால்,

ADMK உள்கட்சியில் தலையிடாமல் - அதனோடு சேர்ந்து பணியாற்றி , நன்மதிப்பை பெற்றுயிருக்கமுடியும் .

கூடவே, ஈரோடு இடைத்தேர்தலில் நடைபெற்ற , செய்தியாளர்களால் வெளிக்கொணரப்பெற்ற பணம், இதர கொடுக்கல் - இவற்றை சரியான முறையில்தன் குழுமதுடன் சேர்ந்து உண்மையாக செயல்பட்டிருந்தால் , ஈரோடு இடைதேர்தல் நடைபெற்றுயிருக்காது. அவரின் அரசியல் பயணம் எல்லோராலும் கவனிக்கப்பட்டிருக்கும்.

ஆனால், ஈரோடு தேர்தலின்போது அவரின் இலங்கை பயணம், கர்நாடகா தேர்தல் பணி நியமனம். இடைப்பட்ட காலத்தில் தமிழகத்தின் தற்போது ஆட்சியை விமர்சிக்காதது.

அவர்சார்ந்த போர்த்தளபதிகளின் தன்சார்ந்த கூட்டணிகளை விமர்சனம் செய்வித்தது. அதன் பலன் பிரதான எதிர்க்கட்சி DMK, தற்போதைய ஆளும்கட்சியை மொத்தமாக மறந்து விட்டனர்.

ஈரோடு தேர்தலை நெருங்கும்வேலையில் மட்டும் தேர்தல் பணிசெய்தது. அதனோடு, கூட்டணி கட்சியை விமர்சிக்க வைத்து, பிற காட்சிகளை இடமளிக்கவைத்தது..

அண்ணாமலையின் அணுகுமுறை குறிப்பாக அவரின் கைக்கடிகாரம் , பன்னிர்செல்வம் கூட்டு , தற்போதைய தமிழகத்தின் நிலையை கவனிக்காமல் பின்னடைவை ஏற்படுத்தியது. ஈரோடு இடைதேர்தலுக்கு பிறகு இவரின் செயல் முறையில் ஏற்பட்ட மாற்றம், இவரை பின்தொடர்வோர் குழப்பத்திற்கு உள்ளாயினர்.

குறிப்பாக சாணக்கியா சற்று கடுமையாக விமர்சனம் செய்தது. மாரிதாஸ் நேரிடையாகவே அவரின் நன்மதிப்பு பெற்ற நபரை குற்றம்சாட்டினார். ஆனால் ,அவரின் போர்த்தளபதிகள் மற்றவர்களை போல் விமர்சிக்க ஆரமிக்க, சட்டென்ற வானிலை மாற்றம்போல பின்வாங்கினர்.

அவரின், தற்போதைய அரசியல் செயல்பாடு அவரின் twitter கணக்கீட்டின் படி,

இந்த வருட 2023 பிப்ரவரி மாதத்தில் இருந்து மார்ச் மாதம் 21 தேதி வரை முடிய 500 twitter messages data science / தரவு அறிவியல் உட்படுத்தப்பட்டது.

அவரின் , twitter கணக்கில் 544305 பேர் followers /பின்பற்றுபவர்கள் . ஆனால் , அவரின் செயல்பாடுகள் சரியான முறையில்லததால் . 15.86% மட்டுமே காட்சிபடுத்தப்பட்டு , அவற்றில் 4.58% மட்டுமே பதிலுரை செலுத்தப்படுகிறது. ஆக மொத்தம், .58 பேர்மட்டுமே பின்பற்றுபவர்கள் இருக்கிறார்கள். இது 1% கூட குறைவு.

அண்ணாமலை உபயோகித்த வார்த்தைகளில் ; கீழ்வருவன அதிகமாக உபயோகப்படுத்தப்பட்டுள்ளது ..

'Thiru', 'திரு', 'our', 'Hon', 'avl', '@narendramodi', 'தெரிவித்துக்', 'கொள்கிறேன்.', 'DMK', 'எனது', 'PM', 'அறியப்படாத', 'அதிசய', 'மனிதர்கள்!', 'மற்றும்', 'வரும்', '@BJP4TamilNadu', 'was', 'திரு.', 'TN', 'மனமார்ந்த', 'தலைவர்', 'வாழ்த்துக்களை', 'அவர்களுக்கு', 'அவர்களின்', 'மாண்புமிகு', 'பிரதமர்', 'அவர்கள்', 'Tamil', 'திமுக', 'இன்று', 'will', '@BJP4Tamilnadu', 'that', 'people',' Minister', 'சகோதரர்', 'மக்கள்', 'பாரதப்', 'இந்த', 'today', 'Sri', 'வேண்டும்', '@BJP4India', 'behalf', 'முன்னாள்', 'பல', 'நமது', 'என்று', 'என்ற', 'அவர்கள்,', 'Our', 'சமூக', 'கலந்து', 'about', 'President', 'On', 'ஒரு', 'அவரது', 'National', '@BJP4TamilNadu,', 'மத்திய', 'கட்சியின்', 'not', 'her', 'India', 'Chennai', '10', 'ராணுவ', 'மாநிலத்', 'மாநில', 'நம்', 'அரசு', 'avl,', 'தமிழக', 'govt',

#playwright #Python #textcapture #stackoverflow

solution: BELOW

Data science is an interdisciplinary field focused on extracting knowledge from data bla...bla...bla...

Will to know more about from basics and then start your skills to FIND DATA for DATA SCIENCE

Amazon collects data from users as they navigate the site, such as the time spent browsing each page. The retailer also makes use of external datasets, such as census data for gathering demographic details. Amazon’s core business is handled in its central data warehouse

The eCommerce data model and how Amazon changes it In eCommerce, there are four fundamental data components: Customers, Products, Orders, and Fulfillments. The majority of your eCommerce data and analytics efforts fall under these categories.

Amazon’s convenience and reach are unrivaled among eCommerce marketplaces. Amazon’s catalog boasts over 350 million products and beats Google as the first stop for product searches.

As a result, Amazon has become a critical sales channel for many online retailers. To keep all those products organized, Amazon uses ASINs. Almost every product in Amazon’s catalog has one and understanding them is key to selling in this marketplace.

Playwright vs Helium:

When you minimize windows can run scripts as usual; where as playwright doesn't behave like helium, it causes timeout error.

Same code tried with #Chromium; it could not find "Place Order" Button and leads error. For WebKit, more then 10-20 secs then #Firefox. As to my knowledge, stick with one browser for an entire project and choose prior then after.

For the current time period; keep one changes in #SYNTEX; to update the code same, it causes re-work and time delay for the project. But, it makes more faster then earlier.

As Data Scientist| Analyst for working data scraping; thumb rule is made as simple code to get data and work further to report. Hence, both playwright and helium are different ground; have to choose based on requirements.

Helium is an open source framework for web-based automation. Its full name is selenium Python helium. As can be seen from its name, helium seems to be closely related to selenium. Helium is much more high-level. In Selenium, you need to use HTML IDs, XPaths and CSS selectors to identify web page elements. Helium on the other hand lets you refer to elements by user-visible labels.

As a result, Helium scripts are typically 30-50% shorter than similar Selenium #scripts. Currently, #helium only supports Chrome and Firefox. I have made specifying web automation cases by using helium as simple as describing them to someone looking as well as scraping utility by using with #requests_HTML to get results. Most of them followed Selenium based code in helium; whereas can simplified then selenium. I have written very basic and not applied any complex code/beautify the same.

I am usually using data #scraping for the data #analytics; The main purpose of helium is scraping, capture data which is based on JS based sites and more on that.

Sample code: https://github.com/katesanalyst/kates...

Documentation: https://selenium-python-helium.readth... https://github.com/mherrmann/selenium... "

Madan Gowri is famous for its social commentary on YouTube. Madan Gowri’s age is 28. His videos are recorded and published in the Tamil Language specifically for the regional audience. He has tried for English and didn't well to reach as well, then he's continuing for the regional audience. He has many controversies like "Just like how Online delivery made us Lazy - He is an online text to audio Wikipedia."

The 28-year-old #youtuber was born in #India. He began his YouTube #channel officially on the 5th of December 2013. He has seen his YouTube #audience grow to more than 5.7 million subscribers.

Apart from that, he combined many advertisements directly or indirectly in his videos and manages a good team for audience connection. Consistent player for YouTube channel even though views affects; because of his past videos boosting views and making a profitable business. Whatever criticizes his channel; he's the key player of the YouTube channel business; therefore, it won't be an issue, and growing up even better undoubtedly.

@madan3

Data Source: YouTube

Links:

https://latestinbollywood.com/madan-gowri/

https://www.facebook.com/aiyoopathikichey/videos/455195905308243/UzpfSTEwMDAwNDIyOTU1MDMyMjoxNDU1NjEzMDI0NTg5NjY5/?q=madan%20gowri%20official&epa=SEARCH_BOX

https://www.bing.com/search?q=madan+gowri+controversy&FORM=AWRE

Data storytelling is the process of combining graphics and narratives to help audiences understand complex data.

Whereas YouTube data extracting/scraping or from the API are not easy. They are systematically and dynamically changes; we have to know their updated then only can get properly.... In GOOGLE search too smart to filter out such coding's or it by defending explore more of an ordinary coder/people..

Still, you can get YouTube related queries in StackOverflow, Quora, Datascience and more...

That's not to describe data story telling; this data storytelling is how YouTube Channel Statistics calculate from leading statistics/analytics and how to get themselves rather than saving big amount.

Before, start storytelling; I have to say something myself;  15 years of experienced business and technology, specialized in Quality Initiatives, Process Management in Healthcare Services, Retail, E-commerce, Digital Media, Educational  is my industry specialization.

here is the YouTube Data, Storytelling starting point:

After the amount of data being collected from Coding and YouTube API; the data needs to make sense to people if it’s to lead to better engagement and increased conversions. That’s where visualization comes and called as Data storytelling.

Data storytelling is the process of combining graphics and narratives to help audiences understand complex data.

I'll explore few YouTube channels data and to provide as visualization; it make sense to people if it’s to lead to better engagement and increased conversions.

Flipkart is gearing up for the mega shopping festival named – Flipkart Big Billion Days. You will be able to purchase a wide range of gadgets, accessories, fashion items and much more from October 3 to October 10 as part of the Flipkart Big Billion Days. Flipkart has revealed that the sale is powered by lakhs of sellers, artisans, and brands across India.

However, explore prices rather than regular/normal sale. Therefore, randomly selected few product categories and will check after Big Billion Days then reveal actual benefits for consumer as well as Flipkart.

Web Scraping data from Flipkart using Python for Big Billion deals

Today, the Internet is flooded with an enormous amount of data relative to what we had a decade ago. The amount of data we produce every day is truly mind-boggling.

Web Scraping!?

Web Scraping is important because, irrespective of the industry, the web contains information that can provide actionable insights for businesses to gain an advantage over competitors.

Web scraping, also known as web data extraction, is the process of retrieving or “scraping” data from a website. This information is collected and then exported into a format that is more useful for the user and it can be a spreadsheet or an API. Although web scraping can be done manually, in most cases, automated tools are preferred when scraping web data as they can be less costly and work at a faster rate.

Is Web Scraping Legal?

The simplest way is to check the robots.txt file of the website. You can find this file by appending “/robots.txt” to the URL that you want to scrape. It is usually at the website domain /robots.txt. If all the bots indicated by ‘user-agent: *’ are blocked/disallowed in the robots.txt file, then you’re not allowed to scrape. For this article, I am scraping the Flipkart website. So, to see the “robots.txt” file, the URL is www.flipkart.com/robots.txt

What are the Steps Involved in Web Scraping?

To fetch the data using Web Scraping using Python, we need to go through the following steps:

Find the URL that you want to scrape.

Inspecting the Page and website.

Find the ways to get data; some of them using API or JS etc.

Find the suitable and simple code approach.

Find the data you want to extract.

Write the code.

Run the code & extract the data.

Finally, Store the data in the required format.

Packages used for Web Scraping

Following python packages are used:

Pandas: Pandas is a library used for data manipulation and analysis. It is used to store the data in the desired format.

Requests-HTML: This library intends to make parsing HTML (e.g. scraping the web) as simple and intuitive as possible.

Benefits of Data and Analytics as consumer for Flipkart.

1. Price of your products according to regular vs big billion days.

2. What customers select for what products; based on customer demands.

Simple enough, BENEFITS for your purchases regular vs big billion days; save every penny as well.

Whereas client or competitor;

1. You can price your products according to demand and by what customers expect.

2. Manage your inventory better by anticipating customer demands.

3. Customers can select from a combination of features or service that meets their needs.

4. Knowing what products will sell when and where allows manufacturing efforts to anticipate demand and prevent a loss of sales.

5. More competitive prices, reduced costs, and higher sales are results of targeted marketing efforts.

Simple enough, REVENUE is your top line and you’re probably tracking this for your accountant already.

I have selected few categories and will keep update what will benefits after big billion days.

This is purely as an educational purpose; would like to know any clarification on the same. It just 90+ line of code to expelled data as well. I have not shared any code and data.

#FlipkartBigBillionDays , few categories will be monitored before and after big billion deals. How for the #consumers get benefits from #Flipkart offers. This evening will share @ https://katesanalyst.tumblr.comAbsolutely fabulous for #DataAnalytics

Data analysis for Flipkart Big billion deals; it would educational purpose of price changes before and after big billion deals. How for the consumers get benefits from flipkart offers.  Will be used few categories and will to know about further..

will share more information soon!!