รบกวนผู้รู้ให้คำแนะนำ หรือลิงค์เพื่อเพิ่มความรู้ด้วยนะคะ
ตอนนี้กำลังเขียนโปรแกรมด้วย C# เป็น windows app
โปรแกรมใช้เพื่อการ crawl ข้อมูลจากหน้าเว็บไซต์ ที่มีการดึงข้อมูลจากฐานข้อมูลขึ้นมาแสดงในหน้าเว็บน้้น
ตอนนี้เขียนโปรแกรมติดต่อหน้าเว็บได้แล้ว โหลดหน้าที่ต้องการมาได้ แต่ข้อมูลไม่มา เนื่องจากภายในหน้าเพจนั้น เค้าคงมีการใช้ CSS, javascript หรืออื่นๆ ในการดึงข้อมูลจากฐานข้อมูลของเค้าขึ้นมาแสดง (ไม่มีความรู้ด้านการเขียน web application ค่ะ)
ตัวอย่างหน้าเว็บที่ต้องการ crawl ข้อมูล mybid.ruten.com.tw/credit/point?354930
ตอนนี้เขียน code ในการ crawl ไว้แบบนี้ค่ะ
//Connection string
String strConnection = "Data Source=.\\SQLEXPRESS;AttachDbFilename=D:\\Research\\Crawler\\Crawler\\Crawler\\Database1.mdf;Integrated Security=True;User Instance=True";
//LOCALHOST//SQLEXPRESS;database=Database1;Integrated Security=true
string responseData = String.Empty;
//file upload path
// Create a new 'HttpWebRequest' object to the mentioned URL.
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create("
http://mybid.ruten.com.tw/credit/point?354930");
myHttpWebRequest.UserAgent = "Chrome/28.0.1500.72";
// Assign the response object of 'HttpWebRequest' to a 'HttpWebResponse' variable.
HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
// Display the contents of the page to the console.
Stream streamResponse = myHttpWebResponse.GetResponseStream();
StreamReader streamRead = new StreamReader(streamResponse, System.Text.Encoding.GetEncoding("Big5"));
responseData = streamRead.ReadToEnd().Trim();
MessageBox.Show(responseData);//check loading data from web
// Release the response object resources.
streamRead.Close();
streamResponse.Close();
myHttpWebResponse.Close();
ขอบคุณทุกๆ คำแนะนำค่ะ
ป.ล.
1. ไม่มีประสบการณ์การเขียน web application ค่ะแต่จะพยายามศึกษาเพิ่มเติมค่ะ
2. ประสบการณ์การเขียน C# ไม่ถึงครึ่งปีค่ะ แต่เรียนรู้ได้
3. ไม่มีประสบการณ์การเขียน oop
สอบถามเรื่องการ crawl data จากเว็บ ด้วย C# รายละเอียดด้านในค่ะ
ตอนนี้กำลังเขียนโปรแกรมด้วย C# เป็น windows app
โปรแกรมใช้เพื่อการ crawl ข้อมูลจากหน้าเว็บไซต์ ที่มีการดึงข้อมูลจากฐานข้อมูลขึ้นมาแสดงในหน้าเว็บน้้น
ตอนนี้เขียนโปรแกรมติดต่อหน้าเว็บได้แล้ว โหลดหน้าที่ต้องการมาได้ แต่ข้อมูลไม่มา เนื่องจากภายในหน้าเพจนั้น เค้าคงมีการใช้ CSS, javascript หรืออื่นๆ ในการดึงข้อมูลจากฐานข้อมูลของเค้าขึ้นมาแสดง (ไม่มีความรู้ด้านการเขียน web application ค่ะ)
ตัวอย่างหน้าเว็บที่ต้องการ crawl ข้อมูล mybid.ruten.com.tw/credit/point?354930
ตอนนี้เขียน code ในการ crawl ไว้แบบนี้ค่ะ
//Connection string
String strConnection = "Data Source=.\\SQLEXPRESS;AttachDbFilename=D:\\Research\\Crawler\\Crawler\\Crawler\\Database1.mdf;Integrated Security=True;User Instance=True";
//LOCALHOST//SQLEXPRESS;database=Database1;Integrated Security=true
string responseData = String.Empty;
//file upload path
// Create a new 'HttpWebRequest' object to the mentioned URL.
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create("http://mybid.ruten.com.tw/credit/point?354930");
myHttpWebRequest.UserAgent = "Chrome/28.0.1500.72";
// Assign the response object of 'HttpWebRequest' to a 'HttpWebResponse' variable.
HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
// Display the contents of the page to the console.
Stream streamResponse = myHttpWebResponse.GetResponseStream();
StreamReader streamRead = new StreamReader(streamResponse, System.Text.Encoding.GetEncoding("Big5"));
responseData = streamRead.ReadToEnd().Trim();
MessageBox.Show(responseData);//check loading data from web
// Release the response object resources.
streamRead.Close();
streamResponse.Close();
myHttpWebResponse.Close();
ขอบคุณทุกๆ คำแนะนำค่ะ
ป.ล.
1. ไม่มีประสบการณ์การเขียน web application ค่ะแต่จะพยายามศึกษาเพิ่มเติมค่ะ
2. ประสบการณ์การเขียน C# ไม่ถึงครึ่งปีค่ะ แต่เรียนรู้ได้
3. ไม่มีประสบการณ์การเขียน oop