Các bài toán về khoa học máy tính (1) Dùng biểu thức chính quy hay tìm kiếm nhị phân

Nguyễn Ái Việt - Từ tuần này sẽ đề ra một số bài toán không khó về mặt kỹ thuật, nhưng có tính gợi mở những ý tưởng ứng dụng mới và đòi hỏi sáng tạo về kỹ thuật.

Tuần này sẽ bắt đầu bằng một bài toán về xử lý ngôn ngữ tự nhiên, nhưng xử lý đặc thù tiếng Việt. Lý do 1: xử lý tiếng Việt là lĩnh vực công nghệ mà người Việt phải quan tâm hàng đầu, vì không thể chờ đợi người nước ngoài làm hộ. Lý do 2: Một kỹ sư lập trình trước tiên phải thành thạo xử lý chuỗi text. Bài toán này vừa là một bài tập xử lý chuỗi, đánh giá tốc độ tính toán có quy mô một dự án nhỏ, nhưng có thể áp dụng cho xử lý tiếng Việt

 Bài toán: So sánh tốc độ tính toán xác định một chuỗi ký tự có phải là âm tiết tiếng Việt hay không theo hai cách:
   i) Sử dụng một danh sách các âm tiết tiếng Việt (gồm khoảng gần 70 nghìn âm tiết, theo cơ sở dữ liệu của công ty VIEGRID JSC) đã được sắp xếp theo trật tự từ điển và sử dụng tìm kiếm nhị phân để xem chuỗi ký tự có nằm trong danh sách hay không.
  ii)  Sử dụng một biểu thức chính quy (REGEX) về một âm tiết tiếng Việt và một thuật toán match biểu thức chính quy.

Lỗi chính tả

Có người nhờ tôi quét lỗi chính tả

http://giadinh.net.vn/song-khoe/hoa-qua-xuat-xu-trung-quoc-da-duoc-tam-thuoc-doc-nhu-the-nao-20141124081908021.htm

Dưới đây là kết quả, lỗi màu đỏ. Bên cạnh đó rất nhiều lỗi văn phong.

Hoa quả xuất xứ Trung Quốc đã được “tẩm

Đã có một thời gian rất daì, các phương tiện truyền thông trong nước đã rầm rồ loan tin rằng hoa quả Trung Tuốc đang trực tiếp đe dọa đến sức khoẻ người dân, Thậm chí là chính báo chí Trung Quốc cũng em ngại, cũng phát hoảng vì những chất độc trong hoa quả không được kiểm soát.

Biết thế, nhưng rồi thì sao? Tất cả những hoa quả xuất xứ Trung Quốc vẫn được người ta tuồn về Việt Nam để đầu đầu người tiêu dùng.

thuốc độc” như thế nào?

"Nhồi thuốc độc" vào cam
Hễ nói đến cam Tàu thi ai cũng ngán ngại, ai cũng biết nó có độc. Nhưng quả cam xuất xứ từ Trung Quốc có hình thù thế nào, phân biệt ra sao thì không phải ai cũng biết. Cũng phải thôi, khi cam Tàu đã chỗm chễ nằm trên quầy với cái mác cam Việt thì người tiêu dùng có thông thái đến mấy chũng chịu bó tay. Đó là thủ thuật của gian thương người Việt khi "hô biến" một các hết sức tài tình.
Cam mua ở Trung Quốc có giá rất rẻ. Nếu cam trong nước giá 30 ngàn đồng/1kg thì cam Trung Quốc chỉ bằng một phần ba hoặc cao thì chỉ bằng nửa giá ấy. Giá rẻ đánh trúng tâm lý tiêu dùng của người Việt nên cam giá rẻ tất nhiên được nhiều người lựa chọn. Nhưng có câu "của rẻ là của tôi", trong trường hợp này rất chính xác.
Vì sao cam Tàu có độc? Đó là độc gì? Chính người viết bài có một thời gian đã lần theo dấu chân của thương nhân Trung Quốc nhằm trả lời câu hỏi của độc giả về chuyện họ mua con đỉa Việt Nam để làm gì. May mắn thay, trong thời gian này tôi cũng vô tình tìm được câu trả lời cho chất độc và cách "tẩm độc" của nông dân Trung Quốc vào trái cam như thế nào.
Nhìn bề ngoài vỏ trái cam Trung Quốc rất bóng dù vỏ xanh hay vỏ vàng. Nhưng khi bổ trái cam ra thì bên trong lại bị thối rữa. Mùi trái cam không đặc trung mà có mùi rất hắc, tanh. Sự thực thì trái cam đó đã qua ít nhất 3 lần "thẩm mỹ" để có một hình hài bắt mắt nhưng bên trong lại ngắm ngầm tồn tại một chất độc chết người.
Đất nước Trung Hoa rộng lớn, những vùng giáp ranh với biên giới Việt Nam và cả sâu trong nội địa đều hình thành những vùng chuyên canh cây ăn quả như cam, táo, nho rộng hàng ngàn hecta ở Quảng Tây, Hồ Nam, Trùng Khánh. Một số lượng hoa quả rất lớn dùng để xuất khẩu sang các nước và phục vụ thị trường nội địa. Với những sản phẩm đóng gó xuất khẩu đi các nước phương Tây, Châu Phi và thị trường nội địa được kiểm tra ngặt nghèo, Nhưng những thứ tuồn sang Việt Nam thì khác, nó hoàn toàn khác so với những gì trong đầu chúng ta hình dung.
Ngoại ô TP. Phúc Châu, Trung Quốc vốn đã sớm hình thành nhiều trang trại lưu giữ hoa quả. Ở đây, có những nông trường chứa hàng triệu tấn hoa quảm trong đó có cam. Sau khi được chọn lọc, những trái cam đẹp nhất được đóng gói chuyển đi tiêu thụ. Có hàng chục tấn quả bị thối, bị mốc sẽ tiếp tục được đưa vào quy trình "tái chế" hết sức kinh hoàng. "Không có bất cứ thứ gì bị vứt bỏ đi ở đây", đó là khẳng định của một công nhân trong nông trường rộng lớn.
Một chiếc bồn chứa hàng tấn cam luôn luôn trong tình trạng đầy ắp những quả cam hỏng, cam mốc. Những công nhân của nông trường sẽ đổ vào bồn đó một thứ dung dịch dạng lỏng. Đồng thời, họ dùng một lọ thuốc bột màu đỏ đổ vào dung dịch trên, sau đó khuấy đều để điều chỉnh màu. Sau khi cam được tắm bằng dung dịch này tất cả những nấm mốc sẽ biến mất, ngược lại quả cam có màu sáp bóng rất đẹp.
Ngay cả những quả cam hỏng, nát được công nhân bóc múi và ngâm trong dung dịch để làm nguyên liệu chế biến nước cam tươi. Người ta sẽ thắc mắc, chai bột màu đỏ và dung dịch loãng ấy là gì? Đó chính là dầu hoả và phẩm màu. Những độc tố ngấm qua vỏ cam sẽ là hung thủ gây ra vô số bệnh tật và báo trước cái chết trong tương lai không xa khi chúng ta ăn phải những sản phẩm này.

Ngay cả ở vùng Vân Nam, Quảng Tây nơi mà cam được nhập lậu vào nước ta với số lượng lớn không qua kiểm tra đều được làm bằng cách tương tự như vậy. Triệu chứng đầu tiên khi ăn phải thứ chất độc trong những trái cam này là đau bụng, buồn nôn, đi ngoài. Và khi việc tích tụ độc tố tăng dần thì những căn bệnh nguy hiểm như ung thư sẽ là kết quả mà chúng ta gánh lấy

Sự thật hãi hùng về "công thức" biến đào chua thành đào ngọt
Cách đây không lâu, nếu ai đi qua trục đường quốc lộ 6A thuộc địa phận Mai Châu (tỉnh Hoà Bình) hoặc tỉnh Sơn La thấy xuất hiện rất nhiều đào bán la liệt. Ai ngang qua cũng đáp xe mua một ít làm quà, người ta ngỡ ngàng đó chính là đào mà bà con dân tộc nơi đây trồng sâu trong hẻm núi. Thế nhưng, ít ai biết, số lượng đào được trực tiếp tròng và bán ở đây không nhiều. Phần lớn đào được đem từ nơi khác đến rồi khoác vào "cái áo" đào ta, đào sạch.
Khi hỏi một người nông dân rằng chúng tôi có thể vào thăm tận vườn đào không? Chị dân tộc Mường lắc đầu nguây nguẩy: "Không được đâu mà. Xa lắm mà". Hỏi: "Thế đây là đào nhà chị trồng được à?". Chị thành thật "Đào nhà mình trồng bán hết rồi. Mình mua lại bán kiếm lời thôi". Chúng tôi hỏi tiếp: "Chị mua lại của ai?". "Nó ở dưới xuôi, chở cả ô tô to lắm lên đây. Nó bán lại cho dân bản địa, rồi dân bản địa bán lại cho người đi đường", chị nông dân cho biết. Chúng tôi thắc mắc: "Sao ai cũng bảo đào nhà trồng được?". Chị ta tủm tỉm: "Nói thế để bán được nhiều mà".
Đào Trung Quốc trồng ở khu vực biên giới giáp với các tỉnh phía Tây Bắc nước ta không có gì khác so với đào Sơn La hay Hòa Bình. Hơn thế, trái đào còn có mẫu mã đẹp hơn, ăn giòn, ngon hơn. Nhưng để có được trái đào như thế người Trung Quốc đã làm gì? Một công thức phá chế dung dịch rồi "tẩm" vào trái đào được thương lái người Việt trực tiếp chứng kiến đã tiết lộ khiến chúng tôi choáng váng. Đào bán sớm thường được giá nên người Trung Quốc thường thu hoạch ngay khi trái đào còn xanh và ăn rất chua. Nhưng họ đã "phù phép" vào nó một thứ dung dịch và không phải ăn vào miệng ai cũng nhận ra.
Đào xanh sau khi được thu hoạch sẽ tập trung vào từng cái thùng lớn chứa đầy nước để ngâm trong vài tiếng đồng hồ. Nếu hỏi, người nông dân Trung Quốc sẽ nói đó chỉ là nước để rửa đào cho sạch lông rặm bên ngoài. Thế nhưng, họ đã cho những gì vào đó? Nó bao gồm phèn chua, mì chính, rượu và nước. Những thứ này được trộn lẫn nhau thành một hỗn hợp có thể biến đào xanh thành đào chín, đào chua thành đào ngọt và trọng lượng có thể tăng gấp đôi. Nếu không tin độc giả có thể thí nghiệm bằng phương pháp hết sức đơn giản này và theo dõi sự biến đổi đáng ngạc nhiên của nó.
Và như chúng ta đã biết thì phèn chua có chứa nhôm vô cùng độc hại và nó ảnh hưởng trực tiếp tới sự phát triển trí thông minh của trẻ em. Những trái đào Trung Quốc khi bị "tẩm độc" sẽ chỉ giữ được độ giòn trong thời gian rất ngắn sau đó thì ỉu và thối rữa phía trong ruột. Và khó có thể trách rằng, người tiêu dùng không thông thái mà chỉ bởi kẻ bất nhân đã dùng thủ thuật quá tinh vi.

Báo cáo về tình hình chính tả trong văn bản tiếng Việt (2010)

Tác giả: Nguyễn Ái Việt và Nguyễn Tấn Tôn Thất Đỗ Vũ

Tạm gửi phần đầu. Bạn nào cần toàn văn xin cho địa chỉ Email, tôi sẽ gửi trực tiếp

  

TÓM TẮT 
Trong giai đoạn phát triển trước mắt, xã hội Việt nam đang phải đối diện với nhiều thách thức mới. Chính tả tiếng Việt đang bị xao lãng so với các thách thức về kinh tế xã hội khác. Bản “Báo cáo về tình hình chính tả trong văn bản tiếng Việt” này là một đánh giá nhỏ về chất lượng chính tả văn bản tiếng Việt và cũng là lời kêu gọi thiết tha “Hãy cùng chúng tôi giữ gìn tiếng Việt”. Nhóm tác giả mong mỏi rằng với một nhận thức mới mẻ, toàn thể cộng đồng người Việt nam sẽ cùng tuyên chiến với vấn nạn xã hội này.

Trước khi đánh giá, chúng tôi đã tiến hành một cuộc điều tra nhỏ trong hai nhóm Chuyên gia ngôn ngữ và Chuyên gia CNTT. Nhóm chuyên gia ngôn ngữ yêu cầu tỷ lệ lỗi chính tả trong văn bản Việt phải là dưới 1%. Nhóm chuyên gia CNTT chấp nhận tỷ lệ này trong khoảng 2.5-5%. Hai nhóm chuyên gia đều nhất trí cho rằng báo chí truyền thông có trách nhiệm nhiều nhất đối với chính tả tiếng Việt. Tuyệt đại đa số các chuyên gia cũng cho rằng tỷ lệ 10% là ngưỡng báo động đối với các lỗi chính tả và tỷ lệ 30% là ngưỡng mà một từ đã không còn là lỗi chính tả.

Đợt xếp hạng tháng 6/2010 đã đánh giá 177 đơn vị và xếp hạng 132 đơn vị trong 7 khu vực: 1) Bộ và Văn phòng Trung ương; 2) Ủy ban nhân dân Tỉnh và Thành phố trực thuộc Trung ương; 3) Cơ quan thuộc Chính phủ và thuộc Bộ; 4) Đại học và Viện nghiên cứu; 5) Báo chí, nhà xuất bản và cơ quan truyền thông; 6) Doanh nghiệp Việt nam; 7) Tổ chức và doanh nghiệp nước ngoài tại Việt nam. Chúng tôi đã chọn phương pháp thống kê, với tập lỗi điển hình, là phương pháp phù hợp với điều kiện hạn chế về nguồn lực. Với 67 nghìn mẫu thống kê, tỷ lệ lỗi chính tả trung bình của văn bản tiếng Việt là 7.79%, cao hơn nhiều so với mức yêu cầu tối thiểu. Nhóm tác giả đã quan sát được tỷ lệ lỗi chính tả cao nhất như sau: “soi mói” 74.33%, “sáng lạn” 41.66%, “cọ sát” 28.38% và “thăm quan” 20.61%. Khu vực báo chí và truyền thông có tỷ lệ lỗi chính tả cao nhất, gần mức báo động 10%. Khu vực Đại học và Viện nghiên cứu có tỷ lệ lỗi xấp xỉ mức trung bình của xã hội, chưa phát huy được tính mẫu mực và tiên phong trong vấn đề dùng chữ nghĩa. Điều đáng nói là trong cả hai khu vực này đều có các đại diện có tỷ lệ lỗi vượt mức 30%. Khu vực các chính quyền địa phương và các cơ quan thuộc chính phủ, thuộc Bộ có tỷ lệ lỗi chính tả khá cao. Đặc biệt, có đơn vị có tỷ lệ lỗi gần 40%. Ngay cả các khu vực khá nhất là doanh nghiệp và các Bộ vẫn còn phải tiếp tục cải thiện chất lượng để có thể đạt được mức 1%. Các kết quả đánh giá chi tiết được công bố trên trang Web www.xephangvanban.com khai trương ngày 26/7/2010.

Các kết quả nói trên là một cố gắng của các tác giả để giúp toàn thể xã hội và các đơn vị đã được xếp hạng bước đầu nhận thức được về vấn đề chính tả tiếng Việt. Các đợt đánh giá tiếp sau sẽ được tiến hành 3 tháng một lần và sẽ liên tục được mở rộng về quy mô để hậu thuẫn cho một chiến dịch cộng đồng về quét lỗi chính tả.

Việc giới thiệu các sản phẩm soát lỗi chính tả tiếng Việt một cách khách quan cũng sẽ là cần thiết cho chiến dịch quét lỗi chính tả. Nhóm tác giả đã phân tích thống kê dựa trên khối liệu chủ yếu là báo chí và đã ước lượng được tỷ lệ giữa lỗi phi từ và lỗi thực từ trong tiếng Việt là 31.70%: 68.30%. Khác với quan niệm của một số chuyên gia CNTT và tình trạng trong tiếng Anh, lỗi thực từ chiếm đa số lỗi chính tả trong tiếng Việt. Điều đó có thể giải thích tại sao các sản phẩm không có khả năng quét lỗi thực từ đã không nhận được hưởng ứng mạnh mẽ từ phía người dùng.

Một kết quả đánh giá khác cho thấy, trái với nhận thức của nhiều người, hiện đã có một số sản phẩm Việt nam đạt được độ nhận biết lỗi thực từ vượt xa mức 33% của Microsoft Word 2007. Đặc biệt có sản phẩm đã đạt tỷ lệ 92.54%. Kết hợp với giải pháp hạ tầng quét lỗi cho cơ quan xí nghiệp, việc đạt tới độ nhận biết lỗi trên 99% đã là hiện thực.

Để có đánh giá khách quan, chúng tôi đề nghị sử dụng các độ đo như độ nhận biết, độ chính xác và khả năng gợi ý để đánh giá hiệu năng cho các phần mềm soát lỗi. Chúng tôi cũng đưa ra độ đo VIE độ đo cân bằng giữa các yếu tố nói trên và tỷ lệ với tần số xuất hiện các lỗi phi từ và lỗi thực từ.

Trong tương lai, các doanh nghiệp, chuyên gia và người sử dụng có thể tiếp tục giới thiệu các sản phẩm mới của mình với cộng đồng trên trang Web www.xephangvanban.com.

Nỗ lực đơn độc dù cố gắng đến đâu cũng không thể mang lại kết quả như mong muốn. Với công trình này, chúng tôi hy vọng sẽ có các nhà quản lý, chuyên gia ngôn ngữ và nhà văn hóa sẽ cùng vào cuộc để dẫn dắt cho chương trình cộng đồng này. Đồng thời, hy vọng rằng sẽ có nhiều bạn đồng nghiệp trong lĩnh vực CNTT cho ra các sản phẩm cùng giúp ích cho cộng đồng. HÃY CÙNG CHÚNG TÔI GIỮ GÌN TIẾNG VIỆT.

MỞ ĐẦU

Ngôn ngữ hình thành từ nhu cầu chia sẻ thông tin là động lực giúp con người suy nghĩ, đứng thẳng dậy trên đôi chân của mình và làm chủ thế giới. Loài người tìm ra chữ viết và dùng các văn bản để chuyển tải tri thức tới cho các thế hệ tương lai. Nhờ đó, ngày nay loài người đã có được cuộc sống tốt đẹp hơn và có thể ngẩng cao đầu để nhìn về những khoảng không cách xa hàng triệu năm ánh sáng.
Văn bản là tinh hoa tư duy của nhiều thế hệ, là nguyên khí dân tộc, quyết định sự tồn vong của quốc gia. Trong đêm đen nô lệ ngoại bang dài thăm thẳm, biết bao thế hệ người Việt đã không ngừng trút tim óc của mình lên giấy mực với niềm hy vọng bi thiết “tiếng ta còn thì nước ta còn”. Kho thư tịch tiếng Việt đã bị mai một nhiều do binh hỏa và thời gian, nhưng tiếng Việt, gia tài của cha ông để lại vẫn còn đây, để cho chúng ta được làm người Việt và có một nước Việt nam toàn vẹn. Trong những năm chiến tranh, các nhà lãnh đạo ở cả hai miền vẫn đau đáu kêu gọi “giữ gìn sự trong sáng trong tiếng Việt” và “chỉnh đốn Việt ngữ” vì một tương lai tươi sáng của dân tộc.
Ngày nay, chúng ta như quá mải miết trong những thăng trầm của cuộc sống và quên rằng bao nhiêu đế chế hùng mạnh đã lụi tàn, bao nhiêu nền văn hóa rực rỡ đã chìm vào quên lãng, bao nhiêu sinh ngữ đã trở thành tử ngữ trong những cuộc va đập khốc liệt giữa các nền văn minh. Để có nước non và tiếng nói Việt này, các thế hệ tiền nhân đã phải quên thân đền nợ nước và “dưới trăng bao thu bạc đầu mài kiếm”.

Hội nhập kinh tế văn hóa là một hành trình gian nan, đòi hỏi ngôn ngữ phải đủ chính xác để thu nhận được tri thức của nhân loại vừa đủ sức phổ cập để biến tri thức đó thành sức mạnh của cộng đồng người Việt. Tiếng Việt đáng lẽ phải được quan tâm chăm sóc, chỉnh đốn và phát triển hơn nữa. Tiếc thay, hiện nay tiếng Việt đang bị xuống cấp, lỗi chính tả tràn lan trên phương tiện thông tin đại chúng, hoành hành trong học đường, len lỏi cả vào các văn bản pháp quy và gieo mầm bệnh trong sách vở như một đại dịch. Việc sử dụng các phương tiện soạn thảo cắt dán, thư điện tử và Internet lại càng tạo điều kiện cho các loại vi rút này nảy nở sinh ra nhiều chủng loại kỳ dị khó chữa và truyền nhiễm nhanh hơn.

Một số chuyên gia ngôn ngữ cho rằng đây không còn là nguy cơ tiềm ẩn chỉ cần cảnh báo mà đã một đại nạn như cháy hay vỡ đê phải huy động sức mạnh của cả cộng đồng mới giải cứu được. Một vấn nạn xã hội lớn như vậy chỉ có thể đối phó nếu có một chiến dịch truyền thông lớn với mọi người Việt cùng vào cuộc.

Nhóm tác giả của “Báo cáo về tình hình chính tả Tiếng Việt: Đợt đánh giá Tháng 6/2010” là các chuyên gia về công nghệ xử lý tiếng Việt tâm huyết với tương lai của tiếng Việt. Chúng tôi hy vọng đây sẽ là lời tuyên chiến đầu tiên của tất cả chúng ta với vấn nạn chính tả tiếng Việt. Chúng tôi rất mong sẽ có các nhà quản lý, các chuyên gia ngôn ngữ, các nhà báo, trí thức, các doanh nghiệp và các bạn đồng nghiệp sẽ cùng tham gia để chủ trương và chỉ dẫn thêm cho đại cục. Cũng mong các đơn vị đã được xếp hạng sẽ thấy được thiện chí đó, không hiềm hơn kém để cùng chỉnh đốn lại tiếng Việt của chúng ta.

CHƯƠNG 1: VẤN NẠN CHÍNH TẢ TIẾNG VIỆT

Đầu thế kỷ XX, chữ Quốc ngữ đã trở nên phổ biến để ghi tiếng Việt bằng các ký tự La tinh. Đây là một điều may mắn lớn giúp tiếng Việt phát triển, trở thành một ngôn ngữ có khả năng chuyển tải các tư tưởng mới, có sức phổ cập, có thể đánh vần theo ký âm, dễ học và dễ đọc. Tiếng Việt thừa hưởng được các cách dùng chữ viết hoa để phân biệt danh từ riêng, dấu ngắt câu và các dấu biểu lộ tình thái do ký âm La tinh đem lại.

Là một ngôn ngữ đơn âm vị, tiếng Việt đòi hỏi xử lý phức tạp hơn so với tiếng Anh hoặc các ngôn ngữ đa âm vị khác. Để quyết định một âm vị hay một từ sai chính tả, phải xét chúng trong tương quan văn cảnh. Chẳng hạn, “trưa” và “phải” đều là các âm vị có trong từ điển, nhưng tổ hợp “trưa phải” lại là một lỗi chính tả tiềm năng. Tuy nhiên, câu “Anh làm đến trưa phải không?” lại không có lỗi chính tả. Nói một cách khác, trong tiếng Việt, giữa lỗi chính tả và lỗi ngữ pháp không có một ranh giới rõ ràng được đánh dấu bằng dấu cách (ký tự trắng) như trong tiếng Anh.

Phần lớn lỗi chính tả tiếng Việt bắt nguồn từ việc thiếu hệ thống chuẩn hóa cách ký âm và phát âm. Đến nay, các cách hài dấu, sử dụng “i” hay “y”, “d” hay “gi”, phiên âm địa danh, tên người vẫn là đề tài tranh cãi và chưa đạt được sự đồng thuận. Có lẽ không có quốc gia nào trên thế giới có nhiều cách phát âm vùng miền nhiều như Việt nam. Mỗi vùng miền đều mang vào tiếng Việt những lỗi chính tả đặc trưng của mình như “l-n”, “ch-tr”, “s-x” ở miền Bắc, “t-c”, “n-ng” ở miền Nam, nhầm lẫn về các dấu “sắc” và “huyền” ở miền Trung. Từ đó mà có những chuyện tiếu lâm về “lờ thấp lờ cao”, “xờ bướm sờ chim” hay “cá có cuống cà có đuôi”. Các lỗi chính tả khó sửa nhất xuất hiện còn do thói suy luận mò trên cơ sở một âm vị sai ngẫu nhiên trùng nghĩa như “soi mói”, “cọ sát”, “thăm quan”… Trong văn bản được soạn thảo trên máy tính, lỗi chính tả còn xuất hiện do việc gõ sai chệch sang ký tự bên cạnh, đảo lộn thứ tự ký tự, dính từ do bỏ quên ký tự trắng hoặc sự xuất hiện các ký tự “w”, “s”, “j” không đúng chỗ.
Vào những năm 60-70 của thế kỷ trước, mục Dọn vườn của Báo Văn nghệ là chuyên mục giúp ích nhiều cho chính tả tiếng Việt. Cũng trong thời gian đó, các ấn phẩm ít lỗi chính tả và sử dụng chữ nghĩa của công chức cũng có trách nhiệm hơn nhiều so với ngày nay. Rồi bẵng đi một dạo, vườn văn Việt không có ai chăm lo, lỗi chính tả đã nảy sinh nhiều như sâu bệnh mùa lụt trên sách vở, phương tiện thông tin đại chúng và nơi công cộng. Biểu ngữ “bánh trưng” ở lễ hội vua Hùng, hay “đất nớc” bên cạnh Ủy ban nhân dân thành phố Hà nội chỉ làm được dư luận xôn xao vài ngày đã trở thành chuyện “biết rồi khổ lắm nói mãi”. Lỗi chính tả nhiều đến mức chữa không xuể, trám được chỗ này lại bục ở chỗ kia, làm nản chí ngay cả các thức giả.
Sẽ sai lầm vô cùng nếu nghĩ rằng chính tả là chuyện nhỏ hay quá cao xa. Chính tả có tầm quan trọng đặc biệt trong đời sống văn hóa xã hội. Văn bản pháp luật sai chính tả sẽ ảnh hưởng tới lòng tin của công dân đối với các cơ quan công quyền. Báo chí sách vở sai chính tả sẽ làm méo mó thông tin, để lại mầm độc vào ngôn ngữ và tư duy của thế hệ trẻ. Có lẽ vì lỗi chính tả quá nhiều, chúng ta đã trở nên chai lì với chúng đến mức thờ ơ. Hãy nhớ rằng quan tâm tới chính tả cũng còn là quan tâm đến quyền lợi thiết thực của mỗi người. Đơn thư sai chính tả có thể ảnh hưởng tới con đường tiến thân và chế độ lương bổng của người lao động. Chào hàng, giới thiệu sản phẩm sai chính tả sẽ làm tổn hại tới hình ảnh và doanh thu của doanh nghiệp.
Nhiều tờ báo lớn trên thế giới yêu cầu tỷ lệ lỗi chính tả tiêu chuẩn là dưới mức 0.1%. Với tình trạng lỗi chính tả trầm trọng như ở nước ta hiện nay, nhiều chuyên gia cho rằng lỗi chính tả cũng phải ở mức dưới 1%. Tuy vậy, kết quả khảo sát của chúng tôi cho thấy có rất ít tổ chức đạt được mức này. Thậm chí còn có những tổ chức có tỷ lệ sai lỗi chính tả tới mức 30-40% là ranh giới giữa sai và đúng đã bị xóa nhòa và mọi từ điển đều trở nên vô dụng.
Khi việc đảo lộn sai đúng và thiếu trách nhiệm với chất lượng công việc trở thành một thái độ sống, chúng ta sẽ phải đối mặt với một vấn nạn xã hội còn lớn hơn nhiều. Sửa lỗi chính tả cũng là bước đầu để chấn chỉnh kỷ cương quốc gia, nâng cao chất lượng công việc và tinh thần trách nhiệm của công dân.
Công nghệ thông tin có thể đem lại những sản phẩm xử lý văn bản, hỗ trợ biên dịch và máy tìm kiếm. Trong số đó, soát lỗi chính tả là nhu cầu thiết thực hàng đầu. Người dùng đòi hỏi phải có những sản phẩm đúng quy trình chất lượng và dễ mất lòng tin với các sản phẩm sơ sài. Họ thường không biết rằng trên thị trường đã có những sản phẩm có thể đáp ứng nhu cầu soát lỗi chính tả. Nhiều nhà sản xuất cho rằng thị trường cho sản phẩm soát lỗi tiếng Việt quá nhỏ hẹp, do đó đã ngừng phát triển hoặc không đầu tư hơn nữa vào nghiên cứu phát triển. Thực ra, thị trường các phần mềm nâng cao chất lượng văn bản tiếng Việt là vô tận với hơn 5 triệu máy tính dùng được để soạn thảo văn bản hàng ngày.
Công nghệ thông tin chỉ có thể đem lại các công cụ trợ giúp, việc quét sạch lỗi chính tả trong văn bản tiếng Việt phải nhờ đến một chiến dịch cộng đồng rộng lớn, trong đó báo chí, truyền thông và các trường đại học phải đi đầu. Trong chiến dịch này, trước hết các nhà ngôn ngữ, các nhà văn hóa phải lên tiếng tạo thành dư luận xã hội và thuyết phục các cơ quan nhà nước ủng hộ để sớm có được một chương trình tái thiết tiếng Việt thậm chí một đạo luật về sử dụng tiếng Việt. Các chuyên gia công nghệ thông tin sẽ phải cố gắng để có những sản phẩm thiết thực phục vụ cho công cuộc tái thiết này.
Việc xếp hạng văn bản sẽ nâng cao nhận thức xã hội về lỗi chính tả này bằng những con số, để giúp mỗi người chúng ta cảm nhận được vấn nạn này một cách cụ thể hơn để cùng nhau giữ gìn tiếng Việt

Lý thuyết xác suất và ngôn ngữ học tính toán

Ứng dụng lý thuyết xác suất vào ngôn ngữ học dựa trên một quan sát hết sức đơn giản:  "Cho một câu, hoặc một cụm từ, làm thế nào để biết đó là một câu hoặc cụm từ sai hay đúng".

Để làm điều đó, hãy quan sát người đánh giá. Đa phần là đọc đi đọc lại câu hoặc cụm từ đó. Nếu cảm thấy "quen quen" thì nhiều khả năng là đúng, nếu nghe "lạ tai" thì nhiều khả năng là sai. Nếu toàn bộ xã hội thấy "lạ tai" thì chắc chắn là sai. Tất nhiên còn một khả năng nữa là phân tích ngữ pháp. Tuy nhiên, một câu kiểu như "cối đá chạy băng băng bằng hai chân và há mồm nuốt chửng tòa nhà" có thể đúng về ngữ pháp nhưng không có ý nghĩa gì.

Để lượng hóa tính chất "quen quen" hay "lạ tai" người ta có thể dùng lý thuyết xác suất. Cho hai câu gần giống nhau S1 và S2, người ta có thể phân định, câu S1 đúng hơn S2, nếu tần suất xuất hiện của S1 nhiều hơn S2. Cố nhiên giả thiết này có thể tranh biện, nhưng trong thực tế cách phân định này vẫn được áp dụng theo nguyên tắc "phổ thông đầu phiếu". Điều đó có nghĩa là ba anh thợ giày vẫn thắng một anh bác học hay chữ. Như vậy "soi mói" hoặc "thăm quan" có thể coi là những từ đúng chính tả, theo cùng một lý luận. Theo cách "phổ thông đầu phiếu" như vậy có thể dùng phương pháp "hỏi cụ Google" và đếm tần suất xuất hiện của S1 và S2 trên Google. Nếu giả thiết Google có thể coi như là xấp xỉ tốt của việc sử dụng ngôn ngữ trong thực tế (do mẫu đủ lớn và đủ ngẫu nhiên), thì hoàn toàn có thể viết một phần mềm "hỏi Google". Trong thực tế, nếu bạn viết một câu hoặc cụm từ (tiếng Anh, Việt hay bất cứ ngoại ngữ nào) mà bạn không dám chắc có đúng không, tôi khuyên bạn nên search trên Google (nhớ để cả câu trong ngoặc kép). Nếu các nguồn đáng tin cậy đều xuất hiện các câu hoặc cụm câu như thế, bạn có thể gần như chắc chắn là câu đó có thể dùng được. Trong trường hợp câu đó sai, bạn có thể có excuse là "cả làng đều mắt toét".

Vấn đề tiếp theo đặt ra là nếu cả S1 và S2 đều chưa xuất hiện lần nào (ít ra trong kho tri thức cá nhân của tôi) thì làm thế nào để đánh giá được S1 và S2. Không cần lý thuyết cao siêu, chỉ dùng lương năng, chúng ta có thể "sáng tác" ra ngay được một phương pháp: tách S1 và S2 thành các thành phần đã xuất hiện trong kinh nghiệm ( nghe "quen quen"). Câu nào có nhiều thành phần "quen quen" hơn có thể sẽ có khả năng đúng nhiều hơn. Tuy nhiên, ở đây có vấn đề là việc gắn kết các thành phần "quen quen" lại với nhau sẽ đánh giá như thế nào. Để làm điều đó, chúng ta có thể dùng khái niệm covering sets (phương pháp ưa thích của các nhà topo học). Chúng ta sẽ phủ các câu bằng các đoạn. Sau đó chúng ta có thể tính giá trị "quen quen" của câu dựa trên giá trị "quen quen" của mỗi đoạn đó bằng một công thức nào đó.

Trong thực tế, các nhà xử lý ngôn ngữ thường dùng mô hình n-gram, sử dụng xác suất để một từ thứ n là w(n) đứng sau dãy w1....w(n-1). Xác suất này thực ra là xác suất của sự kiện dùng w1... w(n) trong đời sống. Như vậy xác suất này được tính thế nào? Người ta dùng một phương pháp được gọi là mô hình ngôn ngữ (language model) hoặc khối liệu văn bản (text corpus), trong đó tích lũy tất cả các câu có thể tìm thấy (chẳng hạn bằng cách lấy trên Web về). Sau đó đếm các n-gram, tức là chuỗi gồm n từ (hoặc âm vị) bắt đầu bằng w1... w(n-1). Nếu tổng số của các n-gram này là N và số n-gram w1... w(n-1) x là N(x), thì xác suất của n-gram w1...w(n-1) x sẽ là N(x)/N. Mô hình giản đơn nhất là mô hình 2-gram. Như vậy xác suất của một câu w1... w(M) sẽ là P(w1).P(w1w2).P(w2.w3)....P(w(M-1)w(M)). Tương tự, ta có các mô hình 3, 4,..., n-gram. Như vậy, câu nào có xác suất cao hơn ắt hẳn sẽ "đúng" hơn.

Mô hình n-gram dù sao cũng đưa ra được một cách tính nhất quán. Cũng như việc đánh giá thi đua, tính lương, cho điểm, bầu cử, trao bằng cấp, chia chác quyền lợi cũng đều có tính tương đối, nhưng quan trọng nhất là luôn luôn thực hiện được và nhất quán. Tuy nhiên, mô hình n-gram dựa trên quá nhiều giả thiết hidden, mà mỗi giả thiết như vậy cần phải làm rõ giới hạn. Thứ nhất, là nếu một câu dù ít được dùng vì một lý do nào đó, chẳng hạn quá cao siêu về ý nghĩa, nhưng nếu đã được chấp nhận thì nó vẫn đúng 100% cho dù tính kiểu nào. Lấy ví dụ câu thành ngữ "anh em kiến giả nhất phận" thường được dùng sai thành "anh em kiến giải nhất phận". Nếu áp dụng mô hình 2-gram, rõ ràng xác suất dùng "kiến giải" lớn hơn xác suất "kiến giả" trong thực tế. Nếu theo công thức xác suất 2-gram, câu sai sẽ có xác suất lớn hơn. Trong khi đó nếu dùng Google sẽ thấy câu đúng xuất hiện nhiều hơn câu sai.

Như vậy, việc ứng dụng Toán học cũng phải có tiêu chí thực nghiệm như trong vật lý. Dường như mô hình n-gram vẫn chưa lột tả hết được ý tưởng covering set đơn sơ ban đầu.